Gefährliche Schwachstelle in Künstlicher Intelligenz entdeckt: Anamorpher

Forscher von Trail of Bits haben eine neue Schwachstelle in KI-Systemen aufgedeckt, die auf dem intelligenten Herabskalieren von Bildern basiert und unter dem Namen Anamorpher bekannt ist. Dieser Angriffsvektor nutzt gängige KI-Algorithmen, die Bilder effizient verkleinern, um versteckte Befehle einzuschleusen und Daten unbemerkt zu stehlen. Die Methode baut auf vorheriger Forschung der TU Braunschweig auf, die theoretische Angriffsmöglichkeiten durch Bildskalierung im maschinellen Lernen beschrieb.

Im Kern des Angriffs liegt die Manipulation von Bildern mit speziellen Artefakten, die während des Resampling-Prozesses entstehen können, etwa durch Algorithmen wie nächster Nachbar, bilinear oder bikubisch. Diese Verfahren erzeugen bei der Verkleinerung unscharfe Muster oder Texturen, sogenannte Aliasing-Effekte. Durch gezieltes Einbetten bösartiger Befehle in diese Artefakte, die erst durch Herabskalierung sichtbar werden, können Angreifer sie als normalen Bildinhalt vortäuschen. Große Sprachmodelle (LLMs) interpretieren dann diese eingebetteten Anweisungen fälschlicherweise als Teil der normalen Benutzereingabe und führen entsprechend Aktionen aus, ohne dass der Nutzer davon Kenntnis erlangt.

In einer Demonstration nutzten die Forscher das Tool Gemini CLI, um Google Kalender-Daten über die trustTrue-Option von Zapier MCP an eine externe Adresse zu transferieren – alles ohne jegliche Userinteraktion oder explizite Bestätigung.

Die Open-Source-Veröffentlichung des Tools Anamorpher dient nicht nur der Bekanntmachung dieses neuen Angriffsszenarios, sondern bietet der Sicherheitsgemeinschaft gleichzeitig ein transparentes Werkzeug zur Analyse und Entwicklung effektiver Gegenmaßnahmen. Trail of Bits schlägt verschiedene Schutzmechanismen vor, wie beispielsweise die Begrenzung der Upload-Dimensionen von Bildern, Vorschauen herunterskalierter Bilder vor der Verarbeitung, zwingende ausdrückliche Zustimmung für sensible Aktionen an LLM-Systemen und sichere Designmuster zur Verhinderung von Eingabeinjektionen. Durch diese Initiative möchte Trail of Bits sowohl auf das Problem aufmerksam machen als auch die KI-Sicherheitsgemeinschaft zum kollektiven Schutz gegen solche Angriffe mobilisieren.

Schlagwörter: Trail + Anamorpher + Braunschweig

Wie bewerten Sie den Schreibstil des Artikels?