Forscher von Trail of Bits haben eine neue Schwachstelle in KI-Systemen aufgedeckt, die auf dem intelligenten Herabskalieren von Bildern basiert und unter dem Namen Anamorpher bekannt ist. Dieser Angriffsvektor nutzt g\u00e4ngige KI-Algorithmen, die Bilder effizient verkleinern, um versteckte Befehle einzuschleusen und Daten unbemerkt zu stehlen. Die Methode baut auf vorheriger Forschung der TU Braunschweig auf, die theoretische Angriffsm\u00f6glichkeiten durch Bildskalierung im maschinellen Lernen beschrieb.<\/p>\n
Im Kern des Angriffs liegt die Manipulation von Bildern mit speziellen Artefakten, die w\u00e4hrend des Resampling-Prozesses entstehen k\u00f6nnen, etwa durch Algorithmen wie n\u00e4chster Nachbar, bilinear oder bikubisch. Diese Verfahren erzeugen bei der Verkleinerung unscharfe Muster oder Texturen, sogenannte Aliasing-Effekte. Durch gezieltes Einbetten b\u00f6sartiger Befehle in diese Artefakte, die erst durch Herabskalierung sichtbar werden, k\u00f6nnen Angreifer sie als normalen Bildinhalt vort\u00e4uschen. Gro\u00dfe Sprachmodelle (LLMs) interpretieren dann diese eingebetteten Anweisungen f\u00e4lschlicherweise als Teil der normalen Benutzereingabe und f\u00fchren entsprechend Aktionen aus, ohne dass der Nutzer davon Kenntnis erlangt.<\/p>\n
In einer Demonstration nutzten die Forscher das Tool Gemini CLI, um Google Kalender-Daten \u00fcber die trustTrue-Option von Zapier MCP an eine externe Adresse zu transferieren \u2013 alles ohne jegliche Userinteraktion oder explizite Best\u00e4tigung. <\/p>\n
Die Open-Source-Ver\u00f6ffentlichung des Tools Anamorpher dient nicht nur der Bekanntmachung dieses neuen Angriffsszenarios, sondern bietet der Sicherheitsgemeinschaft gleichzeitig ein transparentes Werkzeug zur Analyse und Entwicklung effektiver Gegenma\u00dfnahmen. Trail of Bits schl\u00e4gt verschiedene Schutzmechanismen vor, wie beispielsweise die Begrenzung der Upload-Dimensionen von Bildern, Vorschauen herunterskalierter Bilder vor der Verarbeitung, zwingende ausdr\u00fcckliche Zustimmung f\u00fcr sensible Aktionen an LLM-Systemen und sichere Designmuster zur Verhinderung von Eingabeinjektionen. Durch diese Initiative m\u00f6chte Trail of Bits sowohl auf das Problem aufmerksam machen als auch die KI-Sicherheitsgemeinschaft zum kollektiven Schutz gegen solche Angriffe mobilisieren.<\/p>\n
Schlagw\u00f6rter: Trail + Anamorpher + Braunschweig<\/p>\n","protected":false},"excerpt":{"rendered":"
Forscher von Trail of Bits haben eine neue Schwachstelle in KI-Systemen aufgedeckt, die auf dem intelligenten Herabskalieren von Bildern basiert und unter dem Namen Anamorpher bekannt ist. Dieser Angriffsvektor nutzt g\u00e4ngige KI-Algorithmen, die Bilder effizient verkleinern, um versteckte Befehle einzuschleusen und Daten unbemerkt zu stehlen. Die Methode baut auf vorheriger...<\/p>\n","protected":false},"author":4,"featured_media":14084,"comment_status":"","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-14085","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-uncategorized"],"_links":{"self":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/posts\/14085","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/users\/4"}],"replies":[{"embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=14085"}],"version-history":[{"count":0,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/posts\/14085\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/media\/14084"}],"wp:attachment":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=14085"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=14085"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=14085"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}