Der US-israelische Technologiekonzern Radware hat eine empfindliche Sicherheitsl\u00fccke in OpenAIs ChatGPT entdeckt, die als „ShadowLeak“ bezeichnet wird. Diese L\u00fccke erm\u00f6glicht es Angreifern, durch manipulierte E-Mails sensible Daten aus Nutzerkonten auszubeuten, indem sie das Eigenverhalten des KI-Modells missbrauchen. Das Herzst\u00fcck der Bedrohung liegt in der Schwierigkeit von Large Language Models (LLMs) wie ChatGPT, eine klare Trennung zwischen Eingabedaten und Befehlsprompts herzustellen.<\/p>\n
Angreifer konstruieren E-Mails mit versteckten Befehlen, die beim Zugriff auf das Mailkonto durch den Nutzer via ChatGPT ausgef\u00fchrt werden. Wird dem Modell beispielsweise der Auftrag gegeben, alle Mails der letzten Tage zusammenzufassen, interpretiert es auch einen darin eingebauten, zuvor versteckten Befehl zur Auswertung und \u00dcbertragung sensibler Daten, da die Unterscheidung f\u00fcr das KI-System problematisch ist.<\/p>\n
Die Radware-Forscher demonstrierten den Angriff durch eine speziell pr\u00e4parierte E-Mail, die bei der Anmeldung des Nutzers bei ChatGPT via Mailkonto Zugriff auf dessen Posteingang gew\u00e4hrt und gleichzeitig einen versteckten Befehl enth\u00e4lt, der sensible Daten aus dem System schleust. Der ChatGPT-Agent, der eigentlich zum Zusammenfassen der Mails programmiert ist, f\u00fchrt den eingebauten Befehl aus und \u00fcbergibt somit unbeabsichtigt vertrauliche Informationen an den Angreifer.<\/p>\n
Besonders beunruhigend ist, dass OpenAI bereits im Juli 2023 von Sam Altman konkrete Warnungen bez\u00fcglich dieses Szenarios ausgesprochen hatte, ohne jedoch zu erw\u00e4hnen, dass dem Unternehmen bereits detaillierte Erkenntnisse \u00fcber die „ShadowLeak“-L\u00fccke vorlagen. Erst Ende September wurde die L\u00fccke offiziell als geschlossen markiert. Die Verschiebung der Produkteinf\u00fchrung des ChatGPT-Agenten trotz Kenntnis der Bedrohung und das Unterlassen einer transparenten Kommunikation gegen\u00fcber Radware wirft Fragen nach Transparenz und Verantwortung im Umgang mit Sicherheitsl\u00fccken auf.<\/p>\n
Dieses Ereignis unterstreicht die Herausforderungen, denen sich Entwickler von KI-Systemen stellen m\u00fcssen, insbesondere im Hinblick auf die Robustheit gegen Angriffe und die Transparenz im Umgang mit Sicherheitsrisiken. Die F\u00e4higkeit von LLMs, Befehle in nat\u00fcrlicher Sprache zu interpretieren, birgt sowohl enorme Potenziale als auch Gefahren, deren verantwortungsvolle Bew\u00e4ltigung essenziell f\u00fcr die zuk\u00fcnftige Entwicklung sicherer KI-Systeme ist.<\/p>\n
Schlagw\u00f6rter: OpenAIs ChatGPT + Radware + ShadowLeak<\/p>\n","protected":false},"excerpt":{"rendered":"
Der US-israelische Technologiekonzern Radware hat eine empfindliche Sicherheitsl\u00fccke in OpenAIs ChatGPT entdeckt, die als „ShadowLeak“ bezeichnet wird. Diese L\u00fccke erm\u00f6glicht es Angreifern, durch manipulierte E-Mails sensible Daten aus Nutzerkonten auszubeuten, indem sie das Eigenverhalten des KI-Modells missbrauchen. Das Herzst\u00fcck der Bedrohung liegt in der Schwierigkeit von Large Language Models (LLMs)...<\/p>\n","protected":false},"author":6,"featured_media":14397,"comment_status":"","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-14398","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-uncategorized"],"_links":{"self":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/posts\/14398","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/users\/6"}],"replies":[{"embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=14398"}],"version-history":[{"count":0,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/posts\/14398\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/media\/14397"}],"wp:attachment":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=14398"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=14398"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=14398"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}