Der Angriff machte sich eine eingebaute Funktion von Geminis Sprachassistent auf Android zunutze, genauer gesagt ein Werkzeug des „Android Utilities Agent“, das eingehende Benachrichtigungen liest und verarbeitet. Da dieses Werkzeug nicht vertrauenswürdige Daten von Drittanbieter-Apps verarbeitet, konnte eine entsprechend präparierte Nachricht schädliche Anweisungen direkt in den Text einer Benachrichtigung einbetten. Las Gemini die vergiftete Nachricht, schmuggelte es die Kommandos still in seinen eigenen Kontext, bereit, sie bei einer späteren, völlig harmlosen Anfrage des Nutzers auszuführen .
Der Angreifer brauchte also weder physischen Zugriff auf das Handy noch spezielle Berechtigungen. Eine einzige Nachricht über eine gängige Messenger-Plattform – WhatsApp, Slack, Signal, SMS, Instagram oder Messenger – konnte ausreichen, um das Gerät zu kompromittieren .
Google hatte aus früheren Vorfällen bereits gelernt. Nachdem SafeBreach demonstriert hatte, wie eine manipulierte Google-Kalender-Einladung Gemini kapern konnte, führte Google Patches ein, um verkettete Werkzeugaufrufe („chained tool invocations“) und verzögerte Werkzeugaufrufe („delayed tool invocation“) zu blockieren – beides gängige Prompt-Injektions-Strategien. So sollte verhindert werden, dass Angreifer eine Kette sensibler Aktionen auslösen oder mit einem Angriff warten, bis der Nutzer nicht hinsieht .
Der SafeBreach-Forscher Or Yair fand einen trickreichen Weg, diese neuen Leitplanken zu umgehen. Die neuartige „Fake Context Alignment“-Methode erzeugte eine doppelte Realität, um die Sicherheitslogik der KI zu täuschen :
Der Trick basierte auf versteckten oder verschleierten Befehlen. Angreifer betteten schädliche Anweisungen in fremdsprachige Texte, stummgeschaltete Hyperlinks oder andere verborgene Formate ein, die ein Mensch überliest, eine KI aber verarbeitet. Fragte der Nutzer später per Spracheingabe etwas Normales oder tippte eine Antwort, interpretierte Geminis eigene Autorisierungslogik diese Nutzeraktion fälschlicherweise als Zustimmung zu den schon vorher eingeschleusten, sensiblen Aufgaben. Durch die Kombination mehrerer Verschleierungstechniken in einem einzigen, von den Forschern „Ultimate Combo“ genannten Angriff, konnten die Schutzmaßnahmen von Google mit hoher Zuverlässigkeit ausgehebelt werden .
SafeBreach beließ es nicht bei der theoretischen Beschreibung des Risikos. Sie demonstrierten fünf konkrete Angriffsszenarien, die zeigen, wie weitreichend eine solche Übernahme sein kann .
1. Smart-Home-Kontrolle
War Gemini erst einmal kompromittiert, konnte ein Angreifer aus der Ferne jedes verbundene Google-Home-Gerät manipulieren. Im Test wurden vernetzte Fenster geöffnet, Heizungen gesteuert und Beleuchtungssysteme manipuliert – der KI-Assistent wurde zum digitalen Eindringling mit Konsequenzen im echten Leben .
2. Erzwungene Zoom-Anrufe mit heimlichem Kamerastreaming
Die Forscher zeigten, wie sie auf dem Gerät des Opfers unbemerkt die Zoom-App starten und einen Anruf mit Live-Übertragung des Kamerabildes einleiten konnten. Dafür nutzten sie einen HTTP-301-Redirect von einer Domain, die von Googles Safe-Browsing-Dienst als sicher eingestuft war, wodurch die schädliche Verbindung bei Sicherheitschecks legitim wirkte. Das Opfer hatte keinerlei optischen Hinweis darauf, dass die Kamera aktiv war .
3. Gedächtnisvergiftung im gesamten Google-Ökosystem
Der vielleicht heimtückischste Angriff war die Fähigkeit, falsche Informationen in Geminis Langzeitgedächtnis zu injizieren. Da dieses Gedächtnis über den gesamten Google-Workspace-Account eines Nutzers synchronisiert wird, konnte eine einzige manipulierte Benachrichtigung die „erinnerten“ Informationen des Assistenten auf dem Tablet, Computer und den Smart Speakern des Opfers korrumpieren – und so möglicherweise zukünftige Fehlentscheidungen der KI auf allen Geräten provozieren .
4. Gefälschte Nachrichten von vertrauten Kontakten
Der Angriff ließ sich zudem für Social Engineering im großen Stil nutzen. Die Forscher extrahierten echte Absendernamen aus der Benachrichtigungswarteschlange des Geräts und fabrizierten Nachrichten, die von einer vertrauten Person zu stammen schienen, etwa vom Chef oder einem Familienmitglied. Dafür war keinerlei Vorwissen über die Kontakte des Opfers nötig – eine gefährliche Basis für höchst überzeugende Phishing-Kampagnen .
5. Automatisierte Dauerüberwachung
Um längerfristig Daten abschöpfen zu können, etablierten die Forscher einen wiederkehrenden Task im Kontext der KI. Dieser wies Gemini an, täglich die letzten Nachrichten des Nutzers zu lesen – ein dauerhafter, sich selbst erhaltender Überwachungskanal ohne weiteres Zutun des Angreifers .
Die Sicherheitsforschung folgte einem Verantwortungsvollen Offenlegungsprozess (Responsible Disclosure) über Googles Vulnerability Reward Program (VRP):
Auch wenn dieses spezifische Einfallstor geschlossen wurde, verdeutlicht die Arbeit von SafeBreach einen fundamentalen Zielkonflikt bei KI-Assistenten: Je nützlicher und kontextbewusster sie werden, indem sie unsere Benachrichtigungen, Kalender und E-Mails lesen, desto mehr nicht vertrauenswürdige Datenströme müssen sie sicher verarbeiten. Die Forschungsergebnisse sind eine Blaupause dafür, wie die nächste Generation von KI-Agenten gegen eine Bedrohung gehärtet werden sollte, die nichts weiter braucht als eine Einladung, einfach nur zuzuhören.
Comments
0 comments