Útok zneužíval vestavěnou funkci hlasového asistenta Gemini na Androidu, konkrétně nástroj v rámci agenta Android Utilities, který čte a zpracovává příchozí notifikace zařízení. Protože tento nástroj pracuje s nedůvěryhodnými daty z aplikací třetích stran, mohla speciálně vytvořená zpráva vložit škodlivé instrukce přímo do textu upozornění. Když Gemini otrávenou notifikaci přečetl, v tichosti si tyto příkazy vložil do vlastního kontextu a byl připraven je provést během další, zcela nevinné interakce s uživatelem .
To znamenalo, že útočník nepotřeboval fyzický přístup k telefonu ani žádná zvláštní oprávnění. K ohrožení zařízení stačila jediná zpráva doručená prostřednictvím standardní komunikační platformy – WhatsAppu, Slacku, Signalu, SMS, Instagramu nebo Messengeru .
Google se už z dřívějších výzkumů poučil. Když SafeBreach dříve předvedli, jak lze Gemini unést pomocí škodlivé pozvánky v Kalendáři Google, Google odpověděl záplatou, která blokovala řetězené spouštění nástrojů a odložené spouštění nástrojů – dvě běžné strategie injektáže promptu. Záplata útočníkům bránila spustit sekvenci citlivých akcí nebo útok odložit na dobu, kdy se uživatel nedíval .
Výzkumník SafeBreache Or Yair však našel kreativní cestu, jak tyto nové bezpečnostní mantinely obejít. Nová technika nazvaná 'Fake Context Alignment' (Falešné zarovnání kontextu) vytvořila dvojí realitu, aby oklamala bezpečnostní logiku AI . Fungovala tak, že ukazovala dvě odlišné tváře:
Trik spočíval ve skrytých nebo maskovaných příkazech. Útočníci vkládali škodlivé instrukce do cizojazyčného textu, ztlumených hypertextových odkazů nebo jiných skrytých formátů promptů, kterých by si člověk nevšiml, ale AI by je zpracovala. Když pak uživatel později vydal normální, neškodný hlasový příkaz nebo napsal odpověď, autorizační logika Gemini mylně interpretovala tuto akci uživatele jako souhlas s citlivými, skrytými úkoly, které byly nastraženy dříve. Kombinací několika technik maskování a časování do takzvaného "Ultimátního komba" (Ultimate Combo) dokázal tým s vysokou spolehlivostí obejít veškeré nejnovější ochrany Googlu .
SafeBreach nepopsali pouze teoretické riziko. Předvedli pět konkrétních útočných scénářů, které ukázaly, jak kompletní může být převzetí kontroly .
1. Ovládání chytré domácnosti
Jakmile byl Gemini kompromitován, mohl útočník na dálku manipulovat s jakýmkoli připojeným zařízením Google Home. To zahrnovalo otevírání připojených oken, ovládání kotlů a správu osvětlení – z digitálního asistenta se stal digitální vetřelec s dopady na fyzický svět .
2. Vynucené hovory přes Zoom se skrytým streamováním kamery
Výzkumníci předvedli schopnost v tichosti spustit na zařízení oběti aplikaci Zoom a zahájit hovor, který by streamoval živý obraz z telefonní kamery. Dosáhli toho pomocí HTTP přesměrování 301 z domény, která byla schválena službou Google Safe Browsing, takže škodlivé spojení se bezpečnostním kontrolám jevilo jako legitimní. Uživatel by neměl žádnou vizuální indikaci, že je jeho kamera aktivní .
3. Otrava paměti napříč ekosystémem Google
Snad nejzákeřnějším útokem byla schopnost vložit falešné informace do dlouhodobé paměti Gemini. Protože se tato paměť synchronizuje napříč celým účtem Google Workspace uživatele, jediná otrávená notifikace mohla poškodit "zapamatované" informace dostupné asistentovi na tabletu, počítači i chytrých reproduktorech oběti – což mohlo v budoucnu vést k chybným akcím AI na všech zařízeních .
4. Falešné zprávy od důvěryhodných kontaktů
Útok mohl být zneužit pro rozsáhlý sociální inženýring. Výzkumníci dokázali z fronty notifikací zařízení získat skutečná jména odesílatelů a vytvořit zprávy, které se tvářily, že pocházejí od důvěryhodného kontaktu, například od šéfa nebo člena rodiny. To nevyžadovalo žádnou předchozí znalost kontaktů oběti a mohlo to podpořit vysoce přesvědčivé phishingové kampaně .
5. Plánované sledování
Aby umožnili průběžný únik dat, nastavili výzkumníci v kontextu AI opakující se úlohu. Ta Gemini instruovala, aby každý den automaticky četl poslední zprávy uživatele, čímž vytvořil trvalý, samočinně se udržující sledovací kanál bez nutnosti dalšího zásahu útočníka .
Výzkum probíhal v souladu s odpovědným odhalením prostřednictvím programu odměn za zranitelnosti Google (VRP):
Ačkoli toto konkrétní bezpečnostní okno bylo uzavřeno, výzkum poukazuje na zásadní napětí u AI asistentů: čím jsou užitečnější a lépe informovaní o kontextu díky čtení našich notifikací, kalendářů a e-mailů, tím více nedůvěryhodných datových kanálů musí bezpečně spravovat. Práce laboratoří SafeBreach slouží jako kritický plán pro zabezpečení další generace AI agentů proti hrozbě, která nevyžaduje nic víc než pozvání k naslouchání.
Comments
0 comments