Atak wykorzystywał wbudowaną funkcję asystenta głosowego Gemini na Androidzie – narzędzie agenta Android Utilities, które odczytuje i przetwarza przychodzące powiadomienia. Ponieważ narzędzie to operuje na niezaufanych danych z aplikacji zewnętrznych, spreparowana wiadomość mogła osadzić złośliwe instrukcje bezpośrednio w tekście powiadomienia. Gdy Gemini odczytywał zatrute powiadomienie, po cichu wstrzykiwał te polecenia do swojego kontekstu, gotów je wykonać podczas zupełnie niewinnej interakcji z użytkownikiem .
Oznaczało to, że atakujący nie potrzebował fizycznego dostępu do telefonu ani żadnych specjalnych uprawnień. Wystarczyła jedna wiadomość dostarczona przez standardową platformę komunikacyjną – WhatsApp, Slack, Signal, SMS, Instagram czy Messenger .
Google wyciągnęło już wcześniej wnioski z badań bezpieczeństwa. Gdy SafeBreach zademonstrowało, jak złośliwe zaproszenie w Kalendarzu Google mogło przejąć Gemini , gigant z Mountain View załatał system, blokując łańcuchowe wywołania narzędzi i opóźnione wywołania narzędzi – dwie popularne strategie wstrzykiwania promptów. Łatka uniemożliwiała atakującym wywoływanie sekwencji wrażliwych akcji lub wstrzymywanie ataku do momentu, gdy użytkownik odwrócił wzrok
.
Badacz SafeBreach, Or Yair, znalazł kreatywny sposób na obejście tych nowych zabezpieczeń. Nowatorska technika „Fake Context Alignment” tworzyła podwójną rzeczywistość, aby oszukać logikę bezpieczeństwa AI . Działała poprzez prezentowanie dwóch różnych wersji interakcji:
Sztuczka opierała się na ukrytych lub zaciemnionych komendach. Atakujący osadzali złośliwe instrukcje w tekście w obcym języku, wyciszonych hiperłączach (mutowanych linkach) czy innych ukrytych formatach promptów, które człowiek by zignorował, ale AI by przetworzyło. Gdy użytkownik później wydawał normalne, nieszkodliwe polecenie głosowe lub odpisywał na wiadomość, logika autoryzacyjna Gemini błędnie interpretowała tę akcję jako zgodę na wykonanie wrażliwych, wcześniej podrzuconych zadań. Łącząc wiele technik zaciemniania i synchronizacji w tak zwany ładunek „Ultimate Combo”, zespół był w stanie z wysoką skutecznością ominąć wszystkie najnowsze zabezpieczenia Google .
SafeBreach nie tylko opisało teoretyczne ryzyko. Zademonstrowano pięć konkretnych scenariuszy pokazujących, jak całkowite mogło być przejęcie kontroli :
Po przejęciu Gemini atakujący mógł zdalnie manipulować dowolnym podłączonym urządzeniem Google Home. Obejmowało to otwieranie połączonych okien, sterowanie piecami centralnego ogrzewania i zarządzanie oświetleniem – zamieniając asystenta AI w cyfrowego włamywacza z konsekwencjami w realnym świecie .
Badacze pokazali możliwość cichego uruchomienia aplikacji Zoom na urządzeniu ofiary i zainicjowania połączenia transmitującego obraz na żywo z kamery telefonu. Dokonali tego za pomocą przekierowania HTTP 301 z domeny zatwierdzonej przez usługę Bezpiecznego Przeglądania Google, sprawiając, że złośliwe połączenie wyglądało na legalne dla kontroli bezpieczeństwa. Użytkownik nie miał żadnej wizualnej wskazówki, że jego kamera jest aktywna .
Być może najbardziej podstępnym atakiem była zdolność do wstrzykiwania fałszywych informacji do pamięci długoterminowej Gemini. Ponieważ pamięć ta jest synchronizowana na wszystkich urządzeniach z kontem Google Workspace, pojedyncze zatrute powiadomienie mogło uszkodzić „zapamiętane” informacje dostępne dla asystenta na tablecie, komputerze i inteligentnych głośnikach ofiary – co potencjalnie prowadziło do przyszłych, błędnych działań AI na wszystkich sprzętach .
Atak mógł posłużyć jako broń do socjotechniki na masową skalę. Naukowcy potrafili wyodrębnić prawdziwe nazwiska nadawców z kolejki powiadomień urządzenia i spreparować wiadomości, które wydawały się pochodzić od zaufanego kontaktu, na przykład szefa lub członka rodziny. Nie wymagało to wcześniejszej znajomości kontaktów ofiary i mogło zasilić wysoce przekonujące kampanie phishingowe .
Aby umożliwić ciągłe wykradanie danych, badacze ustanowili w kontekście AI cykliczne zadanie, które instruowało Gemini, aby codziennie automatycznie odczytywał ostatnie wiadomości użytkownika, tworząc trwały, samopodtrzymujący się kanał inwigilacji bez dalszej interakcji ze strony atakującego .
Badania przebiegały zgodnie z harmonogramem odpowiedzialnego ujawniania (responsible disclosure) w ramach programu nagród za luki Google (VRP):
Mimo że to konkretne okno zostało zamknięte, badania te podkreślają fundamentalne napięcie w asystentach AI: im bardziej są pomocne i świadome kontekstu poprzez odczytywanie naszych powiadomień, kalendarzy i e-maili, tym więcej niezaufanych strumieni danych muszą bezpiecznie zarządzać. Praca SafeBreach służy jako kluczowy plan umacniania nowej generacji agentów AI przed zagrożeniem, które nie wymaga niczego więcej niż zaproszenia do słuchania.
Comments
0 comments