L'attacco sfruttava una funzione integrata dell'assistente vocale di Gemini su Android. All'interno dell'agente "Android Utilities", uno strumento specifico si occupa di leggere ed elaborare le notifiche del dispositivo. Il problema? Questo strumento gestisce dati non verificati provenienti da app di terze parti, trattandoli come informazioni attendibili. Un messaggio creato ad arte poteva così iniettare comandi nascosti direttamente nel contesto operativo di Gemini, pronti per essere eseguiti in un secondo momento, magari durante un'interazione del tutto innocente dell'utente .
Questo significa che un aggressore non aveva bisogno di accesso fisico al telefono o di permessi speciali. Un singolo messaggio recapitato tramite WhatsApp, Signal, SMS, Instagram o Messenger poteva essere sufficiente per compromettere il dispositivo .
Google non era del tutto impreparata. In seguito a una precedente ricerca, che mostrava come un invito di Google Calendar potesse dirottare Gemini, l'azienda aveva corretto il sistema per bloccare le "invocazioni a catena" e le "invocazioni ritardate" degli strumenti, due strategie comuni di attacco. La patch impediva agli aggressori di scatenare una sequenza di azioni sensibili o di posticipare un attacco a quando l'utente era distratto .
Il ricercatore di SafeBreach, Or Yair, ha però trovato un modo ingegnoso per aggirare queste nuove barriere. La tecnica, battezzata 'Fake Context Alignment' (Allineamento Fittizio del Contesto), creava una sorta di realtà parallela per ingannare la logica di sicurezza dell'AI . L'inganno funzionava su due fronti:
Il trucco si basava su comandi nascosti o offuscati. Gli aggressori potevano incorporare istruzioni malevole all'interno di testo in lingue straniere, link ipertestuali resi invisibili o altri formati nascosti che un essere umano avrebbe ignorato, ma che un'AI avrebbe elaborato come un comando. Quando, in seguito, l'utente rivolgeva a Gemini una richiesta normale, la logica di autorizzazione scambiava quell'input per l'approvazione dei compiti dannosi piantati in precedenza. Combinando più tecniche di offuscamento e temporizzazione in un payload chiamato "Ultimate Combo", il team è riuscito a bypassare tutte le ultime mitigazioni di Google con un'alta affidabilità .
SafeBreach non si è limitata a descrivere il rischio teorico, ma ha dimostrato cinque scenari d'attacco concreti, mostrando quanto potesse essere profondo il controllo ottenuto .
1. Controllo della Casa Intelligente
Una volta compromesso Gemini, un aggressore poteva manipolare a distanza qualsiasi dispositivo connesso a Google Home. Questo includeva aprire finestre domotiche, controllare caldaie e gestire i sistemi di illuminazione, trasformando l'assistente AI in un intruso digitale con conseguenze nel mondo fisico .
2. Videochiamate Zoom Forzate con Streaming della Videocamera
I ricercatori hanno mostrato la capacità di avviare silenziosamente l'app Zoom sul dispositivo della vittima e di iniziare una chiamata che trasmetteva il feed della videocamera in diretta. Per farlo, hanno usato un redirect HTTP 301 da un dominio approvato dal servizio "Safe Browsing" di Google, facendo apparire la connessione come legittima ai controlli di sicurezza. L'utente non aveva alcun indicatore visivo che la propria fotocamera fosse attiva .
3. Avvelenamento della Memoria nell'Ecosistema Google
Forse l'attacco più subdolo era la capacità di iniettare informazioni false nella memoria a lungo termine di Gemini. Poiché questa memoria si sincronizza su tutti i dispositivi dell'account Google Workspace, una singola notifica malevola poteva corrompere le informazioni "ricordate" dall'assistente sul tablet, computer e smart speaker della vittima, portando potenzialmente a future azioni errate da parte dell'AI su tutti i dispositivi .
4. Messaggi Falsi da Contatti Fidati
L'attacco poteva essere usato per campagne di ingegneria sociale su larga scala. I ricercatori sono riusciti a estrarre nomi reali di mittenti dalla coda delle notifiche del dispositivo e a fabbricare messaggi che sembravano provenire da un contatto fidato, come il capo o un familiare. Tutto questo senza alcuna conoscenza preliminare della rubrica della vittima, alimentando così campagne di phishing estremamente convincenti .
5. Sorveglianza Programmata
Per un'esfiltrazione continua di dati, i ricercatori hanno stabilito un'attività ricorrente nel contesto dell'AI. Questa istruiva Gemini a leggere automaticamente ogni giorno i messaggi recenti dell'utente, creando un canale di sorveglianza persistente e autonomo, senza che l'aggressore dovesse più intervenire .
La ricerca ha seguito un percorso di divulgazione responsabile attraverso il Vulnerability Reward Program (VRP) di Google:
Sebbene questa specifica finestra di vulnerabilità sia stata chiusa, la ricerca mette in luce una tensione fondamentale nel mondo degli assistenti AI: più diventano utili e consapevoli del contesto leggendo le nostre notifiche, calendari ed email, più si trovano a dover gestire in modo sicuro flussi di dati non attendibili. Il lavoro di SafeBreach funge da modello critico per rafforzare la prossima generazione di agenti AI contro una minaccia che, banalmente, non richiede altro che un invito all'ascolto.
Comments
0 comments