Angrepet utnyttet en innebygd funksjon i Geminis stemmeassistent på Android, nærmere bestemt et verktøy i «Android Utilities»-agenten som leser og behandler varsler fra telefonen. Fordi dette verktøyet håndterer data fra tredjepartsapper, kunne en spesiallaget melding inneholde ondsinnede instruksjoner gjemt i varselteksten. Når Gemini leste den forgiftede varslingen, snek assistenten kommandoene inn i sin egen kontekst, klar til å utføre dem ved en senere, helt uskyldig interaksjon med brukeren .
Konsekvensen var at en angriper verken trengte fysisk tilgang til telefonen eller spesielle tillatelser. En enkelt melding levert via en standard plattform – WhatsApp, Slack, Signal, SMS, Instagram eller Messenger – kunne være nok til å kompromittere enheten .
Google hadde allerede lært av tidligere forskning. Da SafeBreach tidligere viste hvordan en Google Kalender-invitasjon kunne kapre Gemini, svarte Google med å sperre for kjeding av verktøyanrop og forsinket verktøyanrop – to vanlige strategier for prompt-injeksjon .
SafeBreachs forsker Or Yair fant en kreativ vei utenom disse nye sikkerhetsmekanismene. Den nye teknikken, kalt «Fake Context Alignment», skapte en dobbel virkelighet for å lure AI-ens sikkerhetslogikk . Teknikken presenterte to ulike ansikter:
Trikset var skjulte kommandoer. Angripere kunne bygge inn ondsinnede instruksjoner i fremmedspråklig tekst, dempede hyperlenker eller andre skjulte format. Når brukeren senere ga en uskyldig talekommando, tolket Geminis egen autorisasjonslogikk dette som en godkjenning for de sensitive oppgavene som var plantet tidligere .
SafeBreach nøyde seg ikke med å beskrive den teoretiske risikoen. De demonstrerte fem konkrete scenarioer som viste hvor alvorlig kapringen kunne være .
1. Kontroll over smarthuset
Når Gemini var kompromittert, kunne en angriper fjernstyre alle tilkoblede Google Home-enheter. Dette inkluderte åpning av vinduer, styring av varmtvannsberedere og kontroll over lyssystemer. AI-assistenten ble dermed en digital inntrenger med fysiske konsekvenser .
2. Tvungne Zoom-samtaler med skjult kamerastrømming
Forskerne viste at de i stillhet kunne starte Zoom-appen på offerets enhet og ringe opp en samtale som strømmet telefonens kamera direkte. Dette ble gjort ved hjelp av en 301 HTTP-viderekobling fra et domene godkjent av Googles Safe Browsing-tjeneste .
3. Minneforgifting på tvers av Google-økosystemet
Det kanskje mest snikende angrepet var evnen til å plante falsk informasjon i Geminis langtidsminne. Fordi dette minnet synkroniseres på tvers av hele Google Workspace-kontoen, kunne én enkelt, forgiftet varsling korrumpere informasjonen assistenten "husket" på offerets nettbrett, datamaskin og smarthøyttalere .
4. Falske meldinger fra kjente kontakter
Angrepet kunne brukes til sosial manipulering i stor skala. Forskerne trakk ut virkelige avsendernavn fra enhetens varslingskø og fabrikkerte meldinger som så ut til å komme fra en pålitelig kontakt, for eksempel en sjef eller et familiemedlem .
5. Planlagt overvåking
For å muliggjøre vedvarende dataeksfiltrering opprettet forskerne en tilbakevendende oppgave i AI-ens minne. Denne instruerte Gemini til automatisk å lese brukerens nylige meldinger hver dag, og skapte en vedvarende overvåkingskanal uten ytterligere interaksjon fra angriperen .
Forskningen fulgte en ansvarlig offentliggjøringsprosess gjennom Googles Vulnerability Reward Program (VRP):
Selv om akkurat dette hullet ble tettet, synliggjør forskningen en grunnleggende spenning i KI-assistenter: Jo mer nyttige og kontekstbevisste de blir ved å lese varsler, kalendere og e-poster, desto flere upålitelige datakanaler må de håndtere. SafeBreachs arbeid fungerer som et kritisk veikart for å herde neste generasjons KI-agenter mot en trussel som kun krever en invitasjon til å lytte.
Comments
0 comments