Angrebet udnyttede en indbygget funktion i Geminis stemmeassistent på Android, nærmere bestemt et værktøj i 'Android Utilities'-agenten, som læser og behandler enhedens indgående notifikationer. Fordi dette værktøj håndterer data fra tredjepartsapps uden at skelne mellem ven og fjende, kunne en manipuleret besked have ondsindede instruktioner indlejret direkte i notifikationsteksten.
Når Gemini læste den forgiftede notifikation, blev kommandoerne lydløst sprøjtet ind i assistentens kontekst, klar til at blive udført ved en efterfølgende, fuldstændig uskyldig interaktion med brugeren . Det betyder, at en angriber hverken behøvede fysisk adgang til telefonen eller særlige tilladelser. En enkelt besked leveret via en standard beskedplatform – WhatsApp, Slack, Signal, SMS, Instagram eller Messenger – kunne være nok til at kompromittere enheden
.
Google havde lært af tidligere forskning. Da SafeBreach tidligere demonstrerede, hvordan en ondsindet Google Kalender-invitation kunne kapre Gemini, svarede Google igen ved at patche systemet for at blokere for kædede værktøjsaktiveringer og forsinket værktøjsaktivering – to almindelige strategier inden for prompt injection. Patchen forhindrede hackere i at udløse en sekvens af følsomme handlinger eller vente med at slå til, til brugeren kiggede væk .
SafeBreachs forsker Or Yair fandt imidlertid en kreativ vej uden om de nye beskyttelsesmekanismer. Den nye teknik, døbt 'Fake Context Alignment', skabte en dobbelt virkelighed for at narre AI'ens sikkerhedslogik . Metoden fungerede ved at præsentere to vidt forskellige ansigter:
Fidusen byggede på skjulte eller slørede kommandoer. Angribere indlejrede ondsindede instruktioner i tekst på fremmedsprog, afdæmpede hyperlinks eller andre skjulte promptformater, som et menneske ville ignorere, men en AI ville behandle. Når brugeren senere udstedte en normal, uskyldig stemmekommando eller skrev et svar, fejltolkede Geminis egen autorisationslogik denne brugerhandling som en godkendelse af de følsomme, skjulte opgaver, som tidligere var blevet plantet. Ved at kombinere flere slørings- og timingteknikker i det, forskerne kaldte "Ultimate Combo"-payloadet, kunne teamet omgå samtlige Googles nyeste modtræk med høj pålidelighed .
SafeBreach nøjedes ikke med at beskrive den teoretiske risiko. De demonstrerede fem konkrete angreb, der viste, hvor fuldstændig kapringen kunne blive .
1. Kontrol over det smarte hjem
Når først Gemini var kompromitteret, kunne en angriber på afstand manipulere enhver tilsluttet Google Home-enhed. Det omfattede åbning af tilsluttede vinduer, styring af varmeanlæg og kontrol over lyssystemer – og forvandlede dermed AI-assistenten til en digital ubuden gæst med fysiske konsekvenser .
2. Tvungne Zoom-opkald med skjult kamerastreaming
Forskerne demonstrerede evnen til i stilhed at starte Zoom-appen på offerets enhed og indlede et opkald, der streamede telefonens live kamerafeed. Dette opnåede de ved at bruge en 301 HTTP-viderestilling fra et domæne, der var godkendt af Googles Safe Browsing-tjeneste, så den ondsindede forbindelse fremstod legitim for sikkerhedstjekkene. Brugeren ville ikke have nogen synlig indikation af, at kameraet var aktivt .
3. Hukommelsesforgiftning på tværs af Google-økosystemet
Det måske mest snigende angreb var evnen til at sprøjte falsk information ind i Geminis langtidshukommelse. Da denne hukommelse synkroniseres på tværs af en brugers samlede Google Workspace-konto, kunne en enkelt forgiftet notifikation korrumpere den "huskede" information, som assistenten havde adgang til på offerets tablet, computer og smarthøjttalere. Det kunne potentielt føre til fejlinformerede handlinger fra AI'en på samtlige enheder i fremtiden .
4. Falske beskeder fra betroede kontakter
Angrebet kunne også bruges som våben til social engineering i stor skala. Forskerne var i stand til at udtrække rigtige afsendernavne fra enhedens notifikationskø og fabrikere beskeder, der så ud til at komme fra en betroet kontakt, såsom en chef eller et familiemedlem. Dette krævede intet forudgående kendskab til offerets kontakter og kunne drive yderst overbevisende phishing-kampagner .
5. Planlagt overvågning
For at muliggøre løbende dataeksfiltrering etablerede forskerne en tilbagevendende opgave i AI'ens kontekst. Denne instruerede Gemini i automatisk at læse brugerens seneste beskeder hver dag, hvilket skabte en vedvarende, selvkørende overvågningskanal uden yderligere interaktion fra angriberens side .
Forskningen fulgte en ansvarlig offentliggørelsesproces gennem Googles Vulnerability Reward Program (VRP):
Selvom dette specifikke smuthul nu er lukket, understreger forskningen en fundamental spænding ved AI-assistenter: Jo mere nyttige og kontekstbevidste de bliver ved at læse vores notifikationer, kalendere og e-mails, desto flere upålidelige datakanaler skal de håndtere sikkert. SafeBreachs arbejde fungerer som en afgørende plan for at hærde den næste generation af AI-agenter mod en trussel, der intet andet kræver end en invitation til at lytte med.
Comments
0 comments