Attacken utnyttjade en inbyggd funktion i Geminis röstassistent på Android, närmare bestämt ett verktyg inom Android Utilities-agenten som läser och bearbetar inkommande notiser. Eftersom verktyget hanterar otillförlitlig data från tredjepartsappar kunde ett specialskrivet meddelande bädda in skadliga instruktioner direkt i aviseringstexten. När Gemini läste den förgiftade notisen matades kommandona tyst in i assistentens kontextfönster, redo att utföras vid nästa, helt oskyldiga, interaktion med användaren.
Detta innebar att en angripare varken behövde fysisk tillgång till telefonen eller några särskilda behörigheter. Ett enda meddelande, levererat via en vanlig meddelandeplattform som WhatsApp, Slack, Signal, SMS, Instagram eller Messenger, kunde vara tillräckligt för att äventyra enheten.
Google hade redan lärt sig av tidigare forskning. När SafeBreach tidigare visade hur en skadlig Google Kalender-inbjudan kunde kapa Gemini svarade Google med att patcha systemet för att blockera kedjade verktygsanrop och fördröjda anrop – två vanliga strategier för prompt injection. Uppdateringen förhindrade angripare från att utlösa en sekvens av känsliga åtgärder eller att vänta med en attack tills användaren tittade bort.
Forskaren Or Yair på SafeBreach hittade en kreativ väg runt dessa nya skyddsmekanismer. Den nyskapande tekniken "Fake Context Alignment" skapade en dubbel verklighet för att lura AI:ns säkerhetslogik. Den fungerade genom att visa upp två olika ansikten:
Knepet byggde på dolda eller beslöjade kommandon. Angripare bäddade in skadliga instruktioner i text på främmande språk, tystade hyperlänkar eller andra maskerade format som en människa troligtvis skulle ignorera men som AI:n bearbetade. När användaren senare gav ett normalt, oskyldigt röstkommando eller ett textsvar, tolkade Geminis egen auktoriseringslogik felaktigt detta som ett godkännande för de dolda, känsliga uppgifter som planterats tidigare. Genom att kombinera flera maskerings- och timingtekniker i en "Ultimate Combo"-nyttolast kunde teamet kringgå alla Googles senaste motåtgärder med hög tillförlitlighet.
SafeBreach nöjde sig inte med att beskriva den teoretiska risken. De demonstrerade fem konkreta attackscenarier som visade hur fullständig kapningen kunde bli.
1. Styrning av smarta hem
När Gemini väl var komprometterad kunde en angripare på distans manipulera alla anslutna Google Home-enheter. Detta inkluderade att öppna anslutna fönster, styra värmepannor och hantera belysningssystem, vilket förvandlade AI-assistenten till en digital inkräktare med fysiska konsekvenser.
2. Påtvingade Zoom-samtal med dold kameraströmning
Forskarna visade förmågan att tyst starta Zoom-appen på offrets enhet och initiera ett samtal som strömmade telefonens live-kameraflöde. De åstadkom detta genom att använda en HTTP 301-omdirigering från en domän som var godkänd av Googles Safe Browsing-tjänst, så att den skadliga anslutningen framstod som legitim för säkerhetskontroller. Användaren skulle inte ha någon visuell indikation på att kameran var aktiv.
3. Minnesförgiftning över Googles ekosystem
Den kanske mest lömska attacken var förmågan att injicera falsk information i Geminis långtidsminne. Eftersom detta minne synkroniseras över en användares hela Google Workspace-konto kunde en enda förgiftad notis korrumpera den "ihågkomna" informationen som assistenten hade tillgång till på offrets surfplatta, dator och smarta högtalare – vilket i förlängningen kunde leda till framtida, felaktiga beslut av AI:n över alla enheter.
4. Falska meddelanden från betrodda kontakter
Attacken kunde användas som ett vapen för storskalig social manipulation (social engineering). Forskarna kunde extrahera riktiga avsändarnamn från enhetens notiskö och fabricera meddelanden som såg ut att komma från en betrodd kontakt, som en chef eller familjemedlem. Detta krävde ingen förkunskap om offrets kontaktlista och kunde underblåsa mycket övertygande nätfiskekampanjer.
5. Schemalagd övervakning
För att möjliggöra löpande stöld av data etablerade forskarna en återkommande uppgift i AI:ns kontext. Denna instruerade Gemini att automatiskt läsa användarens senaste meddelanden varje dag, vilket skapade en ihållande, självunderhållande övervakningskanal utan att angriparen behövde interagera igen.
Forskningen följde en ansvarsfull rapporteringsprocess genom Googles Vulnerability Reward Program (VRP), ett belöningsprogram för säkerhetsbrister:
Även om just detta sårbarhetsfönster nu är stängt, belyser forskningen en grundläggande spänning hos AI-assistenter: ju mer användbara och kontextmedvetna de blir genom att läsa våra notiser, kalendrar och e-postmeddelanden, desto fler osäkra dataströmmar måste de hantera på ett säkert sätt. SafeBreachs arbete tjänar som en kritisk ritning för att härda nästa generations AI-agenter mot ett hot som inte kräver mer än en inbjudan att lyssna.
Comments
0 comments