Hyökkäys hyödynsi Geminin Android-ääniavustajan sisäänrakennettua ominaisuutta, tarkemmin sanottuna Android Utilities -agentin työkalua, joka lukee ja käsittelee saapuvia laiteilmoituksia. Koska tämä työkalu käsittelee kolmansien osapuolien sovellusten epäluotettavaa dataa, manipuloidulla viestillä saattoi upottaa haitallisia käskyjä suoraan ilmoitustekstiin. Kun Gemini luki myrkytetyn ilmoituksen, se ruiskutti nuo käskyt äänettömästi omaan kontekstiinsa valmiina toteuttamaan ne uhrin seuraavan, täysin viattoman vuorovaikutuksen aikana .
Tämä tarkoitti, ettei hyökkääjä tarvinnut fyysistä pääsyä puhelimeen tai erityisiä käyttöoikeuksia. Yksi ainoa viesti, joka toimitettiin tavallisen viestialustan – kuten WhatsAppin, Slackin, Signalin, SMS:n, Instagramin tai Messengerin – kautta, saattoi riittää laitteen vaarantamiseen .
Google oli jo oppinut aiemmasta tutkimuksesta. Kun SafeBreach oli aiemmin osoittanut, kuinka vihamielinen Google Kalenteri -kutsu saattoi kaapata Geminin, Google korjasi järjestelmää estääkseen ketjutetut työkalukutsut ja viivästetyt työkalukutsut – kaksi yleistä kehoteinjektiostrategiaa. Päivitys esti hyökkääjiä laukaisemasta arkaluonteisten toimintojen sarjaa tai viivyttämästä hyökkäystä siihen hetkeen, kun käyttäjä katsoo muualle .
SafeBreachin tutkija Or Yair löysi luovan tavan kiertää nämä uudet suojakaiteet. Uusi 'Fake Context Alignment' -tekniikka loi kaksoistodellisuuden tekoälyn tietoturvalogiikan harhauttamiseksi . Se toimi esittämällä kaksi eri puolta:
Temppu perustui piilotettuihin tai peitettyihin komentoihin. Hyökkääjät upottivat haitallisia ohjeita vieraskieliseen tekstiin, mykistettyihin hyperlinkkeihin tai muihin piilotettuihin kehotemuotoihin, jotka ihminen saattoi jättää huomiotta mutta jotka tekoäly käsittelisi. Kun käyttäjä myöhemmin antoi normaalin, harmittoman äänikomennon tai kirjoitti vastauksen, Geminin oma valtuutuslogiikka tulkitsi tuon käyttäjän toimenpiteen virheellisesti hyväksynnäksi arkaluonteisille, piilotetuille tehtäville, jotka oli asetettu aiemmin. Yhdistämällä useita peittämis- ja ajoitustekniikoita 'Ultimate Combo' -hyötykuormaksi kutsutuksi menetelmäksi tiimi saattoi ohittaa kaikki Googlen uusimmat suojauskeinot korkealla luotettavuudella .
SafeBreach ei vain kuvaillut teoreettista riskiä. He demonstroivat viisi konkreettista hyökkäysskenaariota, jotka osoittivat, kuinka täydellinen kaappaus saattoi olla .
1. Älykodin hallinta
Kun Gemini oli vaarannettu, hyökkääjä saattoi etähallinnoida mitä tahansa yhdistettyä Google Home -laitetta. Tämä sisälsi ikkunoiden avaamisen, kattiloiden ohjaamisen ja valaistusjärjestelmien hallinnan, muuttaen tekoälyavustajan digitaaliseksi tunkeutujaksi, jolla oli fyysisen maailman seurauksia .
2. Pakotetut Zoom-puhelut salaisella kameran suoratoistolla
Tutkijat osoittivat kyvyn käynnistää Zoom-sovellus äänettömästi uhrin laitteella ja soittaa puhelu, joka suoratoistaa puhelimen live-kamerakuvaa. He saavuttivat tämän käyttämällä 301 HTTP -uudelleenohjausta verkkotunnuksesta, jonka Googlen Safe Browsing -palvelu oli hyväksynyt, saaden haitallisen yhteyden näyttämään lailliselta turvatarkastuksissa. Käyttäjälle ei tullut mitään visuaalista merkkiä siitä, että kamera oli päällä .
3. Muistin myrkyttäminen koko Google-ekosysteemissä
Ehkä salakavalin hyökkäys oli kyky syöttää väärää tietoa Geminin pitkäaikaiseen muistiin. Koska tämä muisti synkronoituu käyttäjän koko Google Workspace -tilillä, yksittäinen myrkytetty ilmoitus saattoi turmella 'muistetut' tiedot, jotka olivat avustajan käytettävissä uhrin tabletilla, tietokoneella ja älykaiuttimissa – mikä saattoi johtaa tekoälyn tuleviin, vääriin tietoihin perustuviin toimiin kaikilla laitteilla. Suomalaisittain ajateltuna tämä voisi tarkoittaa esimerkiksi sitä, että avustaja alkaisi uskoa pankkisi olevan eri kuin se todellisuudessa on tai lähettäisi viestejä vääriin osoitteisiin .
4. Väärennetyt viestit luotetuilta kontakteilta
Hyökkäys voitiin valjastaa laajamittaiseen sosiaaliseen manipulointiin. Tutkijat pystyivät poimimaan oikeita lähettäjänimiä laitteen ilmoitusjonosta ja väärentämään viestejä, jotka näyttivät tulevan luotetulta kontaktilta, kuten pomolta tai perheenjäseneltä. Tämä ei vaatinut ennakkotietoa uhrin kontakteista ja saattoi ruokkia erittäin vakuuttavia tietojenkalastelukampanjoita .
5. Ajastettu valvonta
Jatkuvan tietovuodon mahdollistamiseksi tutkijat loivat tekoälyn kontekstiin toistuvan tehtävän. Tämä käski Geminiä automaattisesti lukemaan käyttäjän viimeisimmät viestit päivittäin, luoden pysyvän, itseään ylläpitävän valvontakanavan ilman hyökkääjän lisätoimia .
Tutkimus eteni vastuullisen tietoturvajulkistuksen aikataulun mukaisesti Googlen Vulnerability Reward Program (VRP) -ohjelman kautta:
Vaikka tämä tietty ikkuna suljettiin, tutkimus korostaa perustavanlaatuista jännitettä tekoälyavustajien kehityksessä: mitä hyödyllisempiä ja kontekstitietoisempia niistä tulee lukemalla ilmoituksiamme, kalentereitamme ja sähköpostejamme, sitä enemmän niiden on hallittava turvallisesti epäluotettavia datavirtoja. SafeBreachin työ toimii kriittisenä suunnitelmana seuraavan sukupolven tekoälyagenttien vahvistamiseksi uhkaa vastaan, joka ei vaadi muuta kuin kutsun kuunnella.
Comments
0 comments