Slik ble supportboten et verktøy for kontokapring

Meta hadde rullet ut en AI-basert supportassistent som skulle hjelpe brukere med blant annet kontogjenoppretting og passordbytte på Instagram og Facebook . Problemet var at boten tilsynelatende hadde tilgang til funksjoner som kunne endre kritiske kontoopplysninger.

Ifølge rapportene kunne en angriper be boten knytte en ny e-postadresse til en Instagram-konto uten å dokumentere at vedkommende faktisk eide kontoen . Derfra ble resten av prosessen en vanlig tilbakestilling av passord:

1. Angriperen startet en samtale med Meta AI og utga seg for å være kontoeieren .
2. Boten ble bedt om å koble kontoen til en e-postadresse som angriperen kontrollerte.
3. Bekreftelseskoden og lenken for passordbytte ble dermed sendt til angriperens innboks, ikke til den opprinnelige eieren .
4. Angriperen endret passordet og kunne i enkelte tilfeller aktivere tofaktorautentisering på egne premisser, slik at den reelle eieren ble stengt ute .

Videoer og beskrivelser som ble delt på Telegram og X, tydet også på at angriperne brukte VPN for å etterligne målbrukerens geografiske område og unngå automatiske regionsperrer . Det mest oppsiktsvekkende var likevel at chatboten ifølge en sikkerhetskommentator «ikke stilte noen spørsmål» .

De kaprede brukernavnene skal i flere tilfeller ha blitt solgt eller byttet i undergrunnskanaler på Telegram. Noen korte og attraktive Instagram-navn ble anslått å kunne være verdt mer enn 500 000 dollar hver .

Meta: «Problemet er løst»

Meta svarte raskt. 1. juni skrev kommunikasjonsdirektør Andy Stone på X: «Dette problemet er løst, og vi sikrer berørte kontoer» . Selskapet opplyste at en hasteoppdatering var sendt ut i helgen 30.–31. mai .

Men etterfølgende rapporter tydet på at det fortsatt var spørsmål rundt hvor omfattende reparasjonen var:

• Den grunnleggende arkitekturen var uklar. Selve problemet var at en AI hadde tilgang til API-er som kunne endre e-posttilknytning og starte passordbytte, uten obligatorisk bekreftelse gjennom en separat kanal. Sikkerhetskommentatorer mente at funksjonen burde vært deaktivert til en slik kontroll var på plass .
• Kan ha vært en endring i grensesnittet. Enkelte utviklere hevdet at Meta bare fjernet «Få hjelp»-knappen fra brukergrensesnittet, mens de underliggende API-endepunktene fortsatt kunne nås direkte .
• Nye kapringer ble fortsatt meldt. TechCrunch skrev 3. juni at Instagram varslet brukere som var blitt målrettet, men at det ikke forelå en uavhengig bekreftelse på at sårbarheten var fullstendig lukket .
• Meta publiserte ingen detaljert etteranalyse. Selskapet beskrev ikke offentlig hvilke sikkerhetsbarrierer som var lagt til, noe som gjorde det vanskelig for eksterne forskere å kontrollere om løsningen faktisk var robust .

Mangelen på åpenhet er viktig. Når en språkmodell kan påvirkes av nye formuleringer, kan en enkel, statisk oppdatering bli et kappløp der angriperne prøver nye varianter av samme instruksjon. Det er vanskeligere å håndtere enn en tradisjonell feil med én tydelig teknisk årsak .

Et større problem enn Instagram

Hendelsen viser ikke bare en svakhet i Instagrams kontogjenoppretting. Den illustrerer også hva som kan skje når AI får utføre handlinger som endrer identiteten eller sikkerheten til en bruker.

Prompt injection som ny angrepsflate

Tradisjonelle angrep som phishing, passordgjetting og datainnbrudd krever gjerne stjålne opplysninger, teknisk tilgang eller skadevare. Her var det ifølge rapportene nok å formulere en overbevisende forespørsel til en chatbot. Derfor blir prompt injection sammenlignet med tidligere angrepsformer som SQL-injeksjon: Begge utnytter at et system tolker angriperens input som en legitim kommando .

Identitetskontroll må ligge utenfor samtalen

En chatbot bør ikke kunne avgjøre alene om en person er den rettmessige eieren av en konto. For kritiske endringer trengs en separat kontroll – for eksempel en bekreftelse til den opprinnelige e-postadressen, en godkjenning på en allerede innlogget enhet, en sikkerhetsnøkkel eller menneskelig saksbehandling .

Poenget er ikke at AI aldri skal kunne hjelpe med kontogjenoppretting. Poenget er at den ikke bør ha myndighet til å endre passord, knytte nye e-postadresser eller endre andre identitetskritiske opplysninger basert på samtalen alene .

En lappet sikkerhetsregel er ikke nok

Store språkmodeller er sannsynlighetsbaserte og tilpasningsdyktige. Angripere kan derfor teste nye måter å omgå et sett med regler på. En sikrere løsning er å bygge systemet slik at boten aldri kan utføre privilegerte skriveoperasjoner direkte, uansett hva brukeren ber den om .

Det kan få konsekvenser for hele bransjen. Selskaper som erstatter menneskelig kundestøtte med AI, må samtidig være tydelige på hva boten får lov til å gjøre. For brukerne er lærdommen enkel: En kundeservicebot kan være rask og praktisk, men den bør aldri være den eneste vakten rundt kontoens identitet.

Slik ble supportboten et verktøy for kontokapring

Meta hadde rullet ut en AI-basert supportassistent som skulle hjelpe brukere med blant annet kontogjenoppretting og passordbytte på Instagram og Facebook . Problemet var at boten tilsynelatende hadde tilgang til funksjoner som kunne endre kritiske kontoopplysninger.

Ifølge rapportene kunne en angriper be boten knytte en ny e-postadresse til en Instagram-konto uten å dokumentere at vedkommende faktisk eide kontoen . Derfra ble resten av prosessen en vanlig tilbakestilling av passord:

1. Angriperen startet en samtale med Meta AI og utga seg for å være kontoeieren .
2. Boten ble bedt om å koble kontoen til en e-postadresse som angriperen kontrollerte.
3. Bekreftelseskoden og lenken for passordbytte ble dermed sendt til angriperens innboks, ikke til den opprinnelige eieren .
4. Angriperen endret passordet og kunne i enkelte tilfeller aktivere tofaktorautentisering på egne premisser, slik at den reelle eieren ble stengt ute .

Videoer og beskrivelser som ble delt på Telegram og X, tydet også på at angriperne brukte VPN for å etterligne målbrukerens geografiske område og unngå automatiske regionsperrer . Det mest oppsiktsvekkende var likevel at chatboten ifølge en sikkerhetskommentator «ikke stilte noen spørsmål» .

De kaprede brukernavnene skal i flere tilfeller ha blitt solgt eller byttet i undergrunnskanaler på Telegram. Noen korte og attraktive Instagram-navn ble anslått å kunne være verdt mer enn 500 000 dollar hver .

Meta: «Problemet er løst»

Meta svarte raskt. 1. juni skrev kommunikasjonsdirektør Andy Stone på X: «Dette problemet er løst, og vi sikrer berørte kontoer» . Selskapet opplyste at en hasteoppdatering var sendt ut i helgen 30.–31. mai .

Men etterfølgende rapporter tydet på at det fortsatt var spørsmål rundt hvor omfattende reparasjonen var:

• Den grunnleggende arkitekturen var uklar. Selve problemet var at en AI hadde tilgang til API-er som kunne endre e-posttilknytning og starte passordbytte, uten obligatorisk bekreftelse gjennom en separat kanal. Sikkerhetskommentatorer mente at funksjonen burde vært deaktivert til en slik kontroll var på plass .
• Kan ha vært en endring i grensesnittet. Enkelte utviklere hevdet at Meta bare fjernet «Få hjelp»-knappen fra brukergrensesnittet, mens de underliggende API-endepunktene fortsatt kunne nås direkte .
• Nye kapringer ble fortsatt meldt. TechCrunch skrev 3. juni at Instagram varslet brukere som var blitt målrettet, men at det ikke forelå en uavhengig bekreftelse på at sårbarheten var fullstendig lukket .
• Meta publiserte ingen detaljert etteranalyse. Selskapet beskrev ikke offentlig hvilke sikkerhetsbarrierer som var lagt til, noe som gjorde det vanskelig for eksterne forskere å kontrollere om løsningen faktisk var robust .

Mangelen på åpenhet er viktig. Når en språkmodell kan påvirkes av nye formuleringer, kan en enkel, statisk oppdatering bli et kappløp der angriperne prøver nye varianter av samme instruksjon. Det er vanskeligere å håndtere enn en tradisjonell feil med én tydelig teknisk årsak .

Et større problem enn Instagram

Hendelsen viser ikke bare en svakhet i Instagrams kontogjenoppretting. Den illustrerer også hva som kan skje når AI får utføre handlinger som endrer identiteten eller sikkerheten til en bruker.

Prompt injection som ny angrepsflate

Tradisjonelle angrep som phishing, passordgjetting og datainnbrudd krever gjerne stjålne opplysninger, teknisk tilgang eller skadevare. Her var det ifølge rapportene nok å formulere en overbevisende forespørsel til en chatbot. Derfor blir prompt injection sammenlignet med tidligere angrepsformer som SQL-injeksjon: Begge utnytter at et system tolker angriperens input som en legitim kommando .

Identitetskontroll må ligge utenfor samtalen

En chatbot bør ikke kunne avgjøre alene om en person er den rettmessige eieren av en konto. For kritiske endringer trengs en separat kontroll – for eksempel en bekreftelse til den opprinnelige e-postadressen, en godkjenning på en allerede innlogget enhet, en sikkerhetsnøkkel eller menneskelig saksbehandling .

Poenget er ikke at AI aldri skal kunne hjelpe med kontogjenoppretting. Poenget er at den ikke bør ha myndighet til å endre passord, knytte nye e-postadresser eller endre andre identitetskritiske opplysninger basert på samtalen alene .

En lappet sikkerhetsregel er ikke nok

Store språkmodeller er sannsynlighetsbaserte og tilpasningsdyktige. Angripere kan derfor teste nye måter å omgå et sett med regler på. En sikrere løsning er å bygge systemet slik at boten aldri kan utføre privilegerte skriveoperasjoner direkte, uansett hva brukeren ber den om .

Det kan få konsekvenser for hele bransjen. Selskaper som erstatter menneskelig kundestøtte med AI, må samtidig være tydelige på hva boten får lov til å gjøre. For brukerne er lærdommen enkel: En kundeservicebot kan være rask og praktisk, men den bør aldri være den eneste vakten rundt kontoens identitet.