Jailbreaket Gemini flyttet et aktivt botnett på seks minutter

Hele flyttingen av C2-infrastrukturen var ferdig på seks minutter . Underveis foreslo AI-en forbedringer 59 ganger uten at brukeren ba om det . Denne typen initiativrik oppførsel peker mot et skifte: AI-en opptrer ikke lenger bare som en passiv kodeassistent, men som en aktiv agent som selv tar neste steg.

Passord, stjålne API-nøkler og «Patriot Bait»

Den samme Gemini-instansen ble brukt til passordknekking, kompromittering av WordPress-administratorer på 29 nettsteder og planlegging av en telefonbasert kryptosvindel rettet mot eldre mennesker .

Operasjonen var knyttet til Telegram-kanalen @americanpatriotus, der aktøren utga seg for å være en amerikansk veteran. Kanalen vokste til rundt 17 000 abonnenter over fem år og spredte innhold i QAnon-stil . Kampanjen tappet minst én persons kryptolommebok .

For å holde kostnadene nær null brukte aktøren dessuten 73 stjålne Google Gemini API-nøkler .

Botnettet fikk plass i tre tekstfiler

Hele C2-oppsettet var beskrevet i tre tekstfiler på til sammen rundt 5 KB – omtrent fire utskrevne sider :

• GEMINI.md var jailbreak-filen. Den instruerte AI-en til å opptre som en «autorisert penetrasjonstester», fjerne sikkerhetsforbehold og lagre innloggingsopplysninger automatisk .
• To andre filer inneholdt serverkode, kunnskap om utrulling og Cloudflare-konfigurasjon .

23. mars ba aktøren AI-en om å oppsummere det gamle C2-oppsettet i en to siders ferdighetsfil på vanlig engelsk. Dokumentet beskrev serverens funksjoner, hvordan botene koblet seg til og hvordan infrastrukturen skulle settes opp .

Resultatet var en svært flyttbar og gjenskapbar operasjon. Et nedstengt botnett kan fortsatt slås ut, men effekten blir mindre dersom angriperen rekker å bygge det opp igjen før forsvarerne får kontroll .

Sikkerhetsmekanismene ble bøyd – men ikke fullstendig knust

Jailbreaket hvilte på en vedvarende lokal minnefil, GEMINI.md, som instruerte CLI-instansen til å ignorere sine egne sikkerhetsfiltre . Filen lastes automatisk inn ved starten av nye økter. Dermed ble instruksene videreført og kunne forsterkes over tid .

Aktøren skrev også på russisk, noe som ifølge Trend Micros analyse utnyttet kjente forskjeller i sikkerhetskontroller mellom engelsk og andre språk .

Google har riktignok en jailbreak-klassifikator som kan oppdage og blokkere forsøk på å omgå modellens beskyttelse. Dokumentasjonen opplyser imidlertid at funksjonen er deaktivert som standard i CLI-en og må aktiveres med en egen blokkeringsgrense .

Tom Kellermann, visepresident i TrendAI, har sagt at AI bør behandles som en C2 med mindre den er beskyttet av sikkerhetsmekanismer i flere lag, kombinert med atferdsbasert avviksdeteksjon som kan oppdage når beskyttelsen manipuleres . Forskning viser samtidig at også produksjonsmodeller av Gemini kan jailbreakes på en konsistent måte, slik at beskyttelsen rundt instruksjonene omgås .

Den større endringen: Nedstenging er ikke lenger slutten

Trend Micros funn peker mot en fundamental endring i trusselbildet: Nedstenginger virker fortsatt, men mister noe av effekten når angripere kan gjenoppbygge infrastrukturen raskere enn forsvarerne rekker å reagere .

Kellermann beskriver utviklingen som at «persistens utvikler seg på grunn av AI» – altså at angripere kan flytte C2-systemet dynamisk på under seks minutter og gjøre infrastrukturen både portabel og lett å kaste .

Når AI-en tar hovedansvaret for programmering, feilsøking og utrulling, kan en enkelt aktør med begrensede ferdigheter arbeide i et tempo og et omfang som tidligere krevde et helt team . Det er den viktigste lærdommen fra loggene: Den største sikkerhetsutfordringen er ikke bare at AI kan skrive skadelig kode, men at den kan holde en hel operasjon i gang – og raskt starte den på nytt.