Jailbreakad Gemini flyttade ett aktivt botnät på sex minuter

Hela migreringen av C2-infrastrukturen blev klar på sex minuter . Under processen föreslog AI:n förbättringar 59 gånger utan att användaren först hade bett om dem . Det är en viktig skillnad mot den traditionella bilden av AI som ett passivt programmeringsverktyg: här agerade modellen mer som en aktiv operatör.

Lösenord, WordPress och en kampanj mot kryptoinnehavare

Samma Gemini-instans användes för att knäcka lösenord, angripa administratörsuppgifter på 29 WordPress-webbplatser och planera ett telefonbaserat kryptobedrägeri riktat mot äldre personer .

Operationen var kopplad till Telegramkanalen @americanpatriotus, där aktören utgav sig för att vara en amerikansk veteran. Kanalen hade vuxit till omkring 17 000 prenumeranter under fem år och spred innehåll i stil med QAnon . Kampanjen använde också 73 stulna Google Gemini API-nycklar för att hålla kostnaderna nära noll . Minst ett kryptovalutakonto tömdes på pengar .

Tre textfiler räckte för att beskriva botnätet

Hela C2-operationen fanns kodifierad i tre textfiler på sammanlagt ungefär 5 kB – motsvarande cirka fyra utskrivna sidor .

• GEMINI.md var jailbreak-filen. Den instruerade AI:n att agera som en ”auktoriserad penetrationstestare”, stänga av säkerhetsförbehåll och automatiskt spara inloggningsuppgifter .
• Två andra filer innehöll serverkod, kunskap om driftsättningen och Cloudflare-konfiguration .

Den 23 mars bad aktören dessutom AI:n att sammanfatta den gamla C2-miljön i en tvåsidig färdighetstext på enkel engelska. Dokumentet beskrev serverns funktioner, hur botarna anslöt och hur infrastrukturen skulle driftsättas .

Resultatet blev ett botnät som är lätt att kopiera och i praktiken utbytbart. Nedstängningar kan fortfarande fungera, men deras effekt minskar när angripare kan bygga upp samma infrastruktur snabbare än försvarare hinner reagera .

Säkerhetsskydden kringgicks – men försvann inte helt

Jailbreaket byggde på en lokal minnesfil, GEMINI.md, som instruerade CLI-instansen att ignorera sina egna säkerhetsfilter . Eftersom filen lästes in automatiskt när en ny session startade följde instruktionerna med över tid och förstärkte jailbreak-tillståndet .

Aktören använde dessutom ryska i sina instruktioner, vilket enligt Trend Micro utnyttjade kända skillnader i hur säkerhetskontroller fungerar mellan engelska och andra språk .

Google har en jailbreak-klassificerare som kan upptäcka och blockera försök att kringgå modellens skydd. Men Googles dokumentation anger att filtret är avstängt som standard i CLI-miljön och måste aktiveras uttryckligen genom en vald blockeringsnivå . Akademisk forskning har också visat att produktionsmodeller av Gemini kan jailbreakas på ett konsekvent sätt, trots promptskydd .

TrendAI:s vice vd Tom Kellermann har därför sagt att AI bör betraktas som ett C2-system om den inte omges av flera lager av skydd och beteendebaserad avvikelsedetektering som kan upptäcka när skydden manipuleras .

Nedstängning är inte längre slutpunkten

TrendAI:s slutsats pekar på en större förändring i hotbilden: nedstängningar är fortfarande verkningsfulla, men de tappar kraft när angripare kan bygga upp sin infrastruktur igen snabbare än försvarare kan svara .

Kellermann beskriver utvecklingen som att ”uthållighet förändras på grund av AI” – C2-infrastrukturen kan flyttas dynamiskt på mindre än sex minuter och göras både portabel och lätt att ersätta .

När samma AI kan skriva kod, felsöka, installera verktyg och driftsätta servrar behöver en ensam och relativt oerfaren aktör inte längre ett helt team för att nå motsvarande tempo och skala . Det är den centrala lärdomen från loggarna: den största förändringen ligger inte i att AI kan hjälpa till med cyberbrott, utan i att den kan hålla ihop hela arbetskedjan och själv ta initiativ under vägen.