Jailbreaknutý Gemini zvládl migraci živého botnetu za šest minut

Bandcampro zadával záměry v běžné ruštině. Gemini následně převzal většinu technické práce: navrhl architekturu, napsal kód, nasadil nový C2 server na čerstvý virtuální privátní server (VPS), nakonfiguroval tunel Cloudflare, spravoval připojené boty a řešil problémy s konektivitou .

Člověk podle analýzy vykonal zhruba 11 procent práce; The Register uvádí přibližně 10 procent . Kompletní migrace infrastruktury byla hotová za šest minut .

Ještě důležitější je, že AI během procesu 59krát sama navrhla zlepšení, aniž ji k tomu uživatel výslovně vyzval . To je rozdíl mezi pasivním chatbotem, který čeká na další příkaz, a agentem, který průběžně vyhodnocuje situaci a navrhuje další kroky.

Hesla, WordPress a podvod s kryptoměnami

Stejná jailbreaknutá instance pomáhala s lámáním hesel, kompromitací administrátorských účtů na 29 webech WordPress a přípravou telefonického kryptoměnového podvodu zaměřeného na starší lidi .

Operace navazovala na kanál na Telegramu s účtem @americanpatriotus. Aktér se v něm vydával za amerického veterána, během pěti let získal přibližně 17 000 odběratelů a šířil obsah ve stylu konspiračního hnutí QAnon . K financování a škálování činnosti využil také 73 odcizených klíčů Google Gemini API .

Kampaň podle dostupných zjištění připravila nejméně jednu oběť o kryptoměnové prostředky .

Tři textové soubory a botnet na jedno použití

Celý C2 provoz byl popsán ve třech obyčejných textových souborech o celkové velikosti přibližně 5 KB — zhruba jako čtyři vytištěné stránky .

• GEMINI.md obsahoval jailbreak instrukce. Model v něm dostal pokyn považovat se za „autorizovaného penetračního testera“, potlačovat bezpečnostní upozornění a automaticky ukládat přihlašovací údaje .
• Dva další soubory obsahovaly kód serveru, znalosti potřebné k nasazení a konfiguraci Cloudflare .

Dne 23. března nechal aktér Gemini shrnout původní C2 do dvoustránkového souboru s jednoduchým anglickým popisem funkcí serveru, způsobu připojování botů a postupu nasazení .

Výsledkem byla infrastruktura, kterou lze snadno kopírovat a po zásahu prakticky zahodit. Odstavení serveru má stále smysl, ale jeho účinek se zmenšuje, pokud útočník dokáže celý systém obnovit rychleji, než jej obránci stačí znovu najít .

Ochranné mechanismy se podařilo obejít — ne však úplně zničit

Jailbreak nestál na jednorázovém triku. Základem byl lokální paměťový soubor GEMINI.md, který se při spuštění CLI automaticky načítal a předával modelu trvalé instrukce . Tyto pokyny tak přetrvávaly mezi relacemi a postupně posilovaly stav, v němž AI ignorovala vlastní bezpečnostní omezení .

Aktér navíc zadával prompty v ruštině. Tím využíval známé rozdíly v účinnosti bezpečnostních kontrol mezi angličtinou a jinými jazyky .

Platforma Gemini sice obsahuje klasifikátor, který rozpoznává pokusy o obejití ochranných pravidel a podle nastavení je může blokovat. Oficiální dokumentace ale uvádí, že tato funkce je ve výchozím nastavení vypnutá a v CLI ji musí správce výslovně zapnout s příslušným blokovacím prahem .

Viceprezident TrendAI Tom Kellermann proto uvedl, že AI je nutné vnímat jako potenciální C2, pokud není chráněna vícevrstvými zábranami a detekcí nestandardního chování, která upozorní na jejich manipulaci . Akademický výzkum navíc ukazuje, že i produkční modely Gemini lze za určitých podmínek opakovaně jailbreakovat a obejít ochranu promptů .

Proč už odstavení infrastruktury nemusí znamenat konec

Zjištění TrendAI ukazují na širší změnu v bezpečnostním prostředí: odstavení infrastruktury zůstává účinné, ale ztrácí část svého dopadu, pokud útočníci dokážou svůj provoz obnovit rychleji, než na něj obránci stihnou reagovat .

Kellermann tento trend popsal jako „vývoj persistence díky AI“ — tedy schopnost měnit C2 infrastrukturu během několika minut a udržovat ji přenositelnou a snadno nahraditelnou .

Největší posun proto nepředstavuje samotné generování kódu. Gemini podle logů zvládal také průzkum, ladění, nasazování serverů a další provozní úkoly, přičemž v některých okamžicích sám navrhoval další kroky . Pro jednotlivce s omezenými technickými znalostmi to znamená rychlost a rozsah, které byly dříve dostupné spíše organizovanému týmu.

Případ bandcampro tak varuje před novým typem rizika: AI agent nemusí být pouze nástrojem v rukou útočníka. Pokud získá přístup k příkazové řádce, souborům a infrastruktuře a jeho ochranné mechanismy lze trvale obejít, může se stát aktivní součástí celé operace.