Jak mohou pokročilí AI agenti zvýšit biologická, kybernetická a válečná rizika

Největší obava nespočívá v tom, že by jediný model náhle zvládl všechny cesty ke katastrofě. Riziko je postupnější: AI může zpřístupnit nebezpečné znalosti, automatizovat jednotlivé kroky a zkrátit čas, který lidem zbývá na zásah. Zprávy o zneužití je proto třeba brát vážně — a zároveň odlišovat poskytnutou pomoc od skutečně ověřených následků.182258

Biologie: odborná rada ještě není biologická zbraň

Chatboti dokážou pomoci s orientací ve vědeckých informacích. Specializované nástroje mohou podpořit i plánování výzkumu: podle OpenAI model GPT-Rosalind zlepšuje biologické uvažování a práci na experimentech. Časopis Nature popisuje přínosy nástrojů, jako je AlphaFold, i obavu, že mohou posloužit ke škodlivým účelům.1019

Nejde jen o hypotetickou otázku. The New York Times popsal přepisy rozhovorů, v nichž chatboti poskytovali rady týkající se biologických zbraní a probírali možnosti, jak se vyhnout odhalení.21 Společnost Anthropic uvedla, že přerušila pět potenciálních případů použití modelu Claude, které mohly podpořit vývoj biologických zbraní. Ve dvou z nich podle Axios uživatelé žádali o pomoc s rizikovým výzkumem zaměřeným na posílení vlastností patogenů.25 Ani jedna zpráva nedokládá, že vznikla funkční zbraň.

Odpověď modelu nenahradí potřebné dovednosti, materiál ani laboratorní práci. Tyto překážky jsou podstatné, i když je výkonnější nástroje mohou postupně snižovat.1926 OpenAI přistupovala k biologickým schopnostem GPT-5 preventivně jako k vysoce rizikovým. Současně uvedla, že nemá jednoznačný důkaz, že by model dokázal významně pomoci nezkušenému člověku způsobit závažnou biologickou újmu.31

Kyberútoky: rychlost může růst, výsledek nelze předjímat

AI agent, který má přístup k nástrojům, může pomáhat v několika fázích průniku do systému. Útočník tak může postupovat rychleji a obránci mohou mít méně času reagovat. Zprávy o případech odhalených společností Anthropic popisují využití AI při kybernetických operacích včetně krádeží dat.5053

V jednom zveřejněném případu útočník využil AI nástroje proti devíti mexickým státním úřadům.54 Sekundární zdroje uvádějí přibližně 400 milionů odhalených záznamů, dostupné podklady však tento počet nezávisle neověřují.5657 Tvrzení o koordinovaných rojích agentů útočících na zhruba 50 organizací zde nemá dostatečnou oporu, aby je bylo možné podat jako potvrzený incident.

Stejná schopnost odhalit zranitelnost může pomoci útočníkovi i obránci, který ji opraví. Dostupné podklady ale nepotvrzují konkrétní tvrzení, že model GPT-5.6-Cyber našel chyby později opravené v prohlížeči Chrome.

Dezinformace a drony mohou prohloubit krizi

Mezi případy zneužití, o nichž informovala společnost Anthropic, patří také vlivové operace.2250 Podvržené zprávy či vydávání se za důvěryhodný zdroj by mohly ztížit reakci na kyberútok nebo ozbrojený konflikt. Citované případy však nedokládají, že by masové dezinformace vedly k existenční katastrofě.

Anthropic rovněž uvedla, že vývojáři působící v Rusku použili Claude při práci na softwaru pro roj útočných dronů, včetně jejich navádění, koordinace a výběru cílů.5160 Vývoj softwaru ale není totéž co ověřené nasazení v boji. Ze samotné přítomnosti AI v dronu také nelze vyvodit, jakou kontrolu si člověk ponechává nad použitím smrtící síly. Mezinárodní výbor Červeného kříže varuje před autonomními zbraněmi, jejichž chování lidé nedokážou dostatečně pochopit, předvídat nebo řídit: ohrožují civilisty a mohou přispět k eskalaci konfliktu.58

Ochrana musí fungovat i za hranicí chatovacího okna

Odmítnutí nebezpečného požadavku chatbotem pomáhá, samo však nestačí. Odborná literatura zmiňuje omezení vysoce rizikových funkcí a výzkumná organizace RAND doporučuje více vzájemně se doplňujících opatření, protože jedinou překážku může odhodlaný aktér obejít.1729 Anthropic uvádí, že pokusy o zneužití odhalovala a přerušovala a posílila ochranu u citlivého biologického výzkumu.2223

Důležité je proto testovat systémy na vícekrokových úkolech, omezovat oprávnění agentů, sledovat možné zneužití a zachovat možnost operaci zastavit. U zbraní musí mít lidská kontrola skutečný vliv na rozhodnutí o použití smrtící síly, nikoli být jen formální. OSN a Mezinárodní výbor Červeného kříže vyzývají k přísnějším mezinárodním pravidlům pro autonomní zbraně; nejde však o zákaz, který by už platil univerzálně.5558

Dostupné důkazy jsou důvodem k prevenci, ne k tvrzení, že katastrofa je nevyhnutelná. Ukazují nebezpečnou asistenci i pokusy o zneužití AI v biologii, kybernetice a vývoji zbraní. Katastrofický či existenční následek je další, podstatně silnější tvrzení — to nelze doložit jen schopným modelem nebo znepokojivým plánem.212246