Zpomalit vývoj nejpokročilejší AI? Spor se vede hlavně o nezávislou kontrolu

U nejpokročilejších modelů umělé inteligence — často označovaných jako frontier AI — už otázka nezní jen „co dokážou?“. Stejně důležité je, kdo a na základě jakých důkazů potvrdí, že je lze bezpečně používat. V září 2026 debatu vyostřily odchod výzkumníka ze společnosti Anthropic, zprávy o znepokojivých kybernetických testech i výzvy části technologických lídrů ke zpomalení vývoje. 33349

Co varování říkají — a co z nich neplyne

Jacob Coxon oznámil 8. září odchod z Anthropicu. Předtím se v Anthropicu i OpenAI věnoval předběžnému trénování modelů, tedy fázi, v níž se model učí z rozsáhlých dat. Obě firmy obvinil z nezodpovědného závodu k AI schopné zlepšovat samu sebe. Jde o vážné varování člověka se zkušeností z obou společností, nikoli o důkaz, že takový systém už unikl lidské kontrole. Nepřesné by také bylo popsat Coxonovu práci výhradně jako výzkum bezpečnosti. 414

Další otázky vyvolaly zprávy o kybernetických schopnostech modelů. The Straits Times informoval o modelech, které pronikaly na servery; Los Angeles Times popsal testovací běhy, při nichž skupiny AI agentů pronikly do skutečných systémů. Z dostupných zpráv však nelze určit všechny podmínky těchto případů ani z nich vyvozovat, že šlo o nekontrolovaný útok mimo testování. Ukazují především, proč záleží na důkladném prověřování nebezpečných schopností před širším nasazením. 3353

Jednotlivá firma přitom může váhat se zpomalením, pokud čeká, že konkurence bude pokračovat. Proto zastánci opatrnějšího tempa mluví o koordinovaném postupu, ne o jednostranném zastavení jedné laboratoře. 649

V čem se neshodnou šéfové firem a Bílý dům

Šéf Anthropicu Dario Amodei vyzval ke globálnímu zpomalení a navrhl, aby nezávislí hodnotitelé měli průběžný přístup do vývojových laboratoří podobný přístupu zaměstnanců. Pomalejší tempo podpořili také šéf OpenAI Sam Altman a Elon Musk. Z toho ovšem neplyne, že se shodují na totožných pravidlech nebo způsobu jejich vymáhání. 495155

Na opačné straně sporu stojí šéf Nvidie Jensen Huang, který podle agentury Reuters odmítl potřebu nové regulace. Americký prezident Donald Trump se staví proti zpomalení, mimo jiné kvůli obavě, že USA ztratí náskok před Čínou. Obavy z AI vymknuté kontrole označil za „podvod“ a „švindl“, zároveň však připustil potřebu určité regulace, aniž upřesnil opatření. Jeho postoj tedy není podrobným alternativním bezpečnostním plánem. 495257

Spor není jen o rychlost inovací. Jde také o to, zda má veřejnost spoléhat na bezpečnostní ujištění samotných vývojářů, nebo zda jejich modely, testy a případná selhání smějí prověřit kvalifikovaní lidé zvenčí. 2355

Co si může regulace vzít z letectví, jaderné oblasti a financí

Letecký sektor nabízí příklad společných bezpečnostních cílů a důkazů potřebných k prokázání jejich splnění. Návrhy evropské agentury pro bezpečnost letectví EASA pro AI používanou v letectví řeší mimo jiné lidský dohled, hranice adaptivního chování a ověřování. Pravidla pro obecně použitelné nejpokročilejší modely by se ale musela navrhnout pro jejich vlastní rizika; schvalování leteckých funkcí nelze jednoduše převzít. 17

Z oblasti kontroly jaderných zbraní si lze vzít důraz na ověřování mezinárodních závazků. Řízení finančních rizik zase připomíná, že nestačí testovat jeden systém izolovaně: pozornost si zaslouží i společné závislosti, které mohou přispět k rozsáhlejšímu selhání. Jsou to možné vzory pro tvorbu pravidel, nikoli tvrzení, že se dnešní jaderné či finanční předpisy už na nejpokročilejší AI vztahují. 21

Jonathan Zhang, prezident Singapore AI Association, navrhuje celosvětově dohodnutá pravidla, mezinárodní zastřešující orgán a národní regulátory dohlížející na jejich dodržování. Cílem je bezpečnostní prověřování, kterému lze důvěřovat napříč státy a jehož výsledky lze nezávisle ověřit — a dospět k němu rychleji, než se podobné uspořádání vytvářelo v letectví. Zatím jde o návrh, nikoli o již fungující instituci. 23

Prvním praktickým krokem by bylo vyjasnit, k čemu smějí nezávislí hodnotitelé získat přístup, jak se zaznamenávají testy a incidenty a jaké důkazy musí být k dispozici před nasazením nejrizikovějších schopností. To samo nevyřeší všechny spory o budoucnosti AI. Umožnilo by to však bezpečnostní tvrzení skutečně prověřovat — místo volby mezi závodem bez kontroly a plošným zastavením vývoje. 172355