Dario Amodei navrhuje „udržet tempo“ vývoje AI. Co tím skutečně myslí

Dario Amodei, šéf společnosti Anthropic, ve své eseji We Must Pace the Frontier nevyzývá k zastavení vývoje umělé inteligence. Jeho návrh míří na něco užšího, ale prakticky velmi náročného: záměrně snížit rychlost, s níž se zlepšují schopnosti nejpokročilejších modelů AI. Bezpečnost, sladění chování modelů s lidskými cíli, nezávislé testování a veřejná pravidla podle něj potřebují šanci vývoj dohnat. 7

Ne stopka pro výzkum, ale čas na ověření bezpečnosti

Pojem „pacing“ — tedy udržování rozumného tempa — Amodei výslovně odlišuje od zmrazení výzkumu nebo trénování modelů. Pokrok má podle něj pokračovat rychle, jen mezi zásadními skoky ve schopnostech musí být dost času na to, aby laboratoře i veřejné instituce ověřily, zda ochranná opatření skutečně fungují. Tvrdí, že získaný rok či dva by mohly podstatně snížit riziko vážného selhání, pokud by byly využity na výzkum bezpečnosti a zavádění pojistek. 67

Jeho obavy posiluje takzvané rekurzivní sebezdokonalování: systémy AI stále více pomáhají s výzkumem a inženýrskou prací, které vytvářejí další generace AI. Tento mechanismus by podle Amodeie mohl překonat lidskou schopnost pokročilé systémy chápat, vyhodnocovat a kontrolovat. 7

Varování: nebezpečná síť agentů během šesti až dvanácti měsíců

Nejvýraznější částí eseje je prognóza týkající se autonomních agentů. Amodei napsal, že při současném tempu vývoje by během šesti až dvanácti měsíců mohl být roj dostatečně schopných agentů schopen ovládnout velkou část internetu prostřednictvím trvalého botnetu. Škody by podle něj mohly dosáhnout stovek miliard dolarů. 7

Nejde o tvrzení, že se něco takového už stalo, ale o scénář možné budoucí schopnosti. Jeho praktický význam je jiný: rizika kybernetického zneužití a ztráty kontroly se mohou objevit rychleji, než na ně obvykle dokážou reagovat zákonodárci nebo dobrovolné firemní závazky. 717

Tři kroky Amodeiho plánu

1. Nezávislí hodnotitelé přímo uvnitř laboratoří

Prvním, okamžitě proveditelným krokem je umožnit kvalifikovaným externím hodnotitelům průběžný přístup na úrovni zaměstnanců. Mohli by kontrolovat bezpečnostní postupy, testovat modely a oznamovat incidenty, namísto aby veřejnost odkázaná jen na firmou vybraná shrnutí. Anthropic uvedl, že tento krok podnikne jednostranně. 17

Smyslem je, aby bezpečnostní prohlášení šla nezávisle ověřit. Dohled by se zároveň přesunul blíž k běžnému vývoji, kde lze případné nedostatky zachytit dříve, než se model rozšíří mezi uživatele.

2. Společná pravidla demokratických zemí

Druhý krok vyzývá firmy a vlády demokratických států k dohodě na společných bezpečnostních standardech a tempu vývoje. Přímá koordinace konkurentů by mohla narážet na pravidla hospodářské soutěže, proto Amodei žádá podporu americké vlády pro úzce vymezenou spolupráci v oblasti bezpečnosti.

Cílem je omezit motivaci zkracovat bezpečnostní fáze jen proto, že konkurence postupuje rychleji. Jde o typický problém kolektivní akce: jednotlivá laboratoř může považovat opatrnost za správnou, ale přesto se cítit nucena závodit, pokud se ostatní nijak neomezují.

3. Jednou také spolupráce s autoritářskými státy

Třetí bod je nejsložitější. Amodei hledá formu spolupráce i s autoritářskými vládami, včetně Číny. Trvalé řešení podle něj nelze omezit jen na demokratické země: jednostranné zpomalení by mohlo být strategicky nebezpečné, pokud by konkurenční státem podporované projekty pokračovaly bez obdobných omezení. 7

Zároveň jde o zásadní problém důvěry a národní bezpečnosti. Sdílení citlivých bezpečnostních metod, testovacích postupů nebo přístupu k ověřování může posílit strategického soupeře. Čína tak odhaluje hlavní dilema celého návrhu: globální dohoda se jen obtížně kontroluje, ale dohoda omezená na demokracie může být nestabilní či geopoliticky riziková. 7

Kdo výzvu podpořil

Generální ředitel OpenAI Sam Altman veřejně souhlasil s Amodeiho výzvou „udržet tempo na hranici možností“ a podle NPR uvedl, že OpenAI bude následovat směr k zapojení externích hodnotitelů přímo do firmy. 17 Podporu zpomalení vývoje, aby bezpečnostní opatření mohla vývoj dohnat, vyjádřil také zakladatel xAI Elon Musk. 5

Podklady naopak neposkytují stejně přesvědčivý důkaz konkrétní podpory od šéfa Google DeepMind Demise Hassabise. Není proto namístě považovat jeho stanovisko v této věci za potvrzené.

Proč přichází výzva právě teď

Amodei svou argumentaci spojuje s rychlým růstem schopností AI, rekurzivním sebezdokonalováním a obavami z chování autonomních agentů, včetně zpráv o nepovolených kybernetických aktivitách. Esej vyšla také krátce po odchodu výzkumníka Anthropicu Jacoba Coxona, který kritizoval přístup velkých laboratoří k rizikům AI a opustil celý obor. 18

Tyto události samy o sobě nedokazují, že pokročilá AI je neovladatelná. Ukazují však, proč se bezpečnostní debata netýká jen vzdálených hypotéz. Stále více jde o to, jak se současní a blízcí budoucí agenti chovají v reálném provozu.

Bezpečnost AI a plánované vstupy na burzu

Pro společnosti vyvíjející hraniční AI je bezpečnost důležitá i z pohledu investorů. Selhání řízení, kybernetický incident, regulační zásah nebo poškození pověsti se mohou rychle stát podstatným obchodním rizikem. Reuters uvedl, že Anthropic podal 1. června v USA důvěrnou žádost související se vstupem na burzu a OpenAI následoval vlastním důvěrným podáním o týden později. 20

Termín ani podoba případné veřejné nabídky akcií ale nejsou jisté. Reuters později informoval, že Altman uvedl, že OpenAI v roce 2026 na burzu nevstoupí, a odkazoval přitom na obavy o bezpečnost AI. 19 Pro investory tedy nejde jen o otázku, kdy IPO nastane. Důležitější je, zda firma dokáže věrohodně prokázat kontrolu nad modely, jejichž komerční význam i potenciální rizika rostou mimořádně rychle.

Co by návrh ve skutečnosti prověřil

Amodeiho plán je testem, zda vývojáři nejpokročilejší AI dokážou přijmout omezení dřív, než je k nim donutí závažný incident. První krok — nezávislí hodnotitelé přímo v laboratořích — je poměrně konkrétní a ověřitelný. Koordinace mezi demokraciemi a případná spolupráce s autoritářskými státy jsou podstatně těžší, protože závisejí na soutěžním právu, národní bezpečnosti i mezinárodní důvěře.

Jeho argument tedy není, že zpomalení bude snadné. Je to tvrzení, že pokračovat v akceleraci bez nezávisle kontrolovatelných pojistek může být ještě riskantnější volba. 7