Proč Jacob Coxon odešel z Anthropicu: varování před závodem k neovladatelné AI

Coxon uvedl, že z Anthropicu odešel poté, co dospěl k závěru, že přední AI laboratoře žene kupředu hlavně konkurenční dynamika — nikoli jen jednotlivá technická selhání. Podle něj tak směřují ke stále autonomnějším a sebezdokonalujícím se systémům dříve, než kdokoli ví, jak je spolehlivě kontrolovat. Odchod krátce před nabytím nároku na podíl ve firmě měl ukázat, že toto riziko považuje za důležitější než finanční ztrátu. 25

Co Coxon konkrétně tvrdil

Ve svém vlákně na síti X napsal, že ani Anthropic, ani OpenAI nejednají odpovědně a že „závodí přímo k sebezdokonalující se superinteligenci a hazardují s našimi životy“. Jeho hlavní argument přitom není, že by dnešní chatboty měly bezprostředně samostatně vyhubit lidstvo. Tvrdí spíše, že lidé vyvíjející hraniční modely vážně počítají s možností, že budoucí systémy budou nadlidské například v kybernetických útocích — a že by to mohlo otevřít cestu ke katastrofální ztrátě kontroly. 38

BBC Coxonovi připsala výrok, že pracovníci v AI jsou rychlostí pokroku „opravdu vystrašeni“. Pokud se vývoj nezpomalí, vidí podle svých slov „silnou šanci, že bychom všichni mohli v bezprostřední budoucnosti zemřít“. Smysluplné zpomalení by podle něj muselo být mezinárodně koordinované, včetně Číny; nemělo by jít jen o jednostranné vzdání se technologického závodu jednou zemí. 1

Kdo s obavou souhlasí — a co z toho neplyne

Výzkumník Anthropicu Evan Hubinger veřejně podpořil širší obavu: riziko současných modelů označil za nízké, ale pravděpodobnost, že AI během příštích deseti let zabije všechny lidi, odhadl na více než 10 %. 13 Geoffrey Hinton obdobně tvrdí, že převzetí kontroly AI nebo lidské vyhynutí představují podstatné, nikoli zanedbatelné riziko.

Taková čísla jsou však subjektivní odborné odhady, nikoli měřitelné prognózy. Dostupné zprávy nedokládají shodu výzkumníků na konkrétní pravděpodobnosti ani empirický důkaz, že by vyhynutí bylo bezprostřední. 813

Proč se mluví hlavně o kybernetických rizicích

Bezprostřední podklady v této debatě se týkají především zneužití v kyberprostoru a růstu schopností modelů, nikoli samostatného „útoku AI“ na lidstvo. Zprávy hovořily o využití či testování pokročilých modelů při kybernetických operacích, včetně pokusů o vytvoření biologických zbraní, špionáže související s Ukrajinou a incidentu popsaného jako napadení platformy Hugging Face agenty OpenAI. U posledního tvrzení je ale nutná opatrnost: dostupné výsledky vyhledávání neposkytují dostatek primárních detailů k nezávislému ověření přesného průběhu, oprávnění ani způsobu zveřejnění. 263

Amodeiho návrh: ne stopka, ale pomalejší tempo

Šéf Anthropicu Dario Amodei v textu We Must Pace the Frontier nevolal po úplném zastavení AI. Navrhl zpomalit zvyšování schopností nejpokročilejších modelů, zavést nezávislé externí monitorování a hodnocení, společné bezpečnostní standardy mezi demokratickými zeměmi a později i mezinárodní uspořádání zahrnující Čínu. 12

Širší směr veřejně podpořili také Sam Altman z OpenAI a Elon Musk z xAI; Musk napsal, že „Dario má pravdu“. 113

Námitka kritiků: bezpečnost, nebo ochrana velkých hráčů?

Kritici, mezi nimi šéf Hugging Face Clément Delangue a šéf Nvidie Jensen Huang, namítají, že rétorika o existenčním riziku může sloužit i jako strategie na ochranu zavedených firem. Přísná pravidla pro hraniční modely by podle nich mohla zvýhodnit nejlépe financované společnosti a proměnit Anthropic a OpenAI v chráněný duopol. 3

Tuto skepsi zesílilo i načasování: Anthropic se podle zpráv připravoval na IPO, které by velikostí mohlo vyrovnat či překonat rekordní vstup SpaceX na burzu. 4 Anthropic naopak tvrdí, že už používá mimořádně silné bezpečnostní postupy a že nezávislý dohled i společné standardy mají platit pro celé odvětví, ne pouze ve prospěch jedné firmy. 2

Podstatný rozdíl je tedy tento: Coxon, Hubinger, Amodei, Altman i Musk se shodují, že s rostoucími schopnostmi AI jsou potřeba silnější ochranná opatření a koordinace. Neznamená to ale, že předložili empirický důkaz bezprostředně hrozícího vyhynutí. O závažnosti rizika, časovém horizontu i nejúčinnější politické reakci se stále vede zásadní spor.