AnswersPublished17 sources
Proč Jacob Coxon odešel z Anthropicu: varování před závodem v AI
Jacob Coxon uvedl, že z Anthropicu odešel, protože soutěž mezi laboratořemi vyvíjejícími nejpokročilejší AI podle něj urychluje cestu k sebezdokonalujícím systémům rychleji, než stačí vznikat metody bezpečnosti a kont... Výzkumník Anthropicu Evan Hubinger označil riziko současných modelů za nízké, ale osobně odhaduj...
PublikovalUpraveno pomocí GPT-5.6 TerraObrázky vytvořeny pomocí GPT Image 2
Research answer
Key takeaways
- Jacob Coxon uvedl, že z Anthropicu odešel, protože soutěž mezi laboratořemi vyvíjejícími nejpokročilejší AI podle něj urychluje cestu k sebezdokonalujícím systémům rychleji, než stačí vznikat metody bezpečnosti a kont...
- Výzkumník Anthropicu Evan Hubinger označil riziko současných modelů za nízké, ale osobně odhaduje pravděpodobnost, že AI během deseti let zabije všechny lidi, na více než 10 %.
- Spor se změnil i v debatu o pravidlech trhu: Dario Amodei navrhuje zpomalit posun na hranici schopností AI a zavést nezávislý dohled, zatímco kritici varují, že přísná pravidla mohou zvýhodnit největší laboratoře.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What prompted 27-year-old former Anthropic and OpenAI pretraining researcher Jacob Coxon to resign from Anthropic on September 8—two months. Article summary: Coxon said he resigned because he concluded that the leading labs’ competitive incentives—not merely individual technical failures—were driving them toward increasingly autonomous, self-improving systems before anyone kn. Topic tags: general, news, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts wi
Jacob Coxon odešel z Anthropicu na protest proti tomu, co považuje za nebezpečnou dynamiku mezi firmami vyvíjejícími nejpokročilejší modely AI. Podle něj společnosti závodí ve vývoji stále autonomnějších a možná i sebezdokonalujících systémů dříve, než existují spolehlivé způsoby, jak je udržet pod lidskou kontrolou. Coxon, který uvedl, že pracoval na výzkumu předtrénování modelů v Anthropicu i OpenAI, tvrdí, že ani jedna z firem nepostupuje dostatečně odpovědně. 2
3
Hlavní výtka: schopnosti AI předbíhají kontrolu
Coxon ve veřejném vlákně na síti X obvinil Anthropic a OpenAI, že „míří přímo k sebezdokonalující se superinteligenci a hazardují s našimi životy“. Neříká tím, že dnešní chatboty samostatně a bezprostředně způsobí vyhynutí lidstva. Varuje před budoucími systémy, které by mohly lidi překonat v úkolech s velkým dopadem — například v kybernetických schopnostech — a získat reálnou moc či zdroje dříve, než je dokážeme spolehlivě sladit s lidskými cíli. 3
5
8
Podstatou jeho argumentu je rychlý růst schopností a nedostatečné řízení rizik. Jestliže se modely budou zlepšovat rychleji než bezpečnostní postupy, může být případné selhání velmi vážné, i když současné systémy mají stále výrazné limity.
Proč se rozhodl odejít
BBC Coxonovi připsala výrok, že lidé pracující na pokročilé AI jsou z tempa vývoje „opravdu vyděšení“. Bez zpomalení podle něj existuje „vysoká šance“, že lidstvo může v blízké budoucnosti zahynout. 1
Zároveň tvrdí, že skutečné zpomalení nemůže zařídit jediná firma ani jediný stát. Trvalejší řešení by podle něj vyžadovalo mezinárodní koordinaci, včetně Číny, aby se vývoj těch nejschopnějších systémů jen nepřesunul jinam. 1
Jeho rezignace tak byla především veřejným odmítnutím pobídek, které podle něj formují závod ve vývoji špičkových modelů. Nešlo o tvrzení, že by osobně zaznamenal konkrétní bezpečnostní incident v Anthropicu. Zprávy o jeho odchodu popisují širší obavu ze závodu o systémy, které firmy možná nedokážou ovládat. 2
Jak reagovali další lidé z oblasti bezpečnosti AI
Coxonovo varování podpořil Evan Hubinger, výzkumník Anthropicu zaměřený na slaďování AI s lidskými hodnotami a záměry. Hubinger uvedl, že riziko současných modelů je nízké, ale osobně odhaduje pravděpodobnost, že AI během příštích deseti let zabije všechny lidi, na více než 10 %. 13
Takové číslo je nutné číst opatrně. Jde o subjektivní hodnocení málo pravděpodobného, ale krajně závažného budoucího scénáře — ne o empiricky potvrzenou prognózu. Debata vyvolaná Coxonovým odchodem ukazuje ostré rozpory ohledně časového výhledu, pravděpodobnosti i potřebných pojistek; nepředstavuje vědeckou shodu, že vyhynutí lidstva bezprostředně hrozí. 13
Bezprostřednější hrozby: kybernetické zneužití a růst schopností
Konkrétní obavy v této debatě se více týkají zneužití v kyberprostoru, nebezpečných experimentů a stále schopnějších autonomních agentů než filmového scénáře, v němž AI náhle zaútočí na lidstvo sama od sebe.
Zprávy v souvislosti s debatou upozorňovaly, že pokročilé modely mohou pomáhat při kybernetických průnicích a dalším zneužití s velkým dopadem. Zmíněn byl i údajný incident týkající se agentů OpenAI a platformy Hugging Face. Dostupné zpravodajství ale neposkytuje dostatek primárních podkladů k nezávislému ověření přesných okolností, oprávnění ani rozsahu tohoto incidentu. 2
63
Praktická otázka proto zní méně dramaticky, ale o to naléhavěji: co dnešní a budoucí modely skutečně umějí, jak se testují před nasazením, zda se daří zneužití odhalovat a kdo může nezávisle ověřit bezpečnostní tvrzení laboratoří.
Amodei nechce AI zastavit, ale zpomalit postup na hranici možností
Krátce po Coxonově varování vyzval generální ředitel Anthropicu Dario Amodei v eseji We Must Pace the Frontier ke zpomalení zvyšování schopností nejpokročilejších modelů. Nevolá po plošném zastavení vývoje AI. Jeho návrh má dát více času tomu, aby prevence rizik držela krok s rychle rostoucími schopnostmi. 1
Popsaný rámec zahrnuje:
- nezávislé sledování a hodnocení nejpokročilejších modelů;
- sdílené bezpečnostní standardy napříč odvětvím a demokratickými státy;
- budoucí mezinárodní koordinaci správy AI, včetně jednání s Čínou.
1
Šéf OpenAI Sam Altman veřejně podpořil obecný směr návrhu a uvedl, že nezávislí hodnotitelé s přístupem srovnatelným se zaměstnanci jsou dobrý nápad. Podporu Amodeiho výzvě vyjádřil také Elon Musk slovy „Dario má pravdu“. 1
Proč kritici vidí problém i v hospodářské soutěži
Bezpečnostní návrhy velkých laboratoří vyvolaly vedle podpory i skepsi. Kritici, mezi nimi šéf Hugging Face Clément Delangue, namítají, že přísná omezení pro nejpokročilejší modely mohou zvýhodnit firmy, které už dnes mají nejvíce peněz a snáze unesou náklady na dodržování pravidel. 1
3
Tato námitka nedokazuje, že Coxonovy obavy jsou neupřímné. Otevírá však samostatnou otázku: může regulace současně snížit reálná rizika a zároveň soustředit moc v rukou několika zavedených laboratoří?
Důvěryhodný systém správy AI by proto musel posílit dohled nad nejvýkonnějšími systémy, aniž by se bezpečnostní požadavky změnily v umělou bariéru chránící úzkou skupinu firem.
Co z toho plyne
Coxon odešel, protože dospěl k závěru, že samotný závod mezi předními firmami je zdrojem nebezpečí: motivace zvyšovat schopnosti modelů může převážit nad časem potřebným k vytvoření kontroly, testování a mezinárodní koordinace. 2
3
Jeho nejdramatičtější tvrzení zůstávají sporná. Vyjadřují vážnou obavu, kterou sdílí část lidí z oboru, nejsou však důkazem, že zánik lidstva je na spadnutí. Bezprostřednějším politickým úkolem je zavést nezávisle ověřitelné pojistky pro stále schopnější AI — a zajistit, aby z nich netěžily hlavně společnosti, které tyto systémy samy budují. 1
13
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Proč Jacob Coxon odešel z Anthropicu: varování před závodem v AI"?
Jacob Coxon uvedl, že z Anthropicu odešel, protože soutěž mezi laboratořemi vyvíjejícími nejpokročilejší AI podle něj urychluje cestu k sebezdokonalujícím systémům rychleji, než stačí vznikat metody bezpečnosti a kont...
What are the key points to validate first?
Jacob Coxon uvedl, že z Anthropicu odešel, protože soutěž mezi laboratořemi vyvíjejícími nejpokročilejší AI podle něj urychluje cestu k sebezdokonalujícím systémům rychleji, než stačí vznikat metody bezpečnosti a kont... Výzkumník Anthropicu Evan Hubinger označil riziko současných modelů za nízké, ale osobně odhaduje pravděpodobnost, že AI během deseti let zabije všechny lidi, na více než 10 %.
What should I do next in practice?
Spor se změnil i v debatu o pravidlech trhu: Dario Amodei navrhuje zpomalit posun na hranici schopností AI a zavést nezávislý dohled, zatímco kritici varují, že přísná pravidla mohou zvýhodnit největší laboratoře.