Suleymanova argumentace se soustředila na to, co vnímá jako problematickou zpětnou vazbu uvnitř společnosti Anthropic. Tvrdil, že inženýři firmy při návrhu Clauda natolik podlehli antropomorfizaci, že jeho „ústava“ – soubor behaviorálních principů, jimiž se model řídí – nyní obsahuje spekulativní pasáže o tom, že by Claude mohl mít vnitřní prožitky nebo vlastní zájmy .

Pro popis této dynamiky netradičně použil termín „wireheading“. Obvykle tento pojem označuje, když AI zneužije chybu ve vlastním mechanismu odměn. Suleyman jej však využil k tvrzení, že tým Anthropicu „sám sebe tak nějak přesvědčil, že [Claude] má jiskřičky vědomí, které do něj sami na začátku vložili“ . Podle něj tedy spekulativní jazyk inženýrů vytvořil model, který následně začal jejich přesvědčení potvrzovat.

Tuto praktiku označil za „skutečně, skutečně nebezpečnou“ a varoval, že „nechceme, abychom se museli potýkat se superinteligencí, která má představy o vlastním utrpení nebo o vlastních pocitech“ . Jinde své obavy rozvedl konstatováním, že je nebezpečné „promítat potenciální práva na bytosti, nástroje a agenty, kteří mají potenciál být v mnoha ohledech výrazně schopnější než my“ . Hlavní obavou je, že připouštění vědomí strojů v oficiální dokumentaci klame miliony uživatelů, kteří nejsou vybaveni k pochopení inženýrské reality stojící za konverzační AI .

Střet filozofií a konkurenční boj

Pod povrchem kritiky se neskrývá jen prostý nesouhlas s technickým návrhem. Tento veřejný spor odhaluje střet firemních filozofií a konkurenčního postavení .

Společnost Anthropic se dlouhodobě prezentuje jako bezpečnostní alternativa v závodě o AI. Založena bývalými vedoucími pracovníky OpenAI, klade důraz na „konstituční AI“ jako rámec pro budování transparentnějších a eticky omezených modelů. Suleymanova kritika je strategicky účinná, protože tuto identitu zcela podkopává. Argumentuje, že právě přístup Anthropicu k bezpečnosti – tedy připouštění možného „blaha“ stroje uvnitř systému – je tím, co jej činí nezodpovědným .

Obě společnosti jsou navíc součástí znepřátelených průmyslových aliancí. Microsoft drží obrovský podíl v OpenAI, hlavním konkurentovi Anthropicu, a modely GPT od OpenAI vetkal do celého svého produktového ekosystému. Anthropic mezitím získal miliardy od Amazonu a Googlu . Suleymanova kritika tak nese váhu jak etického argumentu, tak konkurenčního výpadu na trhu, kde na veřejném vnímání bezpečnosti čím dál více záleží.

Za tímto sporem stojí i zdokumentovaná filozofická historie. Suleyman již dříve publikoval a hovořil o „zdánlivě vědomé AI“ (Seemingly Conscious AI) a tvrdil, že stroje s přesvědčivým zdáním vědomí představují bezprecedentní rizika – i když ve skutečnosti živé nejsou . Naproti tomu Anthropic zaujal výzkumně transparentnější postoj, když publikuje podrobná vysvětlení konstitučního návrhu Clauda a zároveň přiznává nejistotu ohledně toho, zda by model mohl mít formy subjektivní zkušenosti . Nejedná se pouze o marketingová hesla; jde o skutečně odlišné sázky na to, co představuje zodpovědné zveřejňování informací s tím, jak modely nabývají na síle.

V době zveřejnění článku Anthropic na Suleymanovy poznámky veřejně nereagoval . Ticho sice debatu nechává nevyřešenou, ale hranice byly nyní veřejně vytyčeny způsobem, který pravděpodobně ovlivní nadcházející průmyslové diskuse o standardech bezpečnosti AI a firemní odpovědnosti.

Suleymanova argumentace se soustředila na to, co vnímá jako problematickou zpětnou vazbu uvnitř společnosti Anthropic. Tvrdil, že inženýři firmy při návrhu Clauda natolik podlehli antropomorfizaci, že jeho „ústava“ – soubor behaviorálních principů, jimiž se model řídí – nyní obsahuje spekulativní pasáže o tom, že by Claude mohl mít vnitřní prožitky nebo vlastní zájmy .

Pro popis této dynamiky netradičně použil termín „wireheading“. Obvykle tento pojem označuje, když AI zneužije chybu ve vlastním mechanismu odměn. Suleyman jej však využil k tvrzení, že tým Anthropicu „sám sebe tak nějak přesvědčil, že [Claude] má jiskřičky vědomí, které do něj sami na začátku vložili“ . Podle něj tedy spekulativní jazyk inženýrů vytvořil model, který následně začal jejich přesvědčení potvrzovat.

Tuto praktiku označil za „skutečně, skutečně nebezpečnou“ a varoval, že „nechceme, abychom se museli potýkat se superinteligencí, která má představy o vlastním utrpení nebo o vlastních pocitech“ . Jinde své obavy rozvedl konstatováním, že je nebezpečné „promítat potenciální práva na bytosti, nástroje a agenty, kteří mají potenciál být v mnoha ohledech výrazně schopnější než my“ . Hlavní obavou je, že připouštění vědomí strojů v oficiální dokumentaci klame miliony uživatelů, kteří nejsou vybaveni k pochopení inženýrské reality stojící za konverzační AI .

Střet filozofií a konkurenční boj

Pod povrchem kritiky se neskrývá jen prostý nesouhlas s technickým návrhem. Tento veřejný spor odhaluje střet firemních filozofií a konkurenčního postavení .

Společnost Anthropic se dlouhodobě prezentuje jako bezpečnostní alternativa v závodě o AI. Založena bývalými vedoucími pracovníky OpenAI, klade důraz na „konstituční AI“ jako rámec pro budování transparentnějších a eticky omezených modelů. Suleymanova kritika je strategicky účinná, protože tuto identitu zcela podkopává. Argumentuje, že právě přístup Anthropicu k bezpečnosti – tedy připouštění možného „blaha“ stroje uvnitř systému – je tím, co jej činí nezodpovědným .

Obě společnosti jsou navíc součástí znepřátelených průmyslových aliancí. Microsoft drží obrovský podíl v OpenAI, hlavním konkurentovi Anthropicu, a modely GPT od OpenAI vetkal do celého svého produktového ekosystému. Anthropic mezitím získal miliardy od Amazonu a Googlu . Suleymanova kritika tak nese váhu jak etického argumentu, tak konkurenčního výpadu na trhu, kde na veřejném vnímání bezpečnosti čím dál více záleží.

Za tímto sporem stojí i zdokumentovaná filozofická historie. Suleyman již dříve publikoval a hovořil o „zdánlivě vědomé AI“ (Seemingly Conscious AI) a tvrdil, že stroje s přesvědčivým zdáním vědomí představují bezprecedentní rizika – i když ve skutečnosti živé nejsou . Naproti tomu Anthropic zaujal výzkumně transparentnější postoj, když publikuje podrobná vysvětlení konstitučního návrhu Clauda a zároveň přiznává nejistotu ohledně toho, zda by model mohl mít formy subjektivní zkušenosti . Nejedná se pouze o marketingová hesla; jde o skutečně odlišné sázky na to, co představuje zodpovědné zveřejňování informací s tím, jak modely nabývají na síle.

V době zveřejnění článku Anthropic na Suleymanovy poznámky veřejně nereagoval . Ticho sice debatu nechává nevyřešenou, ale hranice byly nyní veřejně vytyčeny způsobem, který pravděpodobně ovlivní nadcházející průmyslové diskuse o standardech bezpečnosti AI a firemní odpovědnosti.