Därför lämnade Jacob Coxon Anthropic: varning för AI-racet mot självförbättrande system

Jacob Coxon säger att han lämnade Anthropic eftersom han kommit fram till att konkurrensen mellan de ledande AI-laboratorierna – inte bara enskilda tekniska misstag – pressar företagen mot allt mer autonoma och självförbättrande system innan det finns ett känt sätt att hålla dem under kontroll. Att lämna kort innan hans aktier enligt uppgifterna skulle tjänas in var, enligt hans egen signalering, ett sätt att visa att han bedömde risken som viktigare än den ekonomiska kostnaden. 25

Hans huvudargument: kapplöpningen är problemet

Coxon, 27, arbetade tidigare med pretraining, alltså den dataintensiva grundträning som används för att skapa nya AI-modeller, på både OpenAI och Anthropic. Den 8 september meddelade han sin avgång i en tråd på X, som fick mycket stor spridning. 36

Han skrev att varken Anthropic eller OpenAI agerade ansvarsfullt och anklagade bolagen för att ”rusa rakt mot självförbättrande superintelligens och spela med våra liv”. 38

Hans poäng var inte att dagens chattbottar omedelbart kan utplåna mänskligheten på egen hand. I stället hävdade han att personer som bygger de mest avancerade modellerna på allvar tror att framtida system kan överträffa människor inom exempelvis cyberintrång, snabbt förbättra sina egna förmågor och få tillgång till verkliga resurser. Det är den möjliga kombinationen av hög kapacitet och bristande kontroll som han ser som farlig. 38

I en intervju med BBC sade Coxon att AI-anställda var ”genuint rädda” för utvecklingstakten. Han hävdade att det finns ”en stark chans att vi alla kan dö inom en nära framtid” om takten inte sänks. Samtidigt underströk han att en meningsfull inbromsning måste samordnas internationellt, även med Kina, snarare än att ett land ensamt avstår från kapplöpningen. 1

Stöd från säkerhetsforskare – men ingen fastställd sannolikhet

Anthropics forskare Evan Hubinger stödde offentligt den övergripande oron. Han beskrev risken från nuvarande modeller som låg, men uppskattade sannolikheten för att AI kan döda alla människor inom tio år till över 10 procent. 13

Även Geoffrey Hinton har varnat för att ett scenario där AI tar över eller bidrar till mänsklighetens utplåning är en påtaglig, snarare än försumbar, risk. Sådana siffror är dock subjektiva expertbedömningar – inte mätbara prognoser. Rapporteringen visar inte heller någon enighet bland AI-forskare om vare sig sannolikheten, tidshorisonten eller den bästa politiska lösningen. 813

Cyberrisker är det konkreta underlaget i debatten

De konkreta exempel som lyfts handlar främst om cybermissbruk och snabbt växande förmågor, inte om någon bekräftad autonom AI-attack mot mänskligheten. Avancerade modeller har enligt rapporter använts eller testats i cyberoperationer, bland annat försök kopplade till biologiska vapen, spionage riktat mot Ukraina och en uppgift om OpenAI-agenter som hackat Hugging Face. 263

Just den sistnämnda uppgiften bör behandlas försiktigt: underlaget i de tillgängliga sökresultaten räcker inte för att självständigt fastställa de exakta omständigheterna, eventuella tillstånd eller hur händelsen offentliggjordes. 263

Amodeis förslag: bromsa fronten, inte stoppa AI

Kort efter Coxons avgång publicerade Anthropics vd Dario Amodei essän We Must Pace the Frontier. Förslaget var inte att helt stoppa AI-utvecklingen. I stället förespråkade Amodei långsammare förbättringar av de mest avancerade modellerna, oberoende extern övervakning och utvärdering, gemensamma säkerhetskrav mellan demokratiska länder samt på sikt internationella överenskommelser som även omfattar Kina. 12

OpenAI-chefen Sam Altman och xAI-chefen Elon Musk gav offentligt stöd åt den breda inriktningen. Musk skrev att ”Dario har rätt”. 113

Anthropics ståndpunkt är att bolaget redan har ovanligt starka säkerhetsrutiner och att extern tillsyn samt gemensamma standarder bör gälla hela branschen, inte enbart ett företag. 2

Kritiken: säkerhetsregler kan också skydda marknadsledarna

Motargumentet är att retorik om existentiella AI-risker kan fungera som ett sätt att skydda etablerade aktörer. Kritiker som Hugging Faces Clément Delangue och Nvidias Jensen Huang har varnat för att hårda regler för så kallade frontier-modeller – de mest kraftfulla systemen – kan befästa de bäst finansierade bolagens position och göra Anthropic och OpenAI till ett skyddat duopol. 3

Tidpunkten har förstärkt den misstanken. Anthropic uppgavs samtidigt förbereda en börsnotering som kan bli lika stor som, eller större än, SpaceX rekordnotering. 4

Den kritiken bevisar dock inte att Coxons oro är oärlig. Den handlar i stället om incitament och marknadsstruktur: vem som gynnas om utvecklingen bromsas och vilka företag som har resurser att följa nya regelverk.

Det centrala är därför att skilja på två saker. Coxon, Hubinger, Amodei, Altman och Musk är överens om att allt mer kapabla AI-system kräver starkare skyddsräcken och internationell samordning. Men de har inte lagt fram empiriska bevis för att mänsklighetens utplåning är nära förestående. Hur allvarlig risken är, hur snabbt den kan uppstå och vilka åtgärder som fungerar bäst är fortfarande djupt omstritt.