Jacob Coxon stapte op bij Anthropic uit angst voor de AI-wedloop

Jacob Coxon zegt dat hij op 8 september bij Anthropic is opgestapt omdat hij tot de conclusie kwam dat de prikkels in de concurrentiestrijd tussen de grootste AI-labs gevaarlijk zijn. Volgens hem gaat het niet alleen om losse technische tekortkomingen: bedrijven zouden worden aangezet om steeds autonomere, zichzelf verbeterende systemen te bouwen voordat iemand weet hoe die betrouwbaar beheerst kunnen worden. Dat hij vertrok kort voordat zijn aandelenpakket zou vrijkomen, moest volgens zijn redenering laten zien dat hij dat risico zwaarder liet wegen dan de financiële opbrengst. 25

Wat Coxon Anthropic en OpenAI verwijt

In zijn berichtenthread op X schreef Coxon dat noch Anthropic, noch OpenAI verantwoord handelt. Hij beschuldigde beide bedrijven ervan „rechtstreeks naar zelfverbeterende superintelligentie te racen en met ons leven te gokken”. Zijn punt was niet dat huidige chatbots op korte termijn zelfstandig de mensheid zullen aanvallen. Wel stelde hij dat mensen die de geavanceerdste modellen bouwen oprecht denken dat toekomstige systemen bovenmenselijk kunnen worden in onder meer cyberinbraak. Dat kan volgens hem een route openen naar een catastrofaal verlies van menselijke controle. 38

Tegen de BBC zei Coxon dat werknemers in de AI-sector „oprecht bang” zijn door het tempo van de vooruitgang. Als de ontwikkeling niet vertraagt, bestaat er volgens hem „een grote kans dat we allemaal in de nabije toekomst sterven”. Een betekenisvolle vertraging zou volgens hem internationaal moeten worden afgesproken, inclusief met China; één land dat alleen op de rem trapt, zou volgens hem in feite de technologische wedloop uit handen geven. 1

Steun voor de zorg, maar geen harde voorspelling

Evan Hubinger, onderzoeker bij Anthropic op het gebied van alignment — het afstemmen van AI-systemen op menselijke doelen — steunde Coxons bredere zorg publiekelijk. Hij zei dat de risico's van de huidige modellen laag zijn, maar schatte de kans dat AI binnen tien jaar alle mensen zou kunnen doden op meer dan 10%. 13

Ook Geoffrey Hinton heeft betoogd dat een AI-overname of uitstervingsscenario een reëel, niet te verwaarlozen risico is. Zulke percentages zijn echter subjectieve inschattingen van experts, geen meetbare voorspellingen. De beschikbare berichtgeving laat niet zien dat AI-onderzoekers het eens zijn over één kansberekening. 813

Welke aanwijzingen worden aangevoerd?

De directe aanwijzingen in dit debat gaan vooral over misbruik voor cyberdoeleinden en de snelle groei van AI-capaciteiten, niet over een autonome aanval op de mensheid. In berichtgeving is onder meer gewezen op gebruik of tests van geavanceerde modellen bij cyberoperaties, pogingen om biologische wapens te ontwikkelen, spionage rond Oekraïne en een incident dat werd omschreven als OpenAI-agents die Hugging Face hackten. Over dat laatste punt is voorzichtigheid nodig: de beschikbare zoekresultaten bevatten onvoldoende primaire details om de precieze feiten, toestemming en openheid rond elke beschuldiging zelfstandig te verifiëren. 263

Afremmen is volgens Amodei geen volledige stop

Dario Amodei, topman van Anthropic, pleitte in zijn essay We Must Pace the Frontier niet voor een totaalverbod op AI-ontwikkeling. Hij riep op tot langzamere capaciteitsverbeteringen aan de absolute top van de markt, onafhankelijke externe monitoring en evaluaties, gedeelde veiligheidsnormen tussen democratische landen en uiteindelijk internationale afspraken waarin ook China betrokken is. 12

Sam Altman van OpenAI en Elon Musk van xAI onderschreven publiekelijk de brede richting van dat voorstel. Musk schreef: „Dario is right.” 113

Kritiek: veiligheidsverhaal of bescherming van gevestigde spelers?

Tegelijkertijd is er forse kritiek op dit soort existentiële waarschuwingen. Critici, onder wie Hugging Face-topman Clément Delangue en Nvidia-topman Jensen Huang, stellen dat strenge regels voor de krachtigste modellen vooral de best gefinancierde bedrijven kunnen beschermen. Anthropic en OpenAI zouden dan kunnen uitgroeien tot een afgeschermd duopolie. Die kritiek gaat over marktstructuur en prikkels; zij bewijst niet dat Coxons zorgen onoprecht zijn. 3

De timing voedde de scepsis: Anthropic zou zich voorbereiden op een beursgang die even groot of groter kan worden dan de recordbeursgang van SpaceX. 4 Anthropic stelt daartegenover dat het al zeer sterke veiligheidspraktijken hanteert en dat onafhankelijke controle en gedeelde standaarden voor de hele sector zouden moeten gelden, niet alleen voor één bedrijf. 2

De kern is dus dat Coxon, Hubinger, Amodei, Altman en Musk het er in grote lijnen over eens zijn dat krachtigere AI meer coördinatie en veiligheidswaarborgen vraagt. Zij leveren daarmee geen empirisch bewijs dat menselijke uitsterving op handen is. Hoe ernstig het risico is, op welke termijn het zich kan voordoen en welk beleid het beste werkt, blijft sterk omstreden.