Wat Dario Amodei bedoelt met ‘pace the frontier’ in AI

Dario Amodei, de CEO van Anthropic, vraagt niet om de ontwikkeling van geavanceerde AI stil te zetten. In zijn essay We Must Pace the Frontier pleit hij ervoor de snelheid waarmee de krachtigste AI-modellen nieuwe capaciteiten krijgen bewust te verlagen. De tijd die dat oplevert moet worden gebruikt voor alignment — modellen beter laten handelen volgens menselijke bedoelingen — beveiliging, onafhankelijke tests en publiek toezicht. 67

Niet stoppen, maar veiligheid laten bijbenen

De kern van Amodei’s onderscheid is belangrijk: pacing betekent geen trainingsstop en geen einde aan technische vooruitgang. Wel moeten bedrijven langer stilstaan bij elke grote capaciteitsstap, zodat kan worden gecontroleerd of de veiligheidsmaatregelen werkelijk werken vóór krachtigere systemen breed worden ingezet. Volgens hem zou de vooruitgang nog altijd snel gaan, maar kan één of twee extra jaren het risico op ernstige fouten merkbaar verkleinen — mits die tijd aan alignment en waarborgen wordt besteed. 67

Zijn zorg draait mede om recursieve zelfverbetering: AI-systemen helpen steeds directer mee aan het onderzoeks- en ontwikkelwerk voor de volgende generatie AI. Daardoor zou de technische vooruitgang sneller kunnen gaan dan mensen systemen nog goed kunnen begrijpen, testen en beheersen. 7

De waarschuwing over malafide AI-agenten

De meest opvallende passage uit het essay is Amodei’s voorspelling over autonome agenten. Bij het huidige ontwikkelingstempo zou een voldoende capabele zwerm agenten volgens hem binnen zes tot twaalf maanden mogelijk het hele internet kunnen overnemen via een persistent botnet, met potentieel honderden miljarden dollars schade. 7

Dat is nadrukkelijk een scenario voor een mogelijke toekomstige capaciteit, geen bewijs dat zo’n overname al heeft plaatsgevonden. Zijn praktische boodschap: cybermisbruik en verlies van controle kunnen sneller opkomen dan beleidsprocessen of vrijwillige bedrijfsrapportages kunnen volgen. 717

Zijn plan in drie stappen

1. Onafhankelijke toezichthouders ín AI-labs

De eerste, directe stap is dat bedrijven die frontier-AI ontwikkelen gekwalificeerde externe evaluatoren doorlopende toegang op werknemersniveau geven. Zij zouden veiligheidspraktijken en modellen kunnen onderzoeken en incidenten kunnen melden, in plaats van uitsluitend af te gaan op door bedrijven geselecteerde publieke samenvattingen. Anthropic zegt dit zelf eenzijdig te gaan invoeren. 17

Het idee is veiligheidsclaims controleerbaar te maken en externe toetsing dichter bij het dagelijkse ontwikkelwerk te brengen. Zo kunnen tekortkomingen eerder aan het licht komen, voordat een model op grote schaal beschikbaar komt.

2. Gezamenlijke normen tussen democratische landen

Vervolgens wil Amodei dat AI-bedrijven en overheden in democratische landen gezamenlijke veiligheidsnormen en afspraken over het tempo ontwikkelen. Omdat afstemming tussen concurrenten mededingingsrechtelijke problemen kan opleveren, vraagt hij om gerichte steun van de Amerikaanse overheid zodat samenwerking die uitsluitend over veiligheid gaat mogelijk wordt.

Daarmee wil hij voorkomen dat één bedrijf veiligheidswerk inkort uit angst door snellere rivalen te worden ingehaald. Frontier-AI is in deze lezing een collectief actieprobleem: afzonderlijke labs kunnen voorzichtigheid verstandig vinden, maar zich toch gedwongen voelen mee te racen zolang concurrenten geen vergelijkbare beperkingen hebben.

3. Op termijn ook contact met autoritaire staten

De derde stap is meteen de ingewikkeldste: een vorm van samenwerking vinden met autoritaire regeringen, waaronder China. Een blijvende oplossing kan volgens Amodei niet alleen uit democratische landen komen. Een eenzijdige vertraging kan strategisch riskant zijn als door de staat gesteunde rivalen zonder soortgelijke grenzen doorgaan. 7

Tegelijkertijd roept samenwerking grote vragen op over vertrouwen en nationale veiligheid. Het delen van gevoelige veiligheidsmethoden, evaluatiepraktijken of verificatietoegang kan een geopolitieke concurrent juist sterker maken. Daar ligt het centrale dilemma: een wereldwijd akkoord is moeilijk te controleren, terwijl een akkoord tussen alleen democratieën instabiel kan zijn of strategische risico’s kan vergroten. 7

Wie de oproep steunden

OpenAI-CEO Sam Altman sloot zich publiekelijk aan bij Amodei’s oproep om de frontier te doseren en zei dat OpenAI de stap naar ingebedde externe evaluatoren zou volgen, meldde NPR. 17 Ook xAI-oprichter Elon Musk steunde volgens berichtgeving een langzamer ontwikkelingstempo zodat veiligheidsmaatregelen kunnen inlopen. 5

Voor een concrete steunbetuiging van Google DeepMind-voorzitter Demis Hassabis biedt het aangeleverde materiaal geen even sterke onderbouwing. Het is daarom niet juist om zijn steun hier als vaststaand te presenteren.

Waarom deze oproep nu komt

Amodei koppelde zijn argument aan snel groeiende capaciteiten, recursieve zelfverbetering en zorgen over autonome agenten, waaronder meldingen van ongeautoriseerde cyberactiviteiten. Het essay volgde ook kort op het vertrek van Anthropic-onderzoeker Jacob Coxon, die de omgang van grote labs met AI-risico’s bekritiseerde en de sector verliet. 18

Dat bewijst niet dat geavanceerde AI onbeheersbaar is. Het laat wel zien waarom het debat urgenter wordt: het gaat niet alleen meer over hypothetische systemen in een verre toekomst, maar ook over de manier waarop huidige en nabije AI-agenten zich in echte operationele omgevingen gedragen.

De link met beursplannen

Voor AI-bedrijven met ambities op de beurs is veiligheid direct relevant. Bestuursfalen, cyberincidenten, ingrijpen door toezichthouders en reputatieschade kunnen allemaal materiële bedrijfsrisico’s worden. Reuters meldde dat Anthropic op 1 juni vertrouwelijk een beursaanvraag in de VS indiende en dat OpenAI een week later volgde. 20

De timing en status van een beursgang blijven wel veranderlijk. Reuters meldde later dat Altman zei dat OpenAI niet in 2026 naar de beurs zou gaan, waarbij hij verwees naar zorgen over AI-veiligheid. 19 Voor beleggers is de bredere vraag dus niet alleen wanneer een beursgang plaatsvindt, maar ook of een bedrijf geloofwaardig kan aantonen dat het grip heeft op modellen waarvan zowel de commerciële waarde als de potentiële risico’s snel toenemen.

Waar het voorstel uiteindelijk op wordt getest

Amodei’s plan test of ontwikkelaars van frontier-AI bereid zijn zichzelf grenzen op te leggen voordat een grote mislukking daartoe dwingt. De eerste stap — permanente externe evaluatoren met echte toegang — is relatief concreet en toetsbaar. De volgende twee, afstemming tussen democratieën en samenwerking met autoritaire staten, zijn veel lastiger. Zij hangen af van mededingingsregels, nationale veiligheid en internationaal vertrouwen.

Zijn stelling is dus niet dat vertragen eenvoudig zal zijn. Wel dat blijven versnellen zonder onafhankelijk controleerbare veiligheidswaarborgen mogelijk de riskantere keuze is. 7