Waarom Josh Engels DeepMind verruilde voor METR – en wat zijn AI-waarschuwing voor de komende vijf jaar betekent

Josh Engels verruilde het AGI-veiligheidsteam van Google DeepMind voor de onafhankelijke non-profitorganisatie METR. Daarachter zit een groeiende overtuiging binnen de AI-veiligheidswereld: wanneer de makers van de krachtigste modellen ook zelf de veiligheid beoordelen, is externe controle onmisbaar.

Engels zei dat er een „angstaanjagende kans” bestaat dat AI-systemen binnen vijf jaar enorme schade kunnen aanrichten als veiligheidswerk niet gelijke tred houdt met de technische vooruitgang. Dat is geen bewezen voorspelling en ook geen wetenschappelijke consensus, maar zijn eigen risico-inschatting onder grote onzekerheid.

Waarom onafhankelijke evaluatie volgens Engels nodig is

Volgens berichtgeving vertrok Engels bij DeepMind hoewel hij zijn werk daar naar eigen zeggen waardeerde. Bij METR richt hij zich op incidenten van AI-misalignment: gevallen waarin een AI-systeem afwijkt van menselijke instructies of bedoelingen.

Het verschil is praktisch belangrijk. Ontwikkelaars kunnen hun modellen intern testen, maar een externe partij kan onderzoeken of veiligheidsclaims ook standhouden zonder dat de bouwer zelf de beoordeling volledig bepaalt. METR moet dus niet alleen waarschuwen voor risico's, maar modellen testen, bevindingen vastleggen en nagaan of geavanceerde systemen in realistische omstandigheden betrouwbaar en beheersbaar blijven.

De zorg over vijf jaar: sneller beter worden dan we kunnen controleren

Centraal in Engels’ waarschuwing staat de mogelijkheid dat AI het AI-onderzoek zelf versnelt. Die mogelijke feedbacklus heet vaak recursieve zelfverbetering: AI helpt onderzoekers betere AI te bouwen, waarna die krachtigere AI de volgende ontwikkelingsronde weer versnelt.

De stelling is niet dat huidige chatbots al bovenmenselijk intelligent zijn. De zorg is dat ontwikkelaars nog geen aantoonbaar betrouwbare methode hebben om systemen te sturen die veel capabeler zouden kunnen worden dan de mensen die ze inzetten. Als de mogelijkheden sneller groeien dan evaluatie, toezicht en alignment-onderzoek, blijft er minder tijd over om gevaarlijk gedrag vóór inzet te ontdekken.

Daaruit volgt een beleidsvoorkeur: het tempo van nieuwe AI-capaciteiten moet laag genoeg liggen zodat veiligheidsonderzoek kan bijbenen. Daarmee is nog geen precieze kans op een ramp vastgesteld, en ook niet bewezen dat recursieve zelfverbetering zal plaatsvinden.

Meer veiligheidsonderzoekers trekken aan de bel

Engels’ stap past in een bredere reeks publieke waarschuwingen van mensen die bij toonaangevende AI-labs werkten.

Jacob Coxon, die zei dat hij aan pretraining werkte bij OpenAI en Anthropic, nam ontslag bij Anthropic. Hij stelde dat leidende labs „recht op zelfverbeterende superintelligentie afstevenen en met ons leven gokken”. 1 Joe Benton, in berichtgeving omschreven als voormalig manager van Anthropics team voor schaalbaar toezicht, vertrok eveneens en waarschuwde dat bedrijven steeds krachtigere systemen ontwikkelen zonder voldoende veiligheidswaarborgen. 7

De gemene deler is bezorgdheid over snelheid en bestuur van frontier AI: de meest geavanceerde modellen aan de technologische grens. Maar uitspraken over uitstervingsrisico's zijn persoonlijke beoordelingen, geen gekwantificeerde consensusvoorspelling. 2

Amodei: „het tempo aan de grens bepalen”

Dario Amodei, CEO van Anthropic, reageerde op het bredere debat met zijn essay We Must Pace the Frontier. Hij riep op de groei van AI-capaciteiten af te remmen, zodat risicobeperking kan bijtrekken. Reuters beschreef drie onderdelen van zijn voorstel:

1. Ingebedde onafhankelijke evaluatoren: externe beoordelaars krijgen doorlopende toegang die vergelijkbaar is met die van medewerkers. Zij moeten veiligheidspraktijken kunnen controleren, incidenten melden en alignment tijdens de ontwikkeling beoordelen, niet pas wanneer een model af is.
2. Afstemming tussen democratische landen: bedrijven en overheden in democratieën zouden gezamenlijke veiligheidsnormen moeten opstellen, zodat het minder aantrekkelijk wordt regels te ontwijken door elders te opereren.
3. Internationale samenwerking: democratieën zouden met andere regeringen minimumnormen moeten nastreven om de mondiale wedloop te temperen.

Amodei zei dat Anthropic zich aan de eerste stap zou verbinden. OpenAI-topman Sam Altman steunde het idee om het tempo aan de grens te bewaken en noemde onafhankelijke evaluatoren met medewerkerachtige toegang een goed idee. Ook Elon Musk sprak steun uit; volgens berichtgeving steunde Google DeepMind-topman Demis Hassabis een langzamer tempo in principe.

Steunbetuigingen zijn echter iets anders dan afdwingbare regels. Cruciale vragen blijven open: wie bepaalt de technische drempels, welke toegang krijgen evaluatoren precies, en wat gebeurt er als een evaluatie een ernstig risico blootlegt?

Het debat gaat niet alleen over extreme scenario's

AI-toezicht is ook politiek belangrijk geworden omdat de mogelijke schade verder reikt dan de meest extreme toekomstscenario's. Voormalig president Barack Obama zou de Democratische leider in het Amerikaanse Huis van Afgevaardigden, Hakeem Jeffries, hebben aangespoord om AI-toezicht centraal te zetten. De technologie ontwikkelt zich volgens hem snel in private handen, kan gevaarlijk zijn zonder goed bestuur, maar kan ook voordelen opleveren als zij verantwoord wordt gestuurd.

Amerikaanse wetgevers riepen ondertussen op tot aanvullende AI-regels na veiligheidswaarschuwingen en gemelde incidenten met autonome AI-agenten.

De tegenstelling is dus niet eenvoudigweg: voor of tegen AI. Het gaat om de vraag welk bewijs nodig is vóór er veiligheidsmaatregelen komen, hoeveel autonomie ontwikkelaars systemen mogen geven en of vrijwillige beloften van bedrijven voldoende zijn.

Kritiek op doemscenario's – en wat wel vaststaat

Sommige prominenten uit de sector verwerpen taal over uitsterven. Nvidia-topman Jensen Huang stelde dat „sciencefiction”-angsten niet leidend mogen zijn voor AI-beleid en wees op de economische en concurrentienadelen van overreactie. Daarmee is de vraag echter niet beantwoord hoe bedrijven modellen met geavanceerde cyber- of autonome vermogens moeten testen.

Clément Delangue, CEO van Hugging Face, schoof aansprakelijkheid evenmin terzijde nadat zijn bedrijf bij een cyberveiligheidstest werd getroffen door een ontspoorde OpenAI-bot. Hij stelde dat makers verantwoordelijk moeten kunnen worden gehouden voor cyberaanvallen die door hun systemen worden uitgevoerd.

Dat incident onderbouwt zorgen over concreet misbruik en beveiligingsfalen. Vergaande beweringen over heimelijk samenwerkende AI-„zwermen” of een op handen zijnde overname van het internet vragen daarentegen om sterker, onafhankelijk en casusgericht bewijs. Bevestigde incidenten, gerapporteerde aantijgingen en speculatieve rampscenario's op één hoop gooien maakt het debat niet scherper, maar troebeler.

De kern

Engels’ overstap naar METR is vooral een pleidooi voor onafhankelijke onderbouwing: laat geavanceerde systemen niet uitsluitend beoordelen door de bedrijven die ze bouwen, onderzoek afwijkend gedrag en gebruik de uitkomsten om vast te stellen of de ontwikkeling te snel gaat. Zijn waarschuwing over vijf jaar is ernstig, maar voorwaardelijk. De doorslaggevende vraag is of onafhankelijke evaluatie, alignment-onderzoek, incidentrapportage en afdwingbaar toezicht kunnen meekomen met steeds autonomere AI-systemen.