Waarom AI-veiligheidsonderzoekers vastlopen door de wedloop om steeds krachtigere modellen

Werk aan de veiligheid van geavanceerde AI veroorzaakt een bijzonder soort druk. Sommige mensen die de modellen moeten testen, denken dat die systemen ernstige schade kunnen veroorzaken, maar hebben mogelijk weinig zeggenschap om een introductie uit te stellen of herstelmaatregelen af te dwingen.

Volgens berichten hebben meerdere medewerkers van het Britse AI Safety Institute (AISI) ziekteverlof opgenomen of begeleiding gezocht. Daarbij worden strakke testplanningen, lage moraal en zorgen over snelle uitrol als factoren genoemd. Dat bewijst niet dat stress overal binnen het instituut — of bij bedrijven als Anthropic, OpenAI en Google DeepMind — even wijdverbreid is. Wel is het een signaal over de menselijke belasting van een technologische wedloop met hoge inzet. 2

Waarom dit werk psychisch zwaar kan worden

Veiligheidsonderzoekers beoordelen geen verre, hypothetische technologie. Ze testen modellen die organisaties mogelijk binnenkort breed willen inzetten. Dat kan botsen: een kwetsbaarheid ontdekken is iets anders dan de macht hebben om een lancering tegen te houden.

De gemelde druk bij het Britse instituut hangt samen met kortere evaluatieperiodes voor nog niet uitgebrachte systemen en de vrees dat commerciële uitrol en nieuwe capaciteiten elkaar snel opvolgen. 2 Wie een risico signaleert maar het niet zelfstandig kan oplossen, kan daardoor een sterk gevoel van verantwoordelijkheid en machteloosheid ervaren.

Dat is vooral een institutioneel probleem. Het betekent niet dat individuele medewerkers irrationeel zijn, en ook niet dat een ramp vaststaat. De spanning ontstaat wanneer de mogelijke gevolgen van een fout groot zijn, het tempo hoog ligt en onduidelijk is wie onafhankelijk kan ingrijpen.

Welke risico’s onderzoekers zien

De zorgen gaan over zowel relatief directe vormen van misbruik als meer speculatieve scenario’s waarin mensen de controle over zeer autonome systemen verliezen.

Cyberaanvallen en biologisch misbruik

Een krachtig AI-model kan de vereiste kennis, tijd of kosten voor schadelijke handelingen verlagen. Voormalig Anthropic-onderzoeker Jacob Coxon, die eerder bij OpenAI werkte, noemde door AI ondersteunde biologische dreigingen en cyberwapens als plausibele routes naar ernstige schade. 15

Dat betekent niet dat een specifiek model al zo’n incident heeft veroorzaakt. Het verklaart wel waarom veiligheidsteams hameren op evaluaties, toegangsbeperkingen en monitoring voordat systemen met sterker redeneervermogen of zelfstandiger handelend gedrag breed beschikbaar komen.

Systemen die sneller evolueren dan het toezicht

Een tweede zorg is dat AI steeds meer delen van onderzoek en engineering kan automatiseren, waardoor de ontwikkelcyclus zelf versnelt. Een rapport van Georgetown CSET stelt dat sterk geautomatiseerd AI-onderzoek en -ontwikkeling de vooruitgang in capaciteiten kan versnellen, terwijl systemen moeilijker te doorgronden en te beheersen worden. Het gaat om een mogelijk risicoscenario, niet om een vaststaand resultaat. 48

Het huidige bewijs stelt bovendien grenzen aan die vrees. Een recente studie liet zien dat AI-agenten omvangrijk onderzoeks- en engineeringwerk zonder menselijke hulp konden uitvoeren, maar geen betekenisvolle vooruitgang boekten bij de getoetste open onderzoeksvragen. 49 Volledige, zichzelf voortdurend verbeterende AI is dus niet aangetoond. De zorg gaat over richting en snelheid: ook gedeeltelijke automatisering kan de tijd voor toetsing, toezicht en bijsturing verkorten.

Waarom het vertrek van Jacob Coxon zoveel aandacht kreeg

Coxons publieke vertrek gaf een gezicht aan zorgen die vaak intern blijven. Hij zei dat hij, na werk aan pretrainingonderzoek bij OpenAI en Anthropic, tot de conclusie kwam dat de bedrijven zonder verantwoord handelen raceten richting zichzelf verbeterende superintelligentie. Tegen de BBC zei hij ook dat mensen die aan de technologie werken „oprecht bang” zijn voor het tempo en de mogelijke gevolgen. 1

Een ontslagname bewijst niet dat elke voorspelling van degene die vertrekt juist is. Maar het maakt wel een dilemma zichtbaar: biedt blijven werken binnen een AI-lab de beste kans om veiligheidsmaatregelen te verbeteren, of is vertrekken en publiek waarschuwen nodig wanneer interne kanalen tekortschieten?

Waarom één lab de wedloop niet eenvoudig kan afremmen

De kern is een collectief-actieprobleem. Een lab dat in zijn eentje de ontwikkeling vertraagt, kan vrezen terrein te verliezen aan concurrenten. Tegelijk hebben medewerkers binnen dat lab nog minder invloed op een wedloop die de hele sector omvat.

Stanford HAI concludeerde in een discussie over de vraag of AI kan worden afgeremd dat een brede vertraging van de ontwikkeling van AI-capaciteiten moeilijk te realiseren zou zijn. De panelleden benadrukten wel dat onafhankelijke evaluaties door de overheid of gekwalificeerde derde partijen standaard zouden moeten zijn, naast meer investeringen in veiligheid, beveiliging en monitoring. 18

Dat is concreter dan individuele onderzoekers de last laten dragen. Het verlegt de vraag van persoonlijk geweten naar gezamenlijke spelregels: wie voert de tests uit, wat gebeurt er als een risicodrempel wordt overschreden, en wie kan naleving controleren?

Zijn oproepen uit de sector om te vertragen geloofwaardig?

Dario Amodei van Anthropic, Sam Altman van OpenAI en Demis Hassabis van Google DeepMind hebben zich publiekelijk, ieder in verschillende mate, uitgesproken voor vertraging of het zorgvuldig „doseren” van de ontwikkeling van geavanceerde AI. 32 In publieke voorstellen wordt onder meer gesproken over externe beoordelaars die doorlopend toegang krijgen tot de toonaangevende AI-labs. 36

Een publieke belofte is echter geen afdwingbare beperking. Critici wijzen erop dat een door dominante bedrijven ontworpen AI-pauze hun macht kan vergroten en kleinere concurrenten kan benadelen. 34 Beide kunnen tegelijk waar zijn: sommige leiders kunnen veiligheidsrisico’s oprecht ernstig nemen, terwijl gevestigde spelers ook voordeel kunnen hebben bij regels waaraan nieuwkomers moeilijk kunnen voldoen.

Daarom is controleerbaarheid een betere maatstaf dan speculeren over motieven. Een serieuze veiligheidsbelofte is beter te beoordelen aan de hand van:

• onafhankelijke evaluaties die niet uitsluitend door de ontwikkelaar worden aangestuurd;
• duidelijke risicodrempels en gevolgen wanneer die worden overschreden;
• transparante incidentmelding en beveiligingspraktijken;
• betekenisvol extern toezicht; en
• bescherming voor werknemers die veiligheidszorgen melden.

Wat deze berichten wel en niet aantonen

De berichten tonen niet aan dat menselijke uitsterving ophanden is, dat alle werknemers van AI-labs psychisch overbelast zijn, of dat bestaande AI-systemen zichzelf onbeperkt en zelfstandig kunnen verbeteren.

Ze laten wel zien waarom sommige mensen dicht bij deze technologie het moment als ethisch zwaar ervaren: krachtige systemen worden onder tijdsdruk getest, gevreesde schade loopt van cyber- en biologisch misbruik tot verlies van controle, en de instellingen die uitrol moeten bewaken hebben mogelijk nog onvoldoende onafhankelijkheid of bevoegdheid. 2 15 18

Voor AI-veiligheidsonderzoekers kan die combinatie van een technisch beroep een persoonlijke verantwoordelijkheidskwestie maken. De duurzame oplossing is niet om die verantwoordelijkheid bij individuele medewerkers neer te leggen, maar om geloofwaardige en onafhankelijk verifieerbare systemen voor evaluatie en verantwoording te bouwen die het tempo van de technologie kunnen bijhouden.