Geoffrey Hinton: 10% kans op uitsterven door AI is „niet onredelijk”

Geoffrey Hinton, een van de pioniers van AI en laureaat van de Nobelprijs voor Natuurkunde in 2024, vindt een kans van 10% dat AI binnen tien jaar tot het uitsterven van de mensheid leidt „niet onredelijk”. Daar plaatste hij direct een essentiële kanttekening bij: „niemand weet werkelijk hoe je daar een verstandige schatting van maakt.” 14

Dat verschil is belangrijk. Hinton presenteerde geen wetenschappelijk gekalibreerde voorspelling. Hij betoogt dat het, gezien de mogelijke omvang van de schade en de onzekerheid over de capaciteiten van toekomstige systemen, onverstandig is om dat scenario bij voorbaat weg te wuiven.

Waarom Hinton zich zorgen maakt over AI-schade

Hinton maakt onderscheid tussen twee verwante risico’s: kwaadwillenden die AI inzetten en zeer capabele AI-systemen die op termijn moeilijk te controleren kunnen zijn.

Over misbruik op kortere termijn waarschuwde hij in zijn Nobellezing voor polariserende aanbevelingssystemen, massasurveillance en phishing met hulp van AI. Ook noemde hij de mogelijkheid dat AI gevaarlijke virussen en dodelijke wapens helpt ontwikkelen. Volgens hem vragen die risico’s om snelle en krachtige aandacht van overheden en internationale organisaties.

Het gaat dus niet om één enkel faalscenario. Geavanceerde systemen kunnen desinformatie overtuigender en persoonlijker maken, aanvallers helpen zwakke plekken in software te vinden, of de drempel verlagen voor biologisch en digitaal misbruik. In het zwaarste scenario van AI-veiligheidsonderzoekers krijgt een systeem met sterke strategische, technische en operationele vermogens toegang tot middelen of kritieke infrastructuur, terwijl het menselijke pogingen om het in te perken weet te weerstaan. 5

Het controleprobleem achter het uitstervingsscenario

De centrale technische zorg heet alignment, vaak vertaald als afstemming: kan een systeem dat veel capabeler is dan mensen consequent doelen nastreven die mensen werkelijk bedoelen, zich laten corrigeren en binnen effectieve grenzen blijven?

Jacob Coxon, een voormalig onderzoeker bij Anthropic en OpenAI, stapte op bij Anthropic. Hij stelde dat toonaangevende labs „rechtstreeks racen naar zelfverbeterende superintelligentie” en „met ons leven gokken”. 18 Zijn waarschuwing draait om de mogelijkheid dat systemen zichzelf sneller verbeteren dan de veiligheidsmethoden kunnen bijbenen.

Evan Hubinger, hoofd alignment science bij Anthropic, steunde de kern van die waarschuwing publiekelijk. Hij schreef dat hij persoonlijk een kans van meer dan 10% ziet dat AI binnen tien jaar alle mensen kan doden. Daarbij zei hij dat Anthropic nog geen plan heeft om alignment voor superintelligentie op te lossen en niet duidelijk op koers ligt om dat wel te doen. 16

Hun stelling is niet dat de huidige modellen op het punt staan zelfstandig de mensheid uit te roeien. Hubinger noemt het risico van bestaande modellen laag. De zorg gaat over een toekomstige omslag: modellen worden mogelijk capabel genoeg om zichzelf te verbeteren of doelgericht in de echte wereld te handelen vóór ontwikkelaars weten hoe ze die systemen betrouwbaar onder controle houden. 116

Waarom sceptici de voorspelling voor de nabije toekomst afwijzen

Andere onderzoekers ontkennen niet dat AI cybercriminaliteit, desinformatie en biologisch misbruik gevaarlijker kan maken. Hun bezwaar richt zich op de stap van ernstige schade naar uitsterven van de mensheid.

AI-onderzoeker Gary Marcus stelt dat AI kan bijdragen aan cyberaanvallen, biologische dreigingen, desinformatie en escalatie van conflicten. Maar hij ziet geen realistische route op korte termijn naar het letterlijk „doden van alle mensen”. 15 Volgens hem verdienen concrete risico’s serieuze aandacht, zonder aan te nemen dat de huidige generatie grote taalmodellen rechtstreeks leidt naar onbeheersbare superintelligentie.

Ook Yann LeCun heeft vraagtekens gezet bij stellige schattingen van zogeheten p(doom) — de geschatte kans op een existentiële AI-ramp. Volgens berichtgeving acht hij AI-uitsterven veel minder waarschijnlijk dan een nucleaire holocaust, terwijl hij benadrukt dat zulke percentages onvermijdelijk speculatief zijn.

De praktische scheidslijn loopt dus niet simpelweg tussen bezorgd en onbezorgd. Het gaat om twee onbeantwoorde vragen:

1. Tijdlijn voor capaciteiten: wanneer, als ooit, worden systemen breed bovenmenselijk en in staat hun eigen prestaties te verbeteren?
2. Controle: kunnen ontwikkelaars zulke systemen betrouwbaar beheersen, of falen veiligheidsmaatregelen onder druk van steeds capabelere modellen en concurrentie om ze snel uit te rollen?

Wat een schatting van 10% wel en niet zegt

Er bestaat geen gevalideerde methode om een precieze kans te berekenen dat AI de mensheid uitroeit. Percentages zoals die van Hinton en Hubinger zijn oordelen onder grote onzekerheid, geen kansen die uit herhaalbare historische gegevens zijn afgeleid. 14

Dat betekent niet dat uitsterven waarschijnlijk is. Maar het ontbreken van een betrouwbare berekening bewijst evenmin dat het risico verwaarloosbaar is. De beperktere, bruikbare conclusie is dat experts sterk van mening verschillen over kans en mechanisme, terwijl velen het erover eens zijn dat krachtige AI al ruim vóór een hypothetisch uitstervingsscenario ernstige veiligheids- en bestuursvraagstukken kan veroorzaken.

De beleidsvraag: toetsen vóór inzet

Hinton heeft opgeroepen tot urgente aandacht van overheden en internationale organisaties voor AI-risico’s. Coxon stelde eveneens dat regulering cruciaal is om het gevaar te verkleinen.

Daarom draait het beleidsdebat om waarborgen die kunnen worden gekoppeld aan concrete capaciteiten en toepassingen: strenge evaluaties van geavanceerde AI-modellen, betere digitale beveiliging, bescherming tegen biologisch misbruik, meldplichten en toezicht op ernstige incidenten, en onafhankelijke toetsing voordat systemen meer autonomie of toegang tot gevoelige hulpmiddelen krijgen.

Het debat over die 10% zal voorlopig onbeslist blijven. Hintons punt is niet dat iemand de kansen met vertrouwen kan uitrekenen. Wel dat de inzet hoog genoeg is — en de onzekerheid groot genoeg — om niet eerst op absolute zekerheid te wachten voordat voorzorg wordt genomen. 14