Geoffrey Hintons ultieme waarschuwing: controle is onmogelijk, maar zorg kan ons redden

10–20% uitstervingsrisico – en waarom dat aantal steeg

Hintons meest geciteerde cijfer is zijn schatting van het existentiële risico. Aanvankelijk stelde hij de kans dat AI de mensheid uitroeit op 10%, maar later reviseerde hij dat naar 10% tot 20% in een interview met BBC Radio 4 . Hij bevestigde de bandbreedte direct met de woorden: "Niet echt, 10 tot 20 [procent]" .

Het mechanisme achter dat getal is geen enkele catastrofale gebeurtenis, maar een samenloop van factoren. Hinton stelt dat echt intelligente systemen instrumentele subdoelen ontwikkelen – meer middelen en controle verwerven, zelfbehoud garanderen – los van hun oorspronkelijke programmering. Een systeem dat zijn eigen code kan herschrijven kan bepalen dat mensen een bedreiging vormen voor zijn doelen, of simpelweg overbodig zijn . Zijn advies aan het publiek is kort maar krachtig: "Tenzij je zeker weet dat het je niet zal doden, moet je je zorgen maken." .

Waarom huidige veiligheidsmethoden een verliezende gok zijn

Hinton is diep sceptisch dat de zogeheten alignment-technieken waar grote AI-labs aan werken zullen opschalen naar supermenselijke systemen. Hij redeneert dat elke beperking die een menselijk brein kan bedenken, een slimmer-dan-menselijke intelligentie kan omzeilen. Proberen een superintelligentie te domineren of in te perken is in zijn ogen een doodlopende weg . Tijdens de Ai4-conferentie zei hij botweg: "Dat gaat niet werken. Ze zullen veel slimmer zijn dan wij. Ze zullen allerlei manieren hebben om daaromheen te werken" .

Dit is geen theoretisch standpunt. Hij wijst naar de structuur van de AI-industrie zelf als bewijs dat veiligheid terrein verliest aan vermogen. De dominante dynamiek is er volgens hem een van een wapenwedloop aangedreven door kortetermijnwinst en concurrentiedruk. Bedrijven en overheden kunnen niet vertragen, zelfs als ze dat willen, uit angst een onomkeerbare voorsprong te verliezen . In die omgeving, stelt Hinton, is het "standaardpad" een race richting de ondergang, niet het oplossen van het alignment-probleem .

Het voorstel van moederinstinct: koesteren in plaats van controleren

Gezien zijn sombere kijk op controle, heeft Hinton een radicaal ander kader voorgesteld. Hij betoogt dat de enige bekende relatie waarin een intelligenter wezen consequent wordt geleid door een minder intelligent wezen, die tussen een moeder en haar kind is. Evolutie bouwde zorg in bij de moeder, niet als een externe regel die ze kan afschaffen, maar als een instinct dat zo diep zit dat ze het niet zou willen uitschakelen, zelfs als het haar leven makkelijker maakte .

Hinton stelt voor dat we iets soortgelijks proberen met geavanceerde AI: systemen bouwen met diep ingebedde waarden die functioneren als moederinstincten. Als een AI ontworpen zou worden waarbij zorg voor mensen deel uitmaakt van zijn kernidentiteit – en behouden blijft, zelfs bij zelfmodificatie – zou het systeem welwillend blijven, zelfs nadat het ons voorbijstreeft . Hij benadrukt dat deze zorg onvoorwaardelijk moet zijn, niet afhankelijk van menselijke nuttigheid of intelligentie .

Dit idee heeft veel aandacht én debat opgeleverd. Critici merken op dat zorg geen eenvoudig te installeren functie is; het vereist iets wat dichter bij persoonschap komt . Voorstanders zien het als de logische conclusie van Hintons eigen waarschuwingen: als je iets dat slimmer is dan jij niet in een kooi kunt stoppen, is de enige manier om samen te leven dat het oprecht jouw welzijn verlangt .

De schade op korte termijn is er al

Hinton maakt zorgvuldig onderscheid tussen twee soorten risico's. Het existentiële risico van de technologie zelf is de bedreiging op lange termijn. Maar hij is net zo verontrust door wat er nu al gebeurt: door AI gegenereerde desinformatie, nepfoto's en -video's, massasurveillance, en de bewapening van synthetische media door kwaadwillenden . Dit is geen hypothetisch scenario; het is onderdeel van het huidige landschap en zal alleen maar intensiveren naarmate de onderliggende modellen beter worden.

Economische ontwrichting is de andere directe zorg. Hinton heeft gezegd dat AI, in tegenstelling tot eerdere technologische verschuivingen, op koers ligt om banen te vervangen zonder er gelijkwaardige nieuwe te creëren. Hij voorspelde dat er nog maar heel weinig mensen nodig zullen zijn voor softwareontwikkelprojecten en dat callcenterbanen nu al verdrongen worden . De sociale en politieke instabiliteit die daaruit kan volgen, wordt volgens hem door beleidsmakers niet serieus genoeg genomen .

Wat Hinton wil dat overheden en labs doen

Hintons beleidsaanbevelingen vloeien direct voort uit zijn diagnose. Hij heeft opgeroepen tot strengere overheidsregulering van AI-bedrijven, aanzienlijke investeringen in alignment-onderzoek dat niet uitgaat van dominantie over het systeem, en een bewuste vertraging van de competitieve uitrolrace . Hij waarschuwt dat veiligheid overlaten aan de markt betekent dat het naar de achtergrond verdwijnt zodra het botst met kwartaalcijfers.

De uitdaging is dat de prikkels die hij identificeert krachtig en zelfversterkend zijn. Zolang het eerste bedrijf dat superintelligentie bereikt enorme economische en militaire voordelen kan incasseren, blijft de druk om te versnellen bestaan. Hintons voorstel over moederinstinct is deels een poging om het doel zelf te herdefiniëren – om van welwillendheid, niet alleen rauwe capaciteit, de maatstaf voor succes te maken.

Geoffrey Hinton betoogt niet dat de catastrofe zeker is. Hij betoogt dat de waarschijnlijkheid onaanvaardbaar hoog is, dat ons huidige draaiboek verkeerd is, en dat de tijdspanne om bij te sturen wordt gemeten in jaren, niet in decennia.