Sam Altman waarschuwt voor twee AI-risico’s: verlies van controle en te veel macht

Krachtige AI kan volgens OpenAI-topman Sam Altman op twee fundamenteel verschillende manieren verkeerd uitpakken: mensen kunnen de controle over steeds capabelere systemen verliezen, of de zeggenschap over die systemen kan terechtkomen bij een zeer kleine groep. Daarmee koppelt hij technische AI-veiligheid aan politieke macht: veilige AI gaat niet alleen over wat modellen kunnen, maar ook over wie erover beslist. 1316

De twee scenario’s die Altman wil voorkomen

1. Verlies van menselijke controle. Altman waarschuwt dat de mensheid de „controle over de toekomst aan AI” kan verliezen. Dat noemt hij onaanvaardbaar. Zijn uitgangspunt: AI moet mensen dienen, niet andersom; mensen mogen niet afhankelijk worden van systemen die zij onvoldoende kunnen controleren of overstemmen. 216

2. Concentratie van AI-macht. Daarnaast vreest hij een wereld waarin één persoon, bedrijf of land een buitengewoon krachtig AI-systeem beheerst en inzet om een eigen wereldbeeld aan anderen op te leggen. Dat zou volgens Altman „extreem dystopisch” kunnen uitpakken. 113

De risico’s hangen samen, maar zijn niet hetzelfde. Het eerste gaat over de vraag of mensen krachtige systemen kunnen begrijpen, begrenzen en uitschakelen. Het tweede gaat over een systeem dat misschien technisch controleerbaar is, maar wordt ingezet door een partij met te weinig tegenmacht.

Welke waarborgen bepleit Altman?

Altman pleit niet simpelweg voor een stop op AI-ontwikkeling. Wel vindt hij dat nieuwe mogelijkheden niet verder mogen gaan dan de methoden om systemen af te stemmen op menselijke doelen en te monitoren. Concurrentiedruk mag volgens hem geen excuus zijn voor roekeloze inzet. 213

Hij wijst onder meer op deze maatregelen:

• Afstemming en toezicht die gelijke tred houden met nieuwe AI-capaciteiten. Ontwikkelaars moeten daadwerkelijk kunnen beoordelen en beheersen wat steeds krachtigere modellen doen. 213
• AI die in dienst staat van mensen. Dit is volgens Altman het uitgangspunt achter zijn waarschuwing over controleverlies. 216
• Eenduidige federale regels voor frontier-AI. Met frontier-AI worden de meest geavanceerde modellen bedoeld. Altman verwelkomt in de Verenigde Staten een federaal kader met consistente veiligheidsvereisten, in plaats van alleen versnipperde vrijwillige afspraken. 1316
• Onafhankelijke controle. Hij noemt onafhankelijke auditors een kansrijke manier om publiek vertrouwen op te bouwen in bedrijven die steeds capabelere modellen ontwikkelen. 16

In de praktijk betekent dit een zwaardere bewijslast voor de krachtigste systemen: veiligheidsmaatregelen moeten vóór besluitvorming over inzet geloofwaardig zijn getoetst, niet pas achteraf worden toegevoegd.

De waarschuwingen vanuit Anthropic maken het debat scherper

In dezelfde week waarschuwde voormalig Anthropic-onderzoeker Jacob Coxon dat toonaangevende laboratoria racen richting zelfverbeterende AI en daarbij „met ons leven gokken”. Volgens berichtgeving rond zijn vertrek vreest hij dat onderzoekers die deze systemen bouwen serieus denken dat ze te krachtig kunnen worden om nog door mensen te worden beheerst. 17

Zijn formulering is directer dan die van Altman, maar de kern is vergelijkbaar: de mogelijkheden van AI kunnen sneller groeien dan het vermogen om die systemen betrouwbaar te begeleiden en te controleren. In een publiek besproken uitwisseling schatte Evan Hubinger, die bij Anthropic leiding geeft aan alignment-onderzoek, persoonlijk de kans op menselijke uitsterving door AI binnen tien jaar op meer dan 10%. Hij erkende ook dat er nog geen complete oplossing is voor het afstemmen van superintelligente AI op menselijke doelen. Dat is een persoonlijke risico-inschatting, geen vaststaande voorspelling of wetenschappelijke waarschijnlijkheid. 17

De kern is dus niet dat een specifieke tijdlijn voor uitsterving bewezen zou zijn; dat is niet zo. Wel maken onderzoekers die dicht bij de ontwikkeling van frontier-AI staan publiekelijk ruzie over de vraag of de bestaande veiligheidspraktijk snel genoeg vooruitgaat.

Het echte meningsverschil: eerst mogelijkheden, of eerst veiligheid?

De tegenstelling wordt vaak neergezet als versnellen versus vertragen, maar dat is te simpel. De meeste betrokkenen zien grote mogelijke voordelen van AI. De discussie gaat vooral over volgorde en afdwingbaarheid.

De ene visie is dat de ontwikkeling van frontier-AI zo moet worden gedoseerd dat veiligheidsonderzoek, evaluaties, bestuur en maatregelen tegen misbruik tijd krijgen om mee te groeien. Anthropic-ceo Dario Amodei riep op om de groei van AI-capaciteiten te vertragen. Hij noemde onder meer ingebedde onafhankelijke beoordelaars, afstemming tussen frontierlabs en internationale samenwerking.

De tegengestelde druk is reëel: bedrijven en overheden vrezen dat langzamer gaan dan concurrenten economisch of geopolitiek nadeel oplevert. Altman stelt echter dat concurrentie niet rechtvaardigt dat mogelijkheden verder gaan dan afstemming en toezicht. 13

Reuters meldde dat sommige onderzoekers denken dat modelcapaciteiten sneller arriveren dan verwacht, terwijl mensen juist minder zicht en mogelijk minder controle krijgen op de manier waarop die systemen werken. Daardoor wordt de beleidsvraag urgenter: kunnen labs steeds autonomere modellen blijven uitrollen terwijl de waarborgen worden ingehaald, of moeten zij eerst laten zien dat die waarborgen voldoende zijn?

Wat dit vraagt van AI-bestuur

Altmans twee waarschuwingen wijzen erop dat bestuur rond frontier-AI zowel technische controle als de verdeling van macht moet aanpakken. Betere modelevaluaties, alignment-onderzoek, monitoring en onafhankelijk toezicht richten zich op het eerste probleem. Consistente regels, transparantie en grenzen aan eenzijdige macht richten zich op het tweede.

Catastrofale voorspellingen en precieze tijdlijnen moeten niet als vaststaande feiten worden behandeld. Maar juist de mogelijke ernst van een mislukking verklaart waarom strengere evaluaties, externe controle en veiligheidsregels niet langer een nicheonderwerp zijn, maar een kernvraag voor de AI-sector. 13