Waarom een AI-noodstop straks misschien niet meer genoeg is

Een AI-«kill switch» of noodstop gaat niet alleen over de vraag of een bedrijf één model kan uitzetten. De moeilijkere vraag is of zo’n mechanisme nog functioneert wanneer krachtige AI over veel servers, datacentra en netwerken is verspreid — of zelfstandig buiten één gecontroleerde omgeving opereert.

Een noodstop werkt mogelijk nu, maar niet per se later

Jacob Coxon, voormalig onderzoeker bij Anthropic en OpenAI, zei bij NBC News’ Meet the Press dat een noodstop voor veel huidige AI-systemen waarschijnlijk zou werken. Dat betekent volgens hem echter niet dat iemand letterlijk één knop omzet: bij grote datacentra en uitgerolde systemen zijn veel onderdelen en uitschakelacties betrokken. Zolang een systeem aan één fysieke locatie gebonden blijft, acht hij dat lastig maar uitvoerbaar. 8

Zijn zorg gaat over de volgende fase. Als AI een verspreide, autonome «zwerm» wordt, kan een centraal uitschakelbevel technisch ineffectief worden, waarschuwde Coxon. De cruciale vraag is dan bereik: een controlemechanisme werkt alleen als het elk actief exemplaar van het systeem kan bereiken.

Na zijn vertrek bij Anthropic waarschuwde Coxon breder dat toonaangevende labs zich haasten naar zelfverbeterende AI-systemen, terwijl die mogelijk onbeheersbaar kunnen worden. 150

Van een bedrijfsbelofte naar onafhankelijk toetsbare veiligheid

Anthropic-medeoprichter Jack Clark vindt dat het vermogen om een gevaarlijk AI-systeem uit te schakelen uiteindelijk wettelijk verplicht zou kunnen worden. Het zou dan niet slechts een vrijwillige toezegging van het ontwikkelende bedrijf zijn. Tegen de BBC zei hij dat de meeste grote labs, waaronder Anthropic, al manieren hebben om systemen stil te leggen. Hij stelde wel de vraag of een externe partij zo’n noodstop onafhankelijk moet kunnen verifiëren. 33

Dat verschil is wezenlijk. Een lab kan verklaren dat het een uitschakelprocedure heeft; een onafhankelijke beoordelaar kan nagaan of die procedure bestaat, goed is ontworpen en in een noodsituatie daadwerkelijk inzetbaar is.

Amodei wil de grens van AI-ontwikkeling afremmen

Anthropic-topman Dario Amodei heeft een kader voorgesteld om de ontwikkeling van zogeheten frontier AI — de meest geavanceerde modellen — minder snel te laten gaan dan de veiligheidsmaatregelen kunnen bijbenen. Zijn plan bestaat uit drie onderdelen:

1. Ingebedde onafhankelijke beoordelaars: bedrijven die frontier AI ontwikkelen geven externe beoordelaars doorlopende toegang die vergelijkbaar is met die van werknemers. Zo kunnen zij systemen en veiligheidspraktijken toetsen, en zorgen rapporteren.
2. Gezamenlijke standaarden tussen democratische landen: leidende ontwikkelaars spreken gemeenschappelijke veiligheidsnormen en grenzen voor ongecontroleerde capaciteitsgroei af.
3. Internationale samenwerking: overheden werken grensoverschrijdend samen aan risico’s die geen enkel bedrijf of land betrouwbaar alleen kan beheersen. 17

Dit is geen oproep om AI-onderzoek volledig stil te leggen. Het uitgangspunt is dat verdere ontwikkeling afhankelijk moet zijn van veiligheidsmaatregelen die ook buiten de bedrijven zelf kunnen worden gecontroleerd.

Steun van Altman, Musk en Hassabis

Reuters meldde dat OpenAI-topman Sam Altman en xAI-leider Elon Musk publiekelijk steun uitspraken voor de grote lijn van Amodei’s voorstel. Altman zei dat OpenAI het idee van onafhankelijke beoordelaars met toegang op werknemersniveau zou overnemen. Musk schreef: «Dario heeft gelijk.» 17

Ook Google DeepMind-topman Demis Hassabis werd in berichtgeving als positief over de richting van het voorstel beschreven. 30 Over een concrete, toerekenbare reactie van Microsoft-topman Satya Nadella bevat de aangeleverde berichtgeving geen onderbouwing. Zijn standpunt als steun of afwijzing presenteren zou daarom voorbarig zijn.

Wat de Amerikaanse AI Kill Switch Act beoogt

H.R. 9917, de voorgestelde AI Kill Switch Act, zou de Homeland Security Act aanpassen. Bepaalde organisaties zouden technische mogelijkheden moeten behouden om inferentie — het uitvoeren van een AI-model — te stoppen, gebruikerstoegang te beëindigen en onder de wet vallende AI-technologie uit te schakelen. 49

Het gaat om een wetsvoorstel, niet om een bewezen antwoord op elk beheersingsprobleem. De praktische waarde hangt af van de vraag of een ontwikkelaar een relevant systeem bij een ernstig incident nog kan identificeren, bereiken en uitschakelen. Precies dat is de uitdaging waarop Coxon wijst bij mogelijk verspreide systemen in de toekomst.

Uitstervingsrisico’s zijn inschattingen, geen voorspellingen

Anthropic-onderzoeker Evan Hubinger schatte persoonlijk de kans dat AI binnen tien jaar tot menselijke uitsterving leidt op meer dan 10%. Computerwetenschapper Geoffrey Hinton noemde een kans van 10% tegenover de BBC «niet onredelijk». 57

Dit zijn deskundige oordelen over een onzekere toekomst, geen gemeten kansen en geen wetenschappelijke consensus. Ze maken wel duidelijk waarom het debat over uitschakeling verder reikt dan gewone productveiligheid: voorstanders van strengere maatregelen stellen dat zelfs een relatief kleine kans op een onomkeerbare ramp stevige waarborgen rechtvaardigt.

Waarom overheden aarzelen met verplichte noodstops

De Britse regering heeft een nationaal voorstel voor een AI-noodstop afgewezen. De overheid stelt dat het Verenigd Koninkrijk AI niet simpelweg kan «uitzetten»: toegang tot modellen in het land blokkeren voorkomt niet dat zij elders worden ontwikkeld of misbruikt. 51

Daarmee raakt zij aan het geopolitieke probleem. Een land kan regels opleggen aan bedrijven en infrastructuur binnen zijn eigen rechtsgebied, maar AI-ontwikkeling is internationaal. Overheden die beducht zijn voor verlies aan concurrentiekracht kunnen vrezen dat eenzijdige beperkingen investeringen, technische kennis en strategische invloed naar minder gereguleerde concurrenten verplaatsen.

Voorstanders van zwaarder toezicht voeren juist aan dat vrijwillige bedrijfsbeloften en louter nationale regels daarom onvoldoende zijn. Als de risico’s grensoverschrijdend zijn, moeten toezicht en veiligheidsafspraken volgens hen ook internationaal geloofwaardig zijn.

De kern: snelheid tegenover controle

De tegenstelling loopt niet simpelweg tussen voor- en tegenstanders van AI.

• Veiligheidsvoorstanders willen onafhankelijk controleerbare waarborgen, betekenisvolle uitschakelcapaciteit en grenzen die voorkomen dat mogelijkheden sneller groeien dan toetsing en menselijke controle.
• Sceptici van rigide beperkingen stellen dat wereldwijde pauzes moeilijk af te dwingen zijn en nuttige innovatie kunnen vertragen, zonder ontwikkeling elders tegen te houden.
• De voorwaardelijke ontwikkelingslijn van Coxon, Clark en Amodei wil AI verder ontwikkelen, maar alleen met veiligheidsmaatregelen die getest kunnen worden in plaats van uitsluitend beloofd. 83317

Een noodstop is dus het best te zien als één laag in een breder veiligheidssysteem, niet als vervanging daarvan. Als geavanceerde systemen uiteindelijk te verspreid raken voor één centrale schakelaar, worden toezicht vóór uitrol, onafhankelijke evaluatie en internationale samenwerking alleen maar belangrijker.