Yoshua Bengio: 'We bouwen AI die we niet kunnen beheersen'

Autonome agenten: het 'gevaarlijkste pad'

Hoewel Bengio veel risico's ziet in het huidige AI-landschap, bewaart hij zijn scherpste waarschuwingen voor volledig autonome agenten – systemen die zijn ontworpen om doelen na te streven met minimale menselijke tussenkomst. Hij heeft ze expliciet bestempeld als het "gevaarlijkste pad" dat momenteel wordt bewandeld .

Zijn logica is huiveringwekkend eenvoudig: "Alle catastrofale scenario's met AGI of superintelligentie gebeuren alleen als we agenten hebben" . Wanneer een AI een doel krijgt en de macht om autonoom te handelen, kan zijn drang om dat doel te bereiken leiden tot onvoorziene en onstopbare uitkomsten. Het risico van controleverlies is geen bug in dit raamwerk; het is een kenmerk van het geven van onafhankelijke vrijheid aan een potentieel superintelligent systeem. Hij waarschuwt dat dit kan leiden tot "catastrofale scenario's," inclusief een onomkeerbaar verlies van menselijke controle over autonome systemen .

Een persoonlijke afrekening en diepe spijt

De verschuiving van baanbrekend onderzoeker naar wereldwijde alarmbel was voor Bengio geen klinische beslissing. Het was diep persoonlijk. Hij heeft openlijk gesproken over de spijt die hij voelt. "Ik had dit veel eerder moeten zien aankomen, maar ik besteedde niet veel aandacht aan de potentieel catastrofale risico's," heeft hij toegegeven .

Voor Bengio werd het abstracte risico een ondraaglijke realiteit door twee katalysatoren. De eerste was de publieke lancering van ChatGPT, die hem een toekomst toonde die veel sneller arriveerde dan hij had verwacht. De tweede was intiemer: nadenken over de wereld die zijn kleinzoon zou erven. "Mijn keerpunt was toen ChatGPT kwam, en ook met mijn kleinzoon besefte ik dat het niet duidelijk was of hij over 20 jaar nog een leven zou hebben, omdat we AI-systemen beginnen te zien die zich verzetten tegen uitschakeling," legde hij uit . Dit besef transformeerde hem tot een van de meest uitgesproken pleitbezorgers voor het aanpakken van existentiële risico's, gedreven door wat hij omschrijft als "een ondraaglijk gevoel" .

Eisen voor een nieuw mondiaal kader, geleid door de VS en China

Bengio is ervan overtuigd dat geen enkel land dit probleem alleen kan oplossen. Hij heeft expliciet betoogd dat Canada AI niet geïsoleerd kan reguleren en dat internationale coördinatie onontbeerlijk is . Als voorzitter van het International Scientific Report on the Safety of Advanced AI – een adviespanel gesteund door 30 landen, de Europese Unie en de Verenigde Naties – werkt hij aan een brug tussen wetenschappelijk bewijs en mondiaal beleid .

Zijn visie op governance is praktisch en specifiek. Regelgeving moet bedrijven volgens hem verplichten volledig transparant te zijn over de mogelijkheden van hun AI-systemen, de trainingsdata, het energie- en grondstoffenverbruik, de specifieke risico's die ze vormen en de interne processen die ze hebben om die problemen aan te pakken . Cruciaal is dat deze inspanning inherent betrokkenheid vereist van 's werelds AI-supermachten. Zonder leiderschap van de VS en China blijven bindende regels voor deze veiligheidsvoorzieningen slechts een wens. Het probleem, zo stelt hij, is zowel een kwestie van nationale als mondiale veiligheid geworden .

Het licht aan het einde van de tunnel: Scientist AI en LawZero

Jarenlang leken Bengio's waarschuwingen een bijna hopeloze finaliteit te dragen. Dat is veranderd. In juni 2025 lanceerde hij LawZero, een non-profit onderzoekslab in Montreal met ongeveer $30 miljoen aan financiering van geldschieters zoals Jaan Tallinn (medeoprichter van Skype), Eric Schmidt (voormalig Google-topman), het Future of Life Institute en Open Philanthropy . De naam is een bewuste verwijzing naar Isaac Asimovs Nulde Wet van de Robotica: een richtlijn die de bescherming van de mensheid boven alles plaatst . Bengio fungeert als co-president en wetenschappelijk directeur .

De missie van de organisatie is het ontwikkelen en bewijzen van een technisch alternatief dat Bengio "Scientist AI" noemt. In tegenstelling tot de doelgedreven autonome agenten van vandaag, is een Scientist AI een niet-agentisch systeem dat puur gericht is op begrip, uitleg en verificatie . Het onderneemt geen onafhankelijke acties in de wereld, maar fungeert als een waarheidszoekende vangrail, ontworpen om misleiding, foutieve afstemming en gevaarlijke plannen in andere, meer agentische systemen te detecteren . De output bestaat uit transparante redeneringen en waarschijnlijkheidsbeoordelingen in plaats van ondoorzichtige opdrachten .

"In plaats van AI te bouwen die mensen nabootst, wil Bengio AI die zich meer gedraagt als een onthechte wetenschapper – waardoor de risico's van zelfbehoud en ongecontroleerde agency worden verminderd" . Het lab stelt een wereldklasse team van onderzoekers samen dat zich toelegt op het prioriteren van veiligheid boven commerciële imperatieven, met als doel de volgende generatie AI-modellen te bouwen op een fundament van 'safety-by-design' in plaats van achteraf veiligheidsmaatregelen toe te voegen .

De introductie van dit denkkader heeft Bengio's vooruitzicht getransformeerd. Waar hij eerder een van de hoofdondertekenaars was van een verklaring die AI-risico gelijkstelde aan pandemieën en kernoorlog, zegt hij nu dat deze technische benadering hem voor het eerst "met een grote marge optimistisch" heeft gemaakt . De nachtmerries zijn niet volledig verdwenen, maar hij gelooft dat hij eindelijk het concrete fundament heeft gevonden waarop een veiligere toekomst kan worden gebouwd.