Yoshua Bengio: Vi bygger AI vi inte vet hur vi ska kontrollera

Autonoma agenter: Den "farligaste vägen"

Medan Bengio ser många faror i dagens AI-landskap reserverar han sina skarpaste varningar för fullständigt autonoma agenter – system utformade för att eftersträva mål med minimal mänsklig inblandning. Han har uttryckligen kallat dem för den "farligaste vägen" som just nu utforskas .

Hans logik är skrämmande enkel: "Alla katastrofscenarier med AGI eller superintelligens inträffar om vi har agenter" . När en AI ges ett mål och makten att agera självständigt kan drivkraften att uppnå det målet leda till oförutsedda och oåterkalleliga resultat. Risken att förlora kontrollen är inte en bugg i detta ramverk; det är en inbyggd egenskap hos ett system med potentiellt superintelligent självständighet. Han varnar för att detta kan leda till "katastrofscenarier", inklusive en oåterkallelig förlust av mänsklig kontroll över autonoma system .

En personlig uppräkning och djup ånger

Skiftet från pionjärforskare till global varningsklocka var inte ett kliniskt beslut för Bengio. Det var djupt personligt. Han har öppet talat om den ånger han känner. "Jag borde ha sett detta komma mycket tidigare, men jag ägnade inte särskilt mycket uppmärksamhet åt de potentiellt katastrofala riskerna," har han erkänt .

För Bengio blev den abstrakta risken en outhärdlig verklighet genom två katalysatorer. Den första var den publika lanseringen av ChatGPT, som visade honom en framtid som närmade sig långt snabbare än han anat. Den andra var djupt intim: tanken på den värld hans barnbarn skulle ärva. "Min vändpunkt kom när ChatGPT lanserades, och även genom mitt barnbarn – jag insåg att det inte var självklart om han skulle ha ett liv om 20 år, eftersom vi börjar se AI-system som motsätter sig att bli avstängda," förklarade han . Denna insikt förvandlade honom till en av fältets mest högljudda förespråkare för att hantera existentiella risker, driven av vad han beskriver som "en outhärdlig känsla" .

Krav på ett nytt globalt ramverk, lett av USA och Kina

Bengio är orubblig i att ingen enskild nation kan lösa detta problem på egen hand. Han har uttryckligen argumenterat för att Kanada inte kan reglera AI isolerat och att internationell samordning är oundgänglig . Som ordförande för den internationella vetenskapliga rapporten om säkerhet för avancerad AI – en rådgivande panel med stöd av 30 länder, Europeiska unionen och Förenta Nationerna – arbetar han för att bygga en bro mellan vetenskaplig evidens och global politik .

Hans vision för styrning är praktisk och specifik. Enligt honom måste regleringar kräva att företag är fullständigt transparenta med sina AI-systems kapacitet, vilken data de tränats på, vilka resurser de förbrukar, de specifika risker de utgör samt de interna processer de har på plats för att hantera dessa frågor . Avgörande är att denna ansträngning till sin natur kräver engagemang från världens AI-supermakter. Utan amerikanskt och kinesiskt ledarskap kommer bindande regler som kräver dessa säkerhetsspärrar att förbli en ambition. Problemet, menar han, har blivit en fråga om både nationell och global säkerhet .

Ljuset i tunneln: Scientist AI och LawZero

I åratal verkade Bengios varningar bära på en nästan hopplös slutgiltighet. Det har nu förändrats. I juni 2025 lanserade han LawZero, ett Montreal-baserat ideellt forskningslabb med ungefär 30 miljoner dollar i finansiering från bland andra Jaan Tallinn, Eric Schmidt, Future of Life Institute och Open Philanthropy . Namnet är en medveten referens till Isaac Asimovs Nollte robotlag: ett direktiv som sätter mänsklighetens skydd framför allt annat . Bengio är organisationens medpresident och vetenskapliga direktör .

Organisationens uppdrag är att utveckla och bevisa ett tekniskt alternativ som Bengio kallar "Scientist AI". Till skillnad från dagens måldrivna, autonoma agenter är en Scientist AI ett icke-agentiskt system som enbart fokuserar på förståelse, förklaring och verifiering . Det agerar inte självständigt i världen utan fungerar som en sanningssökande väktare, utformad för att upptäcka bedrägeri, felanpassning och farliga planer hos andra, mer agentiska AI-system . Dess utdata består av transparent resonerande och sannolikhetsbedömningar snarare än ogenomskinliga kommandon .

"Istället för att bygga AI som härmar människor vill Bengio ha AI som agerar mer som en distanserad forskare – vilket minskar riskerna för självbevarelsedrift och okontrollerad agens" . Labbet samlar en forskargrupp i världsklass som är dedikerad till att prioritera säkerhet framför kommersiella imperativ, med målet att bygga nästa generations AI-modeller från en grund av inbyggd säkerhet snarare än att lägga till skydd i efterhand .

Introduktionen av detta ramverk har förändrat Bengios utsikter. Han, som tidigare varit en av de ledande undertecknarna av ett uttalande som likställde AI-risk med pandemier och kärnvapenkrig, säger nu att detta tekniska angreppssätt gjort honom "optimistisk med stor marginal" för första gången . Mardrömmarna har inte helt försvunnit, men han tror sig ha hittat den konkreta grund på vilken en säkrare framtid kan byggas.