Yoshua Bengio: Vi bygger KI vi ikke vet hvordan vi skal kontrollere

Autonome agenter: Den «farligste veien»

Mens Bengio ser mange risikoer i det nåværende KI-landskapet, reserverer han sine skarpeste advarsler for fullt autonome agenter – systemer designet for å forfølge mål med minimal menneskelig innblanding. Han har eksplisitt stemplet dem som den «farligste veien» som forfølges i dag .

Logikken hans er skremmende enkel: «Alle de katastrofale scenarioene med AGI eller superintelligens skjer hvis vi har agenter» . Når en KI får et mål og makten til å handle autonomt, kan dens drift mot å oppnå dette målet føre til uforutsette og ustoppelige utfall. Risikoen for å miste kontroll er ikke en feil i dette rammeverket; det er en egenskap ved å gi et potensielt superintelligent system uavhengig handlefrihet. Han advarer om at dette kan føre til «katastrofale scenarioer», inkludert et irreversibelt tap av menneskelig kontroll over autonome systemer .

Et personlig oppgjør og dyp anger

Overgangen fra banebrytende forsker til en global varsler var ikke en klinisk avgjørelse for Bengio. Den var dypt personlig. Han har snakket åpent om angeren han føler. «Jeg burde ha sett dette komme mye tidligere, men jeg var ikke særlig oppmerksom på de potensielt katastrofale risikoene,» har han innrømmet .

For Bengio ble den abstrakte risikoen en uutholdelig realitet gjennom to katalysatorer. Den første var den offentlige lanseringen av ChatGPT, som viste ham en fremtid som kom mye raskere enn han hadde forutsett. Den andre var dypt intim: tanken på verden barnebarnet hans ville arve. «Vendepunktet mitt var da ChatGPT kom, og også med barnebarnet mitt innså jeg at det ikke var klart om han ville ha et liv om 20 år, fordi vi begynner å se KI-systemer som motsetter seg å bli slått av,» forklarte han . Denne erkjennelsen forvandlet ham til en av feltets mest høylytte forkjempere for å adressere eksistensielle risikoer, drevet av det han beskriver som «en uutholdelig følelse» .

Krever et nytt globalt rammeverk, ledet av USA og Kina

Bengio er steil på at ingen enkelt nasjon kan løse dette problemet alene. Han har eksplisitt argumentert for at Canada ikke kan regulere KI isolert, og at internasjonal koordinering er ufravikelig . Som leder av Den internasjonale vitenskapelige rapporten om sikkerheten til avansert KI – et rådgivende panel støttet av 30 nasjoner, EU og FN – jobber han for å bygge en bro mellom vitenskapelig bevis og global politikk .

Hans visjon for styring er praktisk og spesifikk. Etter hans syn må reguleringer kreve at selskaper er fullstendig transparente om kapasitetene til sine KI-systemer, dataene de er trent på, ressursene de forbruker, de spesifikke risikoene de utgjør, og de interne prosessene de har på plass for å adressere disse problemene . Avgjørende er det at denne innsatsen iboende krever engasjement mellom verdens KI-supermakter. Uten lederskap fra USA og Kina vil bindende regler som krever disse sikkerhetsmekanismene forbli aspirerende. Problemet, argumenterer han, har blitt et spørsmål om både nasjonal og global sikkerhet .

Lyset i enden av tunnelen: Scientist AI og LawZero

I årevis bar Bengios advarsler preg av en nærmest håpløs endelighet. Det har endret seg. I juni 2025 lanserte han LawZero, et Montreal-basert ideelt forskningslaboratorium med omtrent 30 millioner dollar i finansiering fra støttespillere som Jaan Tallinn, Eric Schmidt, Future of Life Institute og Open Philanthropy . Navnet er en bevisst referanse til Isaac Asimovs «Den nullte lov» for robotikk: et direktiv som setter beskyttelsen av menneskeheten over alt annet . Bengio fungerer som organisasjonens med-president og vitenskapelige direktør .

Organisasjonens misjon er å utvikle og bevise et teknisk alternativ Bengio kaller «Scientist AI». I motsetning til dagens måldrevne autonome agenter er en Scientist AI et ikke-agentisk system som utelukkende fokuserer på forståelse, forklaring og verifikasjon . Det forfølger ikke uavhengige handlinger i verden, men fungerer i stedet som en sannhetssøkende rekkverksløsning, designet for å oppdage bedrag, feiljustering og farlige planer i andre, mer agentiske KI-systemer . Resultatet er gjennomsiktig resonnering og sannsynlighetsvurderinger snarere enn ugjennomsiktige kommandoer .

«I stedet for å bygge KI som etterligner mennesker, ønsker Bengio KI som oppfører seg mer som en distansert vitenskapsmann – noe som reduserer risikoen for selvbevaring og ukontrollert handlefrihet» . Laboratoriet samler et team i verdensklasse av forskere dedikert til å prioritere sikkerhet over kommersielle imperativer, med mål om å bygge neste generasjon KI-modeller fra et grunnlag av innebygd sikkerhet, i stedet for å ettermontere sikkerhetstiltak i etterkant .

Introduksjonen av dette rammeverket har forvandlet Bengios syn. Etter tidligere å ha vært en av hovedunderskriverne på en uttalelse som sidestilte KI-risiko med pandemier og atomkrig, sier han nå at denne tekniske tilnærmingen for første gang har gjort ham «optimistisk med god margin» . Marerittene har ikke forsvunnet helt, men han tror han kan ha funnet det konkrete fundamentet en tryggere fremtid kan bygges på.