Yoshua Bengio: 'Vi bygger AI, vi ikke ved, hvordan vi styrer'

Autonome agenter: "Den farligste vej"

Mens Bengio ser mange risici i det aktuelle AI-landskab, forbeholder han sine skarpeste advarsler til fuldt autonome agenter – systemer designet til at forfølge mål med minimal menneskelig indblanding. Han har udtrykkeligt stemplet dem som "den farligste vej", der forfølges i øjeblikket .

Hans logik er ildevarslende enkel: "Alle de katastrofale scenarier med AGI eller superintelligens sker, hvis vi har agenter" . Når en AI får et mål og magten til at handle autonomt, kan dens trang til at opnå det mål føre til uforudsete og ustoppelige udfald. Risikoen for at miste kontrollen er ikke en fejl i dette framework; det er en indbygget egenskab ved at give et potentielt superintelligent system uafhængig agens. Han advarer om, at dette kan føre til "katastrofale scenarier", herunder et irreversibelt tab af menneskelig kontrol over autonome systemer .

Et personligt opgør og dvb fortrydelse

Skiftet fra at være banebrydende forsker til global alarmklokke var ikke en klinisk beslutning for Bengio. Det var dybt personligt. Han har talt åbent om den fortrydelse, han føler. "Jeg burde have set dette komme meget tidligere, men jeg var ikke særlig opmærksom på de potentielt katastrofale risici," har han indrømmet .

For Bengio blev den abstrakte risiko en ubærlig realitet med to katalysatorer. Den første var den offentlige lancering af ChatGPT, som viste ham en fremtid, der ankom langt hurtigere, end han havde forventet. Den anden var dybt intim: at tænke på den verden, hans barnebarn ville arve. "Mit vendepunkt var, da ChatGPT kom, og også med mit barnebarn indså jeg, at det ikke var klart, om han ville have et liv om 20 år, fordi vi begynder at se AI-systemer, der modsætter sig at blive slukket," forklarede han . Denne erkendelse forvandlede ham til en af feltets mest højlydte fortalere for at adressere eksistentielle risici, drevet af det, han beskriver som "en ubærlig følelse" .

Krav om et nyt globalt framework, ledet af USA og Kina

Bengio er benhård: ingen enkelt nation kan løse dette problem alene. Han har udtrykkeligt argumenteret for, at Canada ikke kan regulere AI isoleret, og at international koordinering er altafgørende . Som formand for International Scientific Report on the Safety of Advanced AI – et rådgivende panel støttet af 30 nationer, EU og FN – arbejder han på at bygge bro mellem videnskabelig evidens og global politik .

Hans vision for styring er praktisk og specifik. Ifølge ham skal regulering tvinge virksomheder til at være fuldt transparente omkring deres AI-systemers kapaciteter, de data, de er trænet på, de ressourcer, de forbruger, de specifikke risici, de udgør, og de interne processer, de har på plads til at håndtere disse problemer . Afgørende er det, at denne indsats i sagens natur kræver engagement mellem verdens AI-supermagter. Uden lederskab fra USA og Kina vil bindende regler, der kræver disse sikkerhedsforanstaltninger, forblive fromme ønsker. Problemet, argumenterer han, er blevet et spørgsmål om både national og global sikkerhed .

Lyset for enden af tunnelen: Scientist AI og LawZero

I årevis syntes Bengios advarsler at bære en næsten håbløs endelighed. Det har ændret sig. I juni 2025 lancerede han LawZero, et nonprofit-forskningslaboratorium i Montreal med omkring 30 millioner dollars i finansiering fra støtter som Jaan Tallinn, Eric Schmidt, Future of Life Institute og Open Philanthropy . Navnet er en bevidst reference til Isaac Asimovs Nulte Lov for robotter: et direktiv, der sætter beskyttelsen af menneskeheden over alt andet . Bengio fungerer som dets medpræsident og videnskabelige direktør .

Organisationens mission er at udvikle og bevise et teknisk alternativ, Bengio kalder "Scientist AI". I modsætning til nutidens måldrevne, autonome agenter er en Scientist AI et ikke-agentisk system, der udelukkende fokuserer på forståelse, forklaring og verifikation . Det forfølger ikke uafhængige handlinger i verden, men fungerer i stedet som en sandhedssøgende kontrollant, designet til at opdage bedrag, fejljustering og farlige planer i andre, mere agentiske AI-systemer . Dets output består af gennemsigtig ræsonnement og sandsynlighedsvurderinger snarere end uigennemsigtige kommandoer .

"I stedet for at bygge AI, der efterligner mennesker, ønsker Bengio en AI, der opfører sig mere som en distanceret videnskabsmand – hvilket reducerer risikoen for selvbevarelse og ukontrolleret agens" . Laboratoriet samler et hold af forskere i verdensklasse, dedikeret til at prioritere sikkerhed over kommercielle imperativer, med det mål at bygge den næste generation af AI-modeller fra et fundament af safety-by-design frem for at påklistre sikkerhedsforanstaltninger bagefter .

Introduktionen af dette framework har forvandlet Bengios syn. Efter tidligere at have været en af de førende underskrivere på en erklæring, der sidestillede AI-risiko med pandemier og atomkrig, siger han nu, at denne tekniske tilgang for første gang har gjort ham "optimistisk med en stor margin" . Mareridtene er ikke helt forsvundet, men han tror, at han måske har fundet det konkrete fundament, en sikrere fremtid kan bygges på.