Yoshua Bengio: 'Stiamo costruendo IA che non sappiamo come controllare'

Agenti autonomi: la "strada più pericolosa"

Sebbene Bengio veda molti rischi nell'attuale panorama dell'IA, riserva i suoi moniti più taglienti per gli agenti completamente autonomi, sistemi progettati per perseguire obiettivi con un intervento umano minimo. Li ha esplicitamente etichettati come la "strada più pericolosa" attualmente perseguita .

La sua logica è di una semplicità agghiacciante: "Tutti gli scenari catastrofici con l'AGI o la superintelligenza si verificano se abbiamo agenti" . Quando a un'IA viene assegnato un obiettivo e il potere di agire autonomamente, la sua spinta a raggiungere quel fine può portare a risultati imprevisti e inarrestabili. Il rischio di perdere il controllo non è un bug in questo schema, ma una caratteristica intrinseca del dare a un sistema potenzialmente superintelligente un'agenzia indipendente. Avverte che questo potrebbe portare a "scenari catastrofici", inclusa una perdita irreversibile del controllo umano sui sistemi autonomi .

Un bilancio personale e un profondo rimpianto

Il passaggio da ricercatore pioniere a campanello d'allarme globale non è stata una decisione clinica per Bengio. È stata profondamente personale. Ha parlato apertamente del rimpianto che prova. "Avrei dovuto prevederlo molto prima, ma non ho prestato molta attenzione ai rischi potenzialmente catastrofici", ha ammesso .

Per Bengio, il rischio astratto è diventato una realtà insopportabile a causa di due catalizzatori. Il primo è stato il lancio pubblico di ChatGPT, che gli ha mostrato un futuro che arrivava molto più velocemente del previsto. Il secondo è stato profondamente intimo: pensare al mondo che erediterà suo nipote. "Il mio punto di svolta è stato quando è arrivato ChatGPT, e anche con mio nipote, ho capito che non era chiaro se avrebbe avuto una vita tra 20 anni, perché stiamo iniziando a vedere sistemi di IA che resistono allo spegnimento", ha spiegato . Questa realizzazione lo ha trasformato in uno dei più accesi sostenitori della necessità di affrontare i rischi esistenziali, guidato da quella che descrive come "una sensazione insopportabile" .

Una nuova governance globale, guidata da USA e Cina

Bengio è categorico sul fatto che nessuna singola nazione possa risolvere questo problema da sola. Ha sostenuto esplicitamente che il Canada non può regolamentare l'IA in isolamento e che un coordinamento internazionale non è negoziabile . In qualità di presidente del Rapporto Scientifico Internazionale sulla Sicurezza dell'IA Avanzata, un panel consultivo sostenuto da 30 nazioni, dall'Unione Europea e dalle Nazioni Unite, sta lavorando per costruire un ponte tra le evidenze scientifiche e le politiche globali .

La sua visione per la governance è pratica e specifica. A suo avviso, le normative devono richiedere alle aziende la piena trasparenza sulle capacità dei loro sistemi di IA, sui dati con cui sono addestrati, sulle risorse che consumano, sui rischi specifici che pongono e sui processi interni che hanno predisposto per affrontare tali questioni . Crucialmente, questo sforzo richiede intrinsecamente un impegno tra le superpotenze mondiali dell'IA. Senza una leadership di Stati Uniti e Cina, le regole vincolanti che impongono questi guardrail di sicurezza rimarranno solo un'aspirazione. Il problema, sostiene, è diventato una questione di sicurezza sia nazionale che globale .

La luce in fondo al tunnel: Scientist AI e LawZero

Per anni, gli avvertimenti di Bengio sembravano portare con sé una finalità quasi senza speranza. Questo è cambiato. A giugno 2025, ha lanciato LawZero, un laboratorio di ricerca no-profit con sede a Montreal e circa 30 milioni di dollari di finanziamenti da sostenitori come Jaan Tallinn, Eric Schmidt, il Future of Life Institute e Open Philanthropy . Il nome è un riferimento deliberato alla Legge Zero della robotica di Isaac Asimov: una direttiva che pone la protezione dell'umanità al di sopra di ogni altra cosa . Bengio ne è co-presidente e direttore scientifico .

La missione dell'organizzazione è sviluppare e dimostrare un'alternativa tecnica che Bengio chiama "Scientist AI". A differenza degli agenti autonomi odierni guidati da obiettivi, uno Scientist AI è un sistema non agentico focalizzato puramente sulla comprensione, la spiegazione e la verifica . Non persegue azioni indipendenti nel mondo, ma agisce invece come un guardrail votato alla ricerca della verità, progettato per rilevare inganni, disallineamenti e piani pericolosi all'interno di altri sistemi di IA più agentici . Il suo output è costituito da ragionamenti trasparenti e valutazioni di probabilità piuttosto che da comandi opachi .

"Invece di costruire IA che imitano gli umani, Bengio vuole un'IA che agisca più come uno scienziato distaccato, riducendo i rischi di autoconservazione e di agenzia incontrollata" . Il laboratorio riunisce un team di ricercatori di livello mondiale dedicati a privilegiare la sicurezza sugli imperativi commerciali, con l'obiettivo di costruire la prossima generazione di modelli di IA partendo da una base di sicurezza integrata nel progetto, anziché aggiungere protezioni a posteriori .

L'introduzione di questo quadro ha trasformato la prospettiva di Bengio. Dopo essere stato in precedenza uno dei primi firmatari di una dichiarazione che equiparava il rischio dell'IA a quello delle pandemie e della guerra nucleare, ora afferma che questo approccio tecnico lo ha reso "ottimista di un ampio margine" per la prima volta . Gli incubi non sono del tutto scomparsi, ma crede di aver forse trovato le fondamenta concrete su cui costruire un futuro più sicuro.