Hinton: un rischio del 10% che l’IA estingua l’umanità «non è irragionevole»

Geoffrey Hinton, tra i pionieri dell’intelligenza artificiale e vincitore del Nobel per la Fisica nel 2024, ha affermato che una probabilità del 10% che l’IA causi l’estinzione umana nel prossimo decennio non gli sembra «irragionevole». Ha però aggiunto un’avvertenza decisiva: «nessuno sa davvero come formulare una stima sensata». 14

Non è dunque una previsione scientifica calibrata su dati storici o un calcolo verificabile. Il punto di Hinton è un altro: considerati l’ampiezza del danno possibile e l’incertezza sulle capacità dei sistemi futuri, liquidare il rischio a priori sarebbe ingiustificato.

Due tipi di rischio: abuso umano e perdita di controllo

Hinton distingue fra minacce connesse all’uso doloso dell’IA da parte delle persone e il rischio, più remoto ma potenzialmente estremo, di sistemi molto capaci che diventino difficili da controllare.

Nel suo discorso per il Nobel, ha richiamato problemi già visibili: sistemi di raccomandazione che alimentano divisioni e camere dell’eco, sorveglianza di massa da parte di governi autoritari e phishing assistito dall’IA. Ha anche avvertito che l’IA potrebbe contribuire alla creazione di virus pericolosi e di armi letali capaci di decidere autonomamente chi colpire, chiedendo un intervento urgente di governi e organizzazioni internazionali.

Le preoccupazioni, quindi, non dipendono da un solo scenario. Sistemi avanzati potrebbero rendere la disinformazione più persuasiva e personalizzata, aiutare a individuare vulnerabilità informatiche o abbassare le barriere all’abuso in ambito biologico e cyber. Nello scenario più grave immaginato da alcuni ricercatori sulla sicurezza dell’IA, un sistema con forti capacità strategiche, tecniche e operative potrebbe ottenere risorse o accesso a infrastrutture critiche e opporsi ai tentativi umani di limitarlo. 5

Il nodo tecnico: l’allineamento

Alla base dell’argomento sull’estinzione c’è il problema dell’allineamento: riuscire a garantire che un sistema molto più capace degli esseri umani persegua davvero gli obiettivi stabiliti dalle persone, possa essere corretto quando necessario e resti entro limiti effettivi.

Jacob Coxon, ex ricercatore di Anthropic e OpenAI, si è dimesso da Anthropic sostenendo che i principali laboratori stiano «correndo dritti verso una superintelligenza che si auto-migliora» e «scommettendo sulle nostre vite». 18 Il suo timore è che sistemi in grado di accrescere le proprie capacità possano progredire più rapidamente dei metodi sviluppati per renderli sicuri.

Evan Hubinger, responsabile della ricerca sull’allineamento in Anthropic, ha sostenuto pubblicamente la preoccupazione di fondo. Ha scritto di ritenere personalmente superiore al 10% la probabilità che l’IA possa uccidere tutti gli esseri umani entro il prossimo decennio; ha aggiunto che Anthropic non dispone ancora di un piano per risolvere l’allineamento di una superintelligenza e non appare chiaramente sulla strada per riuscirci. 16

L’argomento non è che i modelli disponibili oggi stiano per agire autonomamente contro l’umanità. Hubinger ha definito basso il rischio posto dai modelli attuali. La preoccupazione riguarda una possibile transizione futura: sistemi abbastanza capaci da migliorarsi o da intervenire efficacemente nel mondo reale prima che gli sviluppatori sappiano controllarli in modo affidabile. 116

Perché altri esperti contestano lo scenario nel breve termine

Altri ricercatori non negano che l’IA possa aggravare cybercriminalità, disinformazione e abusi biologici. Il dissenso riguarda il salto logico dai danni seri all’estinzione dell’umanità.

Gary Marcus ritiene plausibili cyberattacchi, minacce biologiche, disinformazione e l’escalation di conflitti, ma non vede un percorso realistico che, nel breve periodo, porti letteralmente a «uccidere tutti gli esseri umani». 15 La sua posizione è che i rischi concreti richiedano attenzione, senza assumere che gli attuali grandi modelli linguistici siano su una traiettoria diretta verso una superintelligenza incontrollabile.

Anche Yann LeCun ha messo in dubbio stime di p(doom) — la probabilità attribuita a un esito catastrofico — espresse con troppa sicurezza. Un resoconto del dibattito ha descritto la sua valutazione come molto inferiore al rischio di un olocausto nucleare, sottolineando al tempo stesso quanto queste stime siano intrinsecamente speculative.

La divisione, quindi, non è semplicemente tra chi è preoccupato e chi non lo è. Riguarda due domande ancora aperte:

1. Tempi delle capacità: quando, se mai accadrà, i sistemi diventeranno ampiamente sovrumani e capaci di migliorare autonomamente le proprie prestazioni?
2. Controllo: se ciò accadesse, sarebbe possibile mantenerli controllabili in modo affidabile oppure le protezioni fallirebbero di fronte a modelli più capaci e alla pressione della concorrenza?

Che cosa dice davvero quel 10%

Non esiste un metodo validato per calcolare una probabilità precisa che l’IA causi l’estinzione umana. Stime come quelle di Hinton e Hubinger sono giudizi formulati in condizioni di profonda incertezza, non probabilità ricavate da dati ripetibili. 14

Il 10% non va quindi letto come prova che l’estinzione sia probabile. Ma neppure l’assenza di una cifra affidabile dimostra che il rischio sia trascurabile. La conclusione più solida è più circoscritta: gli esperti sono profondamente divisi su probabilità e meccanismi, mentre molti concordano sul fatto che IA potenti possano creare sfide serie per sicurezza e governance ben prima di qualunque ipotetico scenario estremo.

Regole e verifiche prima dell’impiego

Hinton ha chiesto un’attenzione urgente da parte di governi e organismi internazionali. Anche Coxon ha sostenuto che la regolamentazione sia centrale per ridurre il pericolo.

Il confronto sulle politiche pubbliche si concentra perciò su misure applicabili a capacità e impieghi identificabili: valutazioni rigorose dei modelli di frontiera, cybersicurezza rafforzata, tutele di biosicurezza, segnalazione e supervisione degli incidenti gravi, oltre a verifiche indipendenti prima di concedere maggiore autonomia o accesso a strumenti sensibili.

La discussione sul rischio del 10% resterà aperta. Il messaggio di Hinton non è che qualcuno possa calcolare con sicurezza le probabilità: è che la posta in gioco è abbastanza alta e l’incertezza abbastanza grande da rendere rischioso aspettare la certezza prima di adottare precauzioni. 14