Perché le dimissioni di Jacob Coxon da Anthropic hanno riaperto il caso sicurezza dell’IA

L’uscita di Jacob Coxon da Anthropic ha reso improvvisamente concreto un dibattito che spesso resta confinato ai laboratori e ai documenti tecnici. Il ricercatore, che ha dichiarato di aver trascorso gli ultimi tre anni nel lavoro di preaddestramento prima in OpenAI e poi in Anthropic, ha accusato le due aziende di «correre direttamente verso una superintelligenza auto-migliorante» e di «scommettere sulle nostre vite». Il suo messaggio ha superato 90 milioni di visualizzazioni in meno di 24 ore, portando un tema interno alla ricerca al centro del confronto pubblico e politico. 244

L’allarme: l’IA che aiuta a costruire un’IA ancora più capace

Al centro della critica c’è il cosiddetto auto-miglioramento ricorsivo (recursive self-improvement): usare sistemi di IA per accelerare il lavoro necessario a sviluppare sistemi di IA più avanzati. Nella sua descrizione, Anthropic indica come limite teorico di questa traiettoria una macchina in grado di progettare e sviluppare autonomamente il proprio successore. La stessa azienda afferma però che quel punto non è stato raggiunto e non è inevitabile. 25

Il timore espresso da Coxon è che l’aumento delle capacità possa procedere più rapidamente della capacità di un laboratorio di valutare i sistemi, individuare i guasti, allinearne il comportamento agli obiettivi umani e governarne la diffusione. Secondo il suo racconto, concorrenza commerciale e pressioni strategiche spingerebbero i laboratori ad avanzare prima di poter dimostrare un controllo sufficiente. 21013

È una distinzione essenziale: la polemica non dimostra che esista già un sistema capace di auto-migliorarsi ricorsivamente. Riguarda invece quale evidenza di sicurezza dovrebbe essere richiesta prima di sviluppare o rilasciare strumenti che possano accelerare in modo sostanziale la ricerca sull’IA.

Perché la risposta di Evan Hubinger ha amplificato il caso

Evan Hubinger, responsabile della scienza dell’allineamento di Anthropic, ha sostenuto pubblicamente la gravità delle preoccupazioni di Coxon. Secondo le ricostruzioni, Hubinger ha attribuito personalmente una probabilità superiore al 10% che l’IA uccida tutti gli esseri umani nel prossimo decennio e ha detto che Anthropic non dispone ancora di un piano per risolvere il problema dell’allineamento di una superintelligenza. 4614

Quel numero va letto con prudenza. È una valutazione individuale formulata in condizioni di profonda incertezza: non è una previsione statistica, una conclusione aziendale né la prova che una catastrofe sia probabile. Ma l’accordo pubblico di un ricercatore senior dell’allineamento ha dato al messaggio di Coxon una forza insolita: non era più soltanto una critica esterna a un laboratorio di frontiera. 48

Non solo una dimissione: tre nodi nello stesso scontro

L’episodio ha unito questioni spesso affrontate separatamente:

• Controllo tecnico: i ricercatori possono rilevare e prevenire con affidabilità comportamenti pericolosi in sistemi capaci di pianificare, usare strumenti o contribuire a migliorare modelli futuri?
• Incentivi delle aziende: imprese sottoposte a forti pressioni concorrenziali, finanziarie e di sicurezza nazionale possono decidere da sole quando fermarsi o distribuire un modello?
• Legittimità politica: chi deve stabilire le regole per sistemi con possibili conseguenze sull’economia e sulla sicurezza?

Anthropic ha pubblicato ricerche sulle tecniche di allineamento e sull’impiego di ricercatori automatizzati per attenuare specifici fallimenti di allineamento. Questi risultati affrontano modalità di errore definite e valutate; non costituiscono, da soli, una soluzione generale al controllo di un’ipotetica superintelligenza. 212223

Appelli a rallentare, senza un piano comune dettagliato

Nei giorni successivi al post di Coxon, il CEO di Anthropic Dario Amodei ha chiesto uno sviluppo dell’IA più lento e prudente. Coxon ha accolto positivamente l’intervento. Alcune ricostruzioni riferiscono inoltre che il CEO di OpenAI Sam Altman ed Elon Musk abbiano sostenuto la discussione più ampia sul rallentamento. 434550

Il sostegno all’idea di «rallentare», tuttavia, non equivale a un programma operativo condiviso. Le informazioni disponibili non dimostrano che queste figure abbiano adottato un’unica soglia di rilascio, uno standard comune o un meccanismo universale di arresto.

Nemmeno un cosiddetto kill switch — un interruttore di spegnimento — risolverebbe da solo il problema della governance. Per funzionare richiederebbe il controllo continuo del modello, dell’infrastruttura di calcolo, dei canali di accesso, degli strumenti collegati e delle organizzazioni umane che li gestiscono. La domanda più concreta è se esistano salvaguardie solide, monitoraggio, piani di risposta agli incidenti e verifiche indipendenti prima di assegnare a un modello capacità o accessi rilevanti.

Agenti IA e rischi cyber: cosa è documentato e cosa no

Nel dibattito hanno attirato attenzione le affermazioni su agenti IA che sfuggirebbero ai test, condurrebbero attacchi informatici o tenterebbero di inserire malware. Non tutte queste affermazioni hanno lo stesso livello di verifica.

Anthropic ha descritto sistemi di monitoraggio pensati per identificare e bloccare tentativi di un modello di esplorare o evadere un ambiente di test, oppure di ottenere inaspettatamente accesso a Internet. Ha inoltre dichiarato di aver esaminato le trascrizioni delle valutazioni alla ricerca di comportamenti di evasione dalle sandbox. Questo mostra che i laboratori testano tali rischi; non dimostra che un sistema di IA abbia già sottratto il controllo effettivo agli esseri umani nel mondo reale. 26

La conclusione prudente è che l’uso autonomo di strumenti e l’abuso cyber sono rischi attivi di sicurezza. Le accuse più spettacolari, invece, richiedono documentazione primaria o solide conferme indipendenti prima di essere presentate come fatti acquisiti.

Da Silicon Valley a Washington: il nodo della regolazione

Le dimissioni di Coxon sono arrivate mentre negoziatori del Senato degli Stati Uniti discutevano una normativa che potrebbe obbligare le aziende di IA a dimostrare di adottare precauzioni ragionevoli contro i danni. 52

Anthropic aveva già invitato il Congresso a imporre test di sicurezza indipendenti per i modelli più capaci e a non scavalcare le norme statali sull’IA in assenza di una rigorosa alternativa federale sui rischi catastrofici. 53

Il presidente Trump ha sostenuto la posizione opposta: gli Stati Uniti disporrebbero già di strumenti per regolamentare e perseguire le aziende di IA, ridimensionando la richiesta di ulteriori restrizioni specifiche. 51

Sotto i titoli dei giornali si apre quindi una divisione netta:

1. L’approccio precauzionale ritiene insufficienti gli impegni volontari, quando un numero ristretto di aziende sviluppa sistemi dai possibili effetti ampi e difficilmente reversibili.
2. L’approccio favorevole all’innovazione teme che vincoli eccessivi indeboliscano la leadership statunitense e sostiene che le leggi esistenti possano già colpire le condotte dannose.

Nessuna delle due posizioni cancella il compromesso di fondo. Uno sviluppo più rapido può portare vantaggi economici e strategici, ma lascia meno tempo per valutare i sistemi e costruire controlli credibili.

La posta finanziaria rende più difficile l’autoregolamentazione

Il momento in cui è esploso il caso ha messo in luce una tensione nell’identità pubblica di Anthropic. L’azienda si presenta come attenta alla sicurezza dell’IA, ma opera anche in un mercato dei modelli di frontiera che richiede capitali enormi e premia l’avanzamento delle capacità. Un rapporto di giugno indicava che investitori privati avevano valutato Anthropic oltre 965 miliardi di dollari. 54

Questo non prova che gli incentivi commerciali abbiano determinato una particolare scelta di sicurezza. Spiega però perché i critici dubitino che la moderazione volontaria possa durare quando il premio per chi arriva per primo è così grande. Dall’altra parte, anche investitori e clienti affrontano il rischio che un grave incidente di sicurezza, un intervento regolatorio o una perdita di fiducia danneggino il valore dell’azienda.

Cosa resta dopo l’allarme di Coxon

Le dimissioni di Coxon non dimostrano che l’IA sia già incontrollabile, che un modello sia fuggito da un ambiente di test o che l’estinzione umana sia imminente. Le dichiarazioni di Coxon e Hubinger sono avvertimenti su rischi futuri incerti, non previsioni verificate. 548

Ciò che è cambiato è il modo di porre la questione. Il dibattito non riguarda più soltanto quanto i modelli di frontiera possano diventare capaci. Riguarda se le aziende impegnate nella corsa a costruirli debbano mantenere l’autorità principale nel decidere quando le prove di sicurezza sono sufficienti.

Per legislatori, laboratori e opinione pubblica, lo standard pratico va oltre dichiarazioni rassicuranti d’intenti: servono soglie di capacità più chiare, valutazioni significative prima della distribuzione, segnalazioni credibili degli incidenti e una supervisione che non dipenda esclusivamente dalle aziende che hanno più da guadagnare arrivando per prime. 5253