Come funziona GRAM a livello architetturale

Fase di addestramento

GRAM potenzia l'architettura standard del trasformatore aggiungendo piccoli moduli ausiliari—essenzialmente neuroni dedicati in ogni livello—che hanno lo scopo di catturare specifiche capacità a duplice uso durante l'addestramento . Il meccanismo chiave è il gradient routing: durante la retropropagazione, maschere ponderate controllano quali parametri vengono aggiornati per quali dati .

• Quando il modello elabora testo generico, apprende normalmente, mentre i moduli ausiliari possono anche addestrarsi in modo da rimanere compatibili con il resto del modello .
• Quando il modello incontra testo proveniente da una categoria a duplice uso come virologia o cybersecurity, il gradient routing dirige il segnale di apprendimento verso il modulo ausiliario corrispondente, invece di permettere che quella conoscenza si diffonda in tutti i parametri del modello .
• Questo concentra la conoscenza su ogni dominio target in un modulo dedicato, invece di spargerla in tutta la rete .

Fase di inferenza

Una volta completato l'addestramento, i singoli moduli possono essere rimossi o disattivati per ridurre l'accesso a una particolare capacità, o lasciati al loro posto per le implementazioni autorizzate a utilizzare quella conoscenza . Poiché ogni categoria a duplice uso corrisponde al proprio modulo, un singolo modello addestrato con GRAM con quattro categorie può teoricamente essere configurato in 2⁴ = 16 profili di capacità distinti, attivando o disattivando ogni modulo in modo indipendente .

Risultati su modelli fino a 5 miliardi di parametri

I ricercatori hanno testato GRAM in diverse impostazioni e dimensioni di modello :

1. Dataset sintetico: In un ambiente sintetico controllato, GRAM ha fatto "dimenticare" al modello argomenti selezionati, e i risultati sono stati confrontati con modelli addestrati come se quegli argomenti fossero stati filtrati dall'inizio .

2. Dati realistici a duplice uso: In un ambiente più realistico che utilizzava testo web, codice, articoli scientifici e domini a duplice uso, la rimozione di un modulo GRAM ha ridotto la capacità corrispondente—avvicinandosi all'effetto del filtraggio dei dati—preservando al contempo le prestazioni generali .

3. Studio di scaling: GRAM è stato testato su modelli con dimensioni che vanno da 50 milioni a 5 miliardi di parametri . Risultati chiave: GRAM ha replicato il comportamento del filtraggio dei dati; i modelli più grandi hanno mostrato una separazione più chiara tra comportamento con modulo attivo e modulo disattivo; e il metodo si è confrontato favorevolmente con alcuni approcci post-addestramento di "unlearning" nelle impostazioni testate .

Contesto politico: Dai controlli modulari ai divieti di esportazione nel mondo reale

La ricerca GRAM arriva insieme a un esempio concreto e ad alto rischio del problema che mira a risolvere. Nel giugno 2025, l'amministrazione Trump ha imposto restrizioni all'esportazione sui modelli Claude Fable 5 e Mythos 5 di Anthropic dopo preoccupazioni legate alla cybersecurity, bloccando l'accesso a qualsiasi cittadino straniero—dentro o fuori gli Stati Uniti, inclusi i dipendenti di Anthropic di nazionalità straniera . Il divieto è durato 18 giorni, prima che il Dipartimento del Commercio lo revocasse dopo una revisione della sicurezza nazionale .

Questo episodio illustra lo stato attuale del controllo dell'accesso all'IA: un intero modello—con tutte le sue capacità—viene trattato come un'unità singola e indivisibile. Se un modello ha una capacità pericolosa, l'unica opzione oggi è negare l'intero sistema. GRAM propone un'alternativa più granulare: invece di bloccare l'intero modello, un sistema potrebbe consentire o disabilitare categorie specifiche di conoscenza a seconda del contesto di implementazione .

Domande aperte e limiti

I ricercatori di Anthropic identificano esplicitamente GRAM come lavoro preliminare e evidenziano diversi limiti :

• Scala frontiera non testata: GRAM non ha dimostrato di funzionare nei modelli Claude in produzione o alla scala dei più grandi sistemi di frontiera .
• Ambito di valutazione: Gli esperimenti riportati si concentrano su valutazioni controllate; la rimozione effettiva delle capacità a valle nel mondo reale potrebbe essere più difficile da misurare in modo affidabile .
• Problema fondamentale di entanglement: Alcune capacità a duplice uso potrebbero essere profondamente intrecciate con la conoscenza generale, rendendo difficile per qualsiasi metodo di localizzazione o filtraggio separarle in modo netto .
• Realismo nell'etichettatura dei dati: GRAM dipende dall'identificazione e dal routing dei dati a duplice uso rilevanti durante l'addestramento, quindi etichettare in modo affidabile tali dati su larga scala rimane un'importante sfida pratica .
• Risultati preliminari: Anthropic presenta GRAM come una direzione di ricerca iniziale piuttosto che un meccanismo di sicurezza implementato—e l'organizzazione non è sicura che verrà mai implementato .

Come funziona GRAM a livello architetturale

Fase di addestramento

GRAM potenzia l'architettura standard del trasformatore aggiungendo piccoli moduli ausiliari—essenzialmente neuroni dedicati in ogni livello—che hanno lo scopo di catturare specifiche capacità a duplice uso durante l'addestramento . Il meccanismo chiave è il gradient routing: durante la retropropagazione, maschere ponderate controllano quali parametri vengono aggiornati per quali dati .

• Quando il modello elabora testo generico, apprende normalmente, mentre i moduli ausiliari possono anche addestrarsi in modo da rimanere compatibili con il resto del modello .
• Quando il modello incontra testo proveniente da una categoria a duplice uso come virologia o cybersecurity, il gradient routing dirige il segnale di apprendimento verso il modulo ausiliario corrispondente, invece di permettere che quella conoscenza si diffonda in tutti i parametri del modello .
• Questo concentra la conoscenza su ogni dominio target in un modulo dedicato, invece di spargerla in tutta la rete .

Fase di inferenza

Una volta completato l'addestramento, i singoli moduli possono essere rimossi o disattivati per ridurre l'accesso a una particolare capacità, o lasciati al loro posto per le implementazioni autorizzate a utilizzare quella conoscenza . Poiché ogni categoria a duplice uso corrisponde al proprio modulo, un singolo modello addestrato con GRAM con quattro categorie può teoricamente essere configurato in 2⁴ = 16 profili di capacità distinti, attivando o disattivando ogni modulo in modo indipendente .

Risultati su modelli fino a 5 miliardi di parametri

I ricercatori hanno testato GRAM in diverse impostazioni e dimensioni di modello :

1. Dataset sintetico: In un ambiente sintetico controllato, GRAM ha fatto "dimenticare" al modello argomenti selezionati, e i risultati sono stati confrontati con modelli addestrati come se quegli argomenti fossero stati filtrati dall'inizio .

2. Dati realistici a duplice uso: In un ambiente più realistico che utilizzava testo web, codice, articoli scientifici e domini a duplice uso, la rimozione di un modulo GRAM ha ridotto la capacità corrispondente—avvicinandosi all'effetto del filtraggio dei dati—preservando al contempo le prestazioni generali .

3. Studio di scaling: GRAM è stato testato su modelli con dimensioni che vanno da 50 milioni a 5 miliardi di parametri . Risultati chiave: GRAM ha replicato il comportamento del filtraggio dei dati; i modelli più grandi hanno mostrato una separazione più chiara tra comportamento con modulo attivo e modulo disattivo; e il metodo si è confrontato favorevolmente con alcuni approcci post-addestramento di "unlearning" nelle impostazioni testate .

Contesto politico: Dai controlli modulari ai divieti di esportazione nel mondo reale

La ricerca GRAM arriva insieme a un esempio concreto e ad alto rischio del problema che mira a risolvere. Nel giugno 2025, l'amministrazione Trump ha imposto restrizioni all'esportazione sui modelli Claude Fable 5 e Mythos 5 di Anthropic dopo preoccupazioni legate alla cybersecurity, bloccando l'accesso a qualsiasi cittadino straniero—dentro o fuori gli Stati Uniti, inclusi i dipendenti di Anthropic di nazionalità straniera . Il divieto è durato 18 giorni, prima che il Dipartimento del Commercio lo revocasse dopo una revisione della sicurezza nazionale .

Questo episodio illustra lo stato attuale del controllo dell'accesso all'IA: un intero modello—con tutte le sue capacità—viene trattato come un'unità singola e indivisibile. Se un modello ha una capacità pericolosa, l'unica opzione oggi è negare l'intero sistema. GRAM propone un'alternativa più granulare: invece di bloccare l'intero modello, un sistema potrebbe consentire o disabilitare categorie specifiche di conoscenza a seconda del contesto di implementazione .

Domande aperte e limiti

I ricercatori di Anthropic identificano esplicitamente GRAM come lavoro preliminare e evidenziano diversi limiti :

• Scala frontiera non testata: GRAM non ha dimostrato di funzionare nei modelli Claude in produzione o alla scala dei più grandi sistemi di frontiera .
• Ambito di valutazione: Gli esperimenti riportati si concentrano su valutazioni controllate; la rimozione effettiva delle capacità a valle nel mondo reale potrebbe essere più difficile da misurare in modo affidabile .
• Problema fondamentale di entanglement: Alcune capacità a duplice uso potrebbero essere profondamente intrecciate con la conoscenza generale, rendendo difficile per qualsiasi metodo di localizzazione o filtraggio separarle in modo netto .
• Realismo nell'etichettatura dei dati: GRAM dipende dall'identificazione e dal routing dei dati a duplice uso rilevanti durante l'addestramento, quindi etichettare in modo affidabile tali dati su larga scala rimane un'importante sfida pratica .
• Risultati preliminari: Anthropic presenta GRAM come una direzione di ricerca iniziale piuttosto che un meccanismo di sicurezza implementato—e l'organizzazione non è sicura che verrà mai implementato .