GRAM est une méthode de pré-entraînement conçue pour localiser les connaissances à double usage — des informations qui peuvent être utilisées à la fois à des fins bénéfiques et nuisibles — dans des modules neuronaux amovibles à l'intérieur d'un modèle de langage . Après l'entraînement, ces modules peuvent être activés ou désactivés, offrant aux opérateurs un contrôle fin sur les capacités dangereuses que le modèle conserve . La même approche pourrait également permettre différents profils d'accès pour différents utilisateurs : les chercheurs pourraient activer les connaissances en virologie tandis qu'un chatbot public les garderait désactivées .

Comment fonctionne GRAM sur le plan architectural

Phase d'entraînement

GRAM enrichit l'architecture Transformer standard en ajoutant de petits modules auxiliaires — essentiellement des neurones dédiés à chaque couche — qui sont destinés à capturer des capacités à double usage spécifiques pendant l'entraînement . Le mécanisme clé est le routage par gradient (gradient routing) : lors de la rétropropagation, des masques pondérés contrôlent quels paramètres sont mis à jour pour quelles données .

• Lorsque le modèle traite du texte à usage général, il apprend normalement, tandis que les modules auxiliaires peuvent également s'entraîner d'une manière qui les maintient compatibles avec le reste du modèle .
• Lorsque le modèle rencontre du texte provenant d'une catégorie à double usage comme la virologie ou la cybersécurité, le routage par gradient dirige le signal d'apprentissage vers le module auxiliaire correspondant plutôt que de permettre à cette connaissance de se diffuser dans tous les paramètres du modèle .
• Cela concentre les connaissances sur chaque domaine cible dans un module dédié au lieu de les répartir dans tout le réseau .

Phase d'inférence

Une fois l'entraînement terminé, les modules individuels peuvent être supprimés ou désactivés pour réduire l'accès à une capacité particulière, ou laissés en place pour les déploiements autorisés à utiliser cette connaissance . Comme chaque catégorie à double usage correspond à son propre module, un seul modèle entraîné avec GRAM et quatre catégories peut théoriquement être configuré en 2⁴ = 16 profils de capacités distincts en activant ou désactivant chaque module indépendamment .

Résultats sur des modèles jusqu'à 5 milliards de paramètres

Les chercheurs ont testé GRAM dans plusieurs contextes et tailles de modèles :

1. Jeu de données synthétique : Dans un cadre synthétique contrôlé, GRAM a permis à un modèle « d'oublier » des sujets sélectionnés, et les résultats ont été comparés à des modèles entraînés comme si ces sujets avaient été filtrés dès le départ .
2. Données à double usage réalistes : Dans un contexte plus réaliste utilisant du texte web, du code, des articles scientifiques et des domaines à double usage, la suppression d'un module GRAM a réduit la capacité correspondante — en approchant l'effet d'un filtrage des données — tout en préservant les performances générales .
3. Étude de passage à l'échelle : GRAM a été testé sur des modèles de 50 millions à 5 milliards de paramètres . Principaux résultats : GRAM a suivi le comportement du filtrage des données ; les modèles plus grands ont montré une séparation plus nette entre le comportement module actif et module inactif ; et la méthode s'est comparée favorablement à certaines approches de désapprentissage post-entraînement dans les contextes testés .

Contexte politique : des contrôles modulaires aux interdictions d'exportation réelles

La recherche GRAM arrive en parallèle d'un exemple concret et très médiatisé du problème qu'elle vise à résoudre. En juin 2025, l'administration Trump a imposé des contrôles à l'exportation sur les modèles Claude Fable 5 et Mythos 5 d'Anthropic après des préoccupations en matière de cybersécurité, bloquant l'accès à tout ressortissant étranger — à l'intérieur ou à l'extérieur des États-Unis, y compris les employés d'Anthropic de nationalité étrangère . L'interdiction a duré 18 jours avant que le département du Commerce ne la lève après un examen de sécurité nationale .

Cet épisode illustre l'état actuel du contrôle d'accès à l'IA : un modèle entier — avec toutes ses capacités — est traité comme une unité indivisible. Si un modèle a une capacité dangereuse, la seule option aujourd'hui est de bloquer l'ensemble du système. GRAM propose une alternative plus fine : au lieu de verrouiller un modèle entier, un système pourrait autoriser ou désactiver des catégories spécifiques de connaissances en fonction du contexte de déploiement .

Questions ouvertes et limites

Les chercheurs d'Anthropic identifient explicitement GRAM comme un travail préliminaire et soulignent plusieurs limites :

• Non testé à l'échelle des modèles de pointe : GRAM n'a pas été démontré sur les modèles Claude en production ni à l'échelle des plus grands systèmes de pointe .
• Périmètre d'évaluation : Les expériences rapportées se concentrent sur des évaluations contrôlées ; la suppression réelle de capacités en aval peut être plus difficile à mesurer de manière fiable .
• Problème d'enchevêtrement fondamental : Certaines capacités à double usage peuvent être profondément imbriquées dans les connaissances générales, ce qui rend difficile leur séparation nette par toute méthode de localisation ou de filtrage .
• Réalisme de l'étiquetage des données : GRAM dépend de l'identification et du routage des données à double usage pertinentes pendant l'entraînement. L'étiquetage fiable de ces données à grande échelle reste donc un défi pratique important .
• Résultats préliminaires : Anthropic présente GRAM comme une direction de recherche précoce plutôt que comme un mécanisme de sécurité déployé — et l'organisation n'est pas sûre qu'il le sera un jour .

GRAM est une méthode de pré-entraînement conçue pour localiser les connaissances à double usage — des informations qui peuvent être utilisées à la fois à des fins bénéfiques et nuisibles — dans des modules neuronaux amovibles à l'intérieur d'un modèle de langage . Après l'entraînement, ces modules peuvent être activés ou désactivés, offrant aux opérateurs un contrôle fin sur les capacités dangereuses que le modèle conserve . La même approche pourrait également permettre différents profils d'accès pour différents utilisateurs : les chercheurs pourraient activer les connaissances en virologie tandis qu'un chatbot public les garderait désactivées .

Comment fonctionne GRAM sur le plan architectural

Phase d'entraînement

GRAM enrichit l'architecture Transformer standard en ajoutant de petits modules auxiliaires — essentiellement des neurones dédiés à chaque couche — qui sont destinés à capturer des capacités à double usage spécifiques pendant l'entraînement . Le mécanisme clé est le routage par gradient (gradient routing) : lors de la rétropropagation, des masques pondérés contrôlent quels paramètres sont mis à jour pour quelles données .

• Lorsque le modèle traite du texte à usage général, il apprend normalement, tandis que les modules auxiliaires peuvent également s'entraîner d'une manière qui les maintient compatibles avec le reste du modèle .
• Lorsque le modèle rencontre du texte provenant d'une catégorie à double usage comme la virologie ou la cybersécurité, le routage par gradient dirige le signal d'apprentissage vers le module auxiliaire correspondant plutôt que de permettre à cette connaissance de se diffuser dans tous les paramètres du modèle .
• Cela concentre les connaissances sur chaque domaine cible dans un module dédié au lieu de les répartir dans tout le réseau .

Phase d'inférence

Une fois l'entraînement terminé, les modules individuels peuvent être supprimés ou désactivés pour réduire l'accès à une capacité particulière, ou laissés en place pour les déploiements autorisés à utiliser cette connaissance . Comme chaque catégorie à double usage correspond à son propre module, un seul modèle entraîné avec GRAM et quatre catégories peut théoriquement être configuré en 2⁴ = 16 profils de capacités distincts en activant ou désactivant chaque module indépendamment .

Résultats sur des modèles jusqu'à 5 milliards de paramètres

Les chercheurs ont testé GRAM dans plusieurs contextes et tailles de modèles :

1. Jeu de données synthétique : Dans un cadre synthétique contrôlé, GRAM a permis à un modèle « d'oublier » des sujets sélectionnés, et les résultats ont été comparés à des modèles entraînés comme si ces sujets avaient été filtrés dès le départ .
2. Données à double usage réalistes : Dans un contexte plus réaliste utilisant du texte web, du code, des articles scientifiques et des domaines à double usage, la suppression d'un module GRAM a réduit la capacité correspondante — en approchant l'effet d'un filtrage des données — tout en préservant les performances générales .
3. Étude de passage à l'échelle : GRAM a été testé sur des modèles de 50 millions à 5 milliards de paramètres . Principaux résultats : GRAM a suivi le comportement du filtrage des données ; les modèles plus grands ont montré une séparation plus nette entre le comportement module actif et module inactif ; et la méthode s'est comparée favorablement à certaines approches de désapprentissage post-entraînement dans les contextes testés .

Contexte politique : des contrôles modulaires aux interdictions d'exportation réelles

La recherche GRAM arrive en parallèle d'un exemple concret et très médiatisé du problème qu'elle vise à résoudre. En juin 2025, l'administration Trump a imposé des contrôles à l'exportation sur les modèles Claude Fable 5 et Mythos 5 d'Anthropic après des préoccupations en matière de cybersécurité, bloquant l'accès à tout ressortissant étranger — à l'intérieur ou à l'extérieur des États-Unis, y compris les employés d'Anthropic de nationalité étrangère . L'interdiction a duré 18 jours avant que le département du Commerce ne la lève après un examen de sécurité nationale .

Cet épisode illustre l'état actuel du contrôle d'accès à l'IA : un modèle entier — avec toutes ses capacités — est traité comme une unité indivisible. Si un modèle a une capacité dangereuse, la seule option aujourd'hui est de bloquer l'ensemble du système. GRAM propose une alternative plus fine : au lieu de verrouiller un modèle entier, un système pourrait autoriser ou désactiver des catégories spécifiques de connaissances en fonction du contexte de déploiement .

Questions ouvertes et limites

Les chercheurs d'Anthropic identifient explicitement GRAM comme un travail préliminaire et soulignent plusieurs limites :

• Non testé à l'échelle des modèles de pointe : GRAM n'a pas été démontré sur les modèles Claude en production ni à l'échelle des plus grands systèmes de pointe .
• Périmètre d'évaluation : Les expériences rapportées se concentrent sur des évaluations contrôlées ; la suppression réelle de capacités en aval peut être plus difficile à mesurer de manière fiable .
• Problème d'enchevêtrement fondamental : Certaines capacités à double usage peuvent être profondément imbriquées dans les connaissances générales, ce qui rend difficile leur séparation nette par toute méthode de localisation ou de filtrage .
• Réalisme de l'étiquetage des données : GRAM dépend de l'identification et du routage des données à double usage pertinentes pendant l'entraînement. L'étiquetage fiable de ces données à grande échelle reste donc un défi pratique important .
• Résultats préliminaires : Anthropic présente GRAM comme une direction de recherche précoce plutôt que comme un mécanisme de sécurité déployé — et l'organisation n'est pas sûre qu'il le sera un jour .