Hoe GRAM architecturaal werkt

Trainingsfase

GRAM breidt de standaard Transformer-architectuur uit door kleine hulpmodules toe te voegen – in wezen speciale neuronen in elke laag – die bedoeld zijn om specifieke dual-use capaciteiten vast te leggen tijdens de training . Het belangrijkste mechanisme is gradient routing: tijdens terugpropagatie bepalen gewogen maskers welke parameters worden bijgewerkt voor welke gegevens .

• Wanneer het model algemene tekst verwerkt, leert het normaal, terwijl de hulpmodules ook kunnen trainen op een manier die ze compatibel houdt met de rest van het model .
• Wanneer het model tekst uit een dual-use categorie zoals virologie of cybersecurity tegenkomt, stuurt gradient routing het leersignaal naar de bijbehorende hulpmodule in plaats van die kennis over alle modelparameters te verspreiden .
• Dit concentreert kennis over elk doeldomein in een speciale module in plaats van deze over het hele netwerk te verspreiden .

Inferentiefase

Zodra de training is voltooid, kunnen individuele modules worden verwijderd of uitgeschakeld om de toegang tot een bepaalde capaciteit te verminderen, of blijven zitten voor implementaties die die kennis mogen gebruiken . Omdat elke dual-use categorie aan zijn eigen module is gekoppeld, kan een enkel GRAM-getraind model met vier categorieën theoretisch worden geconfigureerd in 2⁴ = 16 verschillende capaciteitsprofielen door elke module onafhankelijk aan of uit te zetten .

Resultaten op modellen tot 5 miljard parameters

De onderzoekers testten GRAM in verschillende omgevingen en modelgroottes :

1. Synthetische dataset: In een gecontroleerde synthetische omgeving liet GRAM een model geselecteerde onderwerpen 'vergeten', en de resultaten werden vergeleken met modellen die waren getraind alsof die onderwerpen vanaf het begin waren weggefilterd .
2. Realistische dual-use data: In een meer realistische opstelling met webtekst, code, wetenschappelijke artikelen en dual-use domeinen, verminderde het verwijderen van een GRAM-module de bijbehorende capaciteit – wat het effect van datafiltering benaderde – terwijl de algemene prestaties behouden bleven .
3. Schaalstudie: GRAM werd getest op modelgroottes van 50 miljoen tot 5 miljard parameters . Belangrijkste bevindingen: GRAM volgde het gedrag van datafiltering; grotere modellen vertoonden een duidelijker onderscheid tussen module-aan en module-uit gedrag; en de methode deed het gunstig vergeleken met sommige post-training 'unlearning'-methoden in de geteste omgevingen .

Beleidscontext: van modulaire controles tot echte exportverboden

Het GRAM-onderzoek komt niet uit de lucht vallen. Het sluit aan bij een spraakmakend praktijkvoorbeeld van het probleem dat het wil oplossen. In juni 2025 legde de Trump-regering exportbeperkingen op aan Anthropic's Claude Fable 5- en Mythos 5-modellen na cybersecurity-zorgen, waarbij de toegang werd geblokkeerd voor alle niet-Amerikaanse burgers – zowel binnen als buiten de VS, inclusief buitenlandse Anthropic-medewerkers . Het verbod duurde 18 dagen, totdat het Ministerie van Handel het ophief na een nationale veiligheidsbeoordeling .

Deze episode illustreert de huidige stand van AI-toegangscontrole: een heel model – met al zijn capaciteiten – wordt als een ondeelbare eenheid behandeld. Als een model een gevaarlijke capaciteit heeft, is de enige optie vandaag de dag om het hele systeem achter te houden. GRAM stelt een fijnmaziger alternatief voor: in plaats van een heel model op slot te doen, zou een systeem specifieke categorieën kennis kunnen toestaan of uitschakelen, afhankelijk van de implementatiecontext .

Open vragen en beperkingen

De onderzoekers van Anthropic benadrukken dat GRAM voorlopig werk is en wijzen op verschillende beperkingen :

• Niet getest op frontier-schaal: GRAM is niet aangetoond in productie-Claude-modellen of op de schaal van de grootste frontier-systemen .
• Beperkte evaluatie: De gerapporteerde experimenten richten zich op gecontroleerde evaluaties; het betrouwbaar meten van daadwerkelijke verwijdering van capaciteiten in de praktijk kan veel moeilijker zijn .
• Fundamenteel verstrengelingsprobleem: Sommige dual-use capaciteiten kunnen diep verstrengeld zijn met algemene kennis, waardoor ze moeilijk schoon te scheiden zijn met welke lokalisatie- of filteringsmethode dan ook .
• Realiteit van datalabeling: GRAM is afhankelijk van het identificeren en routeren van relevante dual-use data tijdens de training, dus het op schaal betrouwbaar labelen van dergelijke data blijft een belangrijke praktische uitdaging .
• Voorlopige bevindingen: Anthropic presenteert GRAM als een vroege onderzoeksrichting en niet als een geïmplementeerd veiligheidsmechanisme – en de organisatie is niet zeker of het ooit zal worden geïmplementeerd .

Hoe GRAM architecturaal werkt

Trainingsfase

GRAM breidt de standaard Transformer-architectuur uit door kleine hulpmodules toe te voegen – in wezen speciale neuronen in elke laag – die bedoeld zijn om specifieke dual-use capaciteiten vast te leggen tijdens de training . Het belangrijkste mechanisme is gradient routing: tijdens terugpropagatie bepalen gewogen maskers welke parameters worden bijgewerkt voor welke gegevens .

• Wanneer het model algemene tekst verwerkt, leert het normaal, terwijl de hulpmodules ook kunnen trainen op een manier die ze compatibel houdt met de rest van het model .
• Wanneer het model tekst uit een dual-use categorie zoals virologie of cybersecurity tegenkomt, stuurt gradient routing het leersignaal naar de bijbehorende hulpmodule in plaats van die kennis over alle modelparameters te verspreiden .
• Dit concentreert kennis over elk doeldomein in een speciale module in plaats van deze over het hele netwerk te verspreiden .

Inferentiefase

Zodra de training is voltooid, kunnen individuele modules worden verwijderd of uitgeschakeld om de toegang tot een bepaalde capaciteit te verminderen, of blijven zitten voor implementaties die die kennis mogen gebruiken . Omdat elke dual-use categorie aan zijn eigen module is gekoppeld, kan een enkel GRAM-getraind model met vier categorieën theoretisch worden geconfigureerd in 2⁴ = 16 verschillende capaciteitsprofielen door elke module onafhankelijk aan of uit te zetten .

Resultaten op modellen tot 5 miljard parameters

De onderzoekers testten GRAM in verschillende omgevingen en modelgroottes :

1. Synthetische dataset: In een gecontroleerde synthetische omgeving liet GRAM een model geselecteerde onderwerpen 'vergeten', en de resultaten werden vergeleken met modellen die waren getraind alsof die onderwerpen vanaf het begin waren weggefilterd .
2. Realistische dual-use data: In een meer realistische opstelling met webtekst, code, wetenschappelijke artikelen en dual-use domeinen, verminderde het verwijderen van een GRAM-module de bijbehorende capaciteit – wat het effect van datafiltering benaderde – terwijl de algemene prestaties behouden bleven .
3. Schaalstudie: GRAM werd getest op modelgroottes van 50 miljoen tot 5 miljard parameters . Belangrijkste bevindingen: GRAM volgde het gedrag van datafiltering; grotere modellen vertoonden een duidelijker onderscheid tussen module-aan en module-uit gedrag; en de methode deed het gunstig vergeleken met sommige post-training 'unlearning'-methoden in de geteste omgevingen .

Beleidscontext: van modulaire controles tot echte exportverboden

Het GRAM-onderzoek komt niet uit de lucht vallen. Het sluit aan bij een spraakmakend praktijkvoorbeeld van het probleem dat het wil oplossen. In juni 2025 legde de Trump-regering exportbeperkingen op aan Anthropic's Claude Fable 5- en Mythos 5-modellen na cybersecurity-zorgen, waarbij de toegang werd geblokkeerd voor alle niet-Amerikaanse burgers – zowel binnen als buiten de VS, inclusief buitenlandse Anthropic-medewerkers . Het verbod duurde 18 dagen, totdat het Ministerie van Handel het ophief na een nationale veiligheidsbeoordeling .

Deze episode illustreert de huidige stand van AI-toegangscontrole: een heel model – met al zijn capaciteiten – wordt als een ondeelbare eenheid behandeld. Als een model een gevaarlijke capaciteit heeft, is de enige optie vandaag de dag om het hele systeem achter te houden. GRAM stelt een fijnmaziger alternatief voor: in plaats van een heel model op slot te doen, zou een systeem specifieke categorieën kennis kunnen toestaan of uitschakelen, afhankelijk van de implementatiecontext .

Open vragen en beperkingen

De onderzoekers van Anthropic benadrukken dat GRAM voorlopig werk is en wijzen op verschillende beperkingen :

• Niet getest op frontier-schaal: GRAM is niet aangetoond in productie-Claude-modellen of op de schaal van de grootste frontier-systemen .
• Beperkte evaluatie: De gerapporteerde experimenten richten zich op gecontroleerde evaluaties; het betrouwbaar meten van daadwerkelijke verwijdering van capaciteiten in de praktijk kan veel moeilijker zijn .
• Fundamenteel verstrengelingsprobleem: Sommige dual-use capaciteiten kunnen diep verstrengeld zijn met algemene kennis, waardoor ze moeilijk schoon te scheiden zijn met welke lokalisatie- of filteringsmethode dan ook .
• Realiteit van datalabeling: GRAM is afhankelijk van het identificeren en routeren van relevante dual-use data tijdens de training, dus het op schaal betrouwbaar labelen van dergelijke data blijft een belangrijke praktische uitdaging .
• Voorlopige bevindingen: Anthropic presenteert GRAM als een vroege onderzoeksrichting en niet als een geïmplementeerd veiligheidsmechanisme – en de organisatie is niet zeker of het ooit zal worden geïmplementeerd .