Vad är GRAM?

GRAM är en förträningsmetod utformad för att lokalisera dubbelanvändningskunskap – information som kan användas både för nyttiga och skadliga ändamål – i borttagbara neurala moduler inne i språkmodellen . Efter träning kan dessa moduler slås på eller stängas av, vilket ger operatörer detaljerad kontroll över vilka farliga förmågor modellen behåller . Samma metod skulle också kunna möjliggöra olika åtkomstprofiler för olika användare: forskare skulle kunna slå på virologikunskap medan en offentlig chattbot håller den avstängd .

Så fungerar GRAM arkitekturmässigt

Träningsfas

GRAM utökar standardarkitekturen hos Transformers genom att lägga till små hjälpmoduler – i princip dedikerade neuroner i varje lager – som är avsedda att fånga upp specifika dubbelanvändningsförmågor under träning . Den centrala mekanismen är gradientstyrning (gradient routing): under backpropagation styr viktade maskor vilka parametrar som uppdateras för vilken data .

• När modellen bearbetar allmän text lär den sig som vanligt, medan hjälpmodulerna också kan tränas på ett sätt som gör dem kompatibla med resten av modellen .
• När modellen stöter på text från en dubbelanvändningskategori – som virologi eller cybersäkerhet – styrs inlärningssignalen via gradientstyrning till motsvarande hjälpmodul i stället för att kunskapen sprids över alla modellparametrar .
• Detta koncentrerar kunskap om varje måldomän till en dedikerad modul i stället för att sprida den genom nätverket .

Inferensfas

När träningen är klar kan enskilda moduler tas bort eller stängas av för att minska åtkomsten till en viss förmåga, eller lämnas kvar för driftsättningar som tillåts använda den kunskapen . Eftersom varje dubbelanvändningskategori mappas till sin egen modul kan en enda GRAM-tränad modell med fyra kategorier teoretiskt konfigureras i 2⁴ = 16 olika förmågeprofiler genom att varje modul slås på eller stängs av oberoende av varandra .

Resultat på modeller upp till 5 miljarder parametrar

Forskarna testade GRAM i flera olika miljöer och modellstorlekar :

1. Syntetiskt dataset: I en kontrollerad syntetisk miljö fick GRAM modellen att ”glömma” utvalda ämnen, och resultaten jämfördes med modeller som tränats som om dessa ämnen filtrerats bort från början .
2. Realistisk dubbelanvändningsdata: I en mer realistisk miljö med webtext, kod, vetenskapliga artiklar och dubbelanvändningsdomäner minskade borttagning av en GRAM-modul motsvarande förmåga – och approximerade effekten av datarening – samtidigt som den allmänna prestandan bevarades .
3. Skalningsstudie: GRAM testades över modellstorlekar från 50 miljoner till 5 miljarder parametrar . Viktiga resultat: GRAM följde datarenings beteende; större modeller visade tydligare separation mellan modul-på och modul-av; metoden var jämförbar med vissa efterträningsmetoder för ”bortglömmande” i de testade miljöerna .

Policykontext: från modulär kontroll till verkliga exportförbud

GRAM-forskningen kommer samtidigt som ett högaktuellt verkligt exempel på problemet den försöker lösa. I juni 2025 införde Trump-administrationen exportrestriktioner på Anthropics Claude Fable 5 och Mythos 5 efter cybersäkerhetsoro, vilket blockerade åtkomst för alla utländska medborgare – både inom och utanför USA, inklusive utländska anställda på Anthropic . Förbudet varade i 18 dagar innan handelsdepartementet hävde det efter en nationell säkerhetsgranskning .

Denna episod illustrerar dagens tillstånd för AI-åtkomstkontroll: en hel modell – med alla dess förmågor – behandlas som en enda odelbar enhet. Om en modell har en farlig förmåga är det enda alternativet i dag att hålla inne hela systemet. GRAM föreslår ett mer detaljerat alternativ: i stället för att låsa ner en hel modell skulle ett system kunna tillåta eller stänga av specifika kunskapskategorier beroende på driftsättningskontext .

Öppna frågor och begränsningar

Anthropics forskare identifierar uttryckligen GRAM som preliminärt arbete och lyfter flera begränsningar :

• Inte testat i frontlinjeskala: GRAM har inte visats fungera i produktionsmodeller av Claude eller i skalan av de största fronlinjesystemen .
• Utvärderingsomfång: De rapporterade experimenten fokuserar på kontrollerade utvärderingar; verklig borttagning av förmågor i praktisk användning kan vara svårare att mäta tillförlitligt .
• Grundläggande sammanflätningsproblem: Vissa dubbelanvändningsförmågor kan vara djupt sammanflätade med allmän kunskap, vilket gör dem svåra att separera rent för alla lokaliserings- eller filtreringsmetoder .
• Realism i datamärkning: GRAM är beroende av att identifiera och styra relevant dubbelanvändningsdata under träning, så tillförlitlig märkning av sådan data i stor skala är en viktig praktisk utmaning .
• Preliminära resultat: Anthropic presenterar GRAM som en tidig forskningsriktning snarare än en driftsatt säkerhetsmekanism – och organisationen är inte säker på att den någonsin kommer att driftsättas .

Vad är GRAM?

GRAM är en förträningsmetod utformad för att lokalisera dubbelanvändningskunskap – information som kan användas både för nyttiga och skadliga ändamål – i borttagbara neurala moduler inne i språkmodellen . Efter träning kan dessa moduler slås på eller stängas av, vilket ger operatörer detaljerad kontroll över vilka farliga förmågor modellen behåller . Samma metod skulle också kunna möjliggöra olika åtkomstprofiler för olika användare: forskare skulle kunna slå på virologikunskap medan en offentlig chattbot håller den avstängd .

Så fungerar GRAM arkitekturmässigt

Träningsfas

GRAM utökar standardarkitekturen hos Transformers genom att lägga till små hjälpmoduler – i princip dedikerade neuroner i varje lager – som är avsedda att fånga upp specifika dubbelanvändningsförmågor under träning . Den centrala mekanismen är gradientstyrning (gradient routing): under backpropagation styr viktade maskor vilka parametrar som uppdateras för vilken data .

• När modellen bearbetar allmän text lär den sig som vanligt, medan hjälpmodulerna också kan tränas på ett sätt som gör dem kompatibla med resten av modellen .
• När modellen stöter på text från en dubbelanvändningskategori – som virologi eller cybersäkerhet – styrs inlärningssignalen via gradientstyrning till motsvarande hjälpmodul i stället för att kunskapen sprids över alla modellparametrar .
• Detta koncentrerar kunskap om varje måldomän till en dedikerad modul i stället för att sprida den genom nätverket .

Inferensfas

När träningen är klar kan enskilda moduler tas bort eller stängas av för att minska åtkomsten till en viss förmåga, eller lämnas kvar för driftsättningar som tillåts använda den kunskapen . Eftersom varje dubbelanvändningskategori mappas till sin egen modul kan en enda GRAM-tränad modell med fyra kategorier teoretiskt konfigureras i 2⁴ = 16 olika förmågeprofiler genom att varje modul slås på eller stängs av oberoende av varandra .

Resultat på modeller upp till 5 miljarder parametrar

Forskarna testade GRAM i flera olika miljöer och modellstorlekar :

1. Syntetiskt dataset: I en kontrollerad syntetisk miljö fick GRAM modellen att ”glömma” utvalda ämnen, och resultaten jämfördes med modeller som tränats som om dessa ämnen filtrerats bort från början .
2. Realistisk dubbelanvändningsdata: I en mer realistisk miljö med webtext, kod, vetenskapliga artiklar och dubbelanvändningsdomäner minskade borttagning av en GRAM-modul motsvarande förmåga – och approximerade effekten av datarening – samtidigt som den allmänna prestandan bevarades .
3. Skalningsstudie: GRAM testades över modellstorlekar från 50 miljoner till 5 miljarder parametrar . Viktiga resultat: GRAM följde datarenings beteende; större modeller visade tydligare separation mellan modul-på och modul-av; metoden var jämförbar med vissa efterträningsmetoder för ”bortglömmande” i de testade miljöerna .

Policykontext: från modulär kontroll till verkliga exportförbud

GRAM-forskningen kommer samtidigt som ett högaktuellt verkligt exempel på problemet den försöker lösa. I juni 2025 införde Trump-administrationen exportrestriktioner på Anthropics Claude Fable 5 och Mythos 5 efter cybersäkerhetsoro, vilket blockerade åtkomst för alla utländska medborgare – både inom och utanför USA, inklusive utländska anställda på Anthropic . Förbudet varade i 18 dagar innan handelsdepartementet hävde det efter en nationell säkerhetsgranskning .

Denna episod illustrerar dagens tillstånd för AI-åtkomstkontroll: en hel modell – med alla dess förmågor – behandlas som en enda odelbar enhet. Om en modell har en farlig förmåga är det enda alternativet i dag att hålla inne hela systemet. GRAM föreslår ett mer detaljerat alternativ: i stället för att låsa ner en hel modell skulle ett system kunna tillåta eller stänga av specifika kunskapskategorier beroende på driftsättningskontext .

Öppna frågor och begränsningar

Anthropics forskare identifierar uttryckligen GRAM som preliminärt arbete och lyfter flera begränsningar :

• Inte testat i frontlinjeskala: GRAM har inte visats fungera i produktionsmodeller av Claude eller i skalan av de största fronlinjesystemen .
• Utvärderingsomfång: De rapporterade experimenten fokuserar på kontrollerade utvärderingar; verklig borttagning av förmågor i praktisk användning kan vara svårare att mäta tillförlitligt .
• Grundläggande sammanflätningsproblem: Vissa dubbelanvändningsförmågor kan vara djupt sammanflätade med allmän kunskap, vilket gör dem svåra att separera rent för alla lokaliserings- eller filtreringsmetoder .
• Realism i datamärkning: GRAM är beroende av att identifiera och styra relevant dubbelanvändningsdata under träning, så tillförlitlig märkning av sådan data i stor skala är en viktig praktisk utmaning .
• Preliminära resultat: Anthropic presenterar GRAM som en tidig forskningsriktning snarare än en driftsatt säkerhetsmekanism – och organisationen är inte säker på att den någonsin kommer att driftsättas .