Hvordan GRAM fungerer arkitektonisk

Træningsfasen

GRAM udvider den standard Transformer-arkitektur ved at tilføje små hjælpemoduler – dedikerede neuroner på hvert lag – som er beregnet til at fange specifikke dobbeltanvendelseskapaciteter under træning . Nøglemekanismen er gradientrouting: under backpropagation styrer vægtede masker, hvilke parametre der opdateres for hvilke data .

• Når modellen behandler almen tekst, lærer den normalt, mens hjælpemodulerne også kan trænes på en måde, der holder dem kompatible med resten af modellen .
• Når modellen støder på tekst fra en dobbeltanvendelseskategori som virologi eller cybersikkerhed, dirigerer gradientrouting læringssignalet mod det tilsvarende hjælpemodul i stedet for at lade den viden sprede sig til alle modelparametre .
• Dette koncentrerer viden om hvert måldomæne i et dedikeret modul i stedet for at sprede den ud over netværket .

Inferensfasen

Når træningen er færdig, kan individuelle moduler fjernes eller deaktiveres for at reducere adgangen til en bestemt kapacitet, eller de kan blive siddende til implementeringer, der må bruge den viden . Fordi hver dobbeltanvendelseskategori har sit eget modul, kan en enkelt GRAM-trænet model med fire kategorier teoretisk konfigureres i 2⁴ = 16 forskellige kapabilitetsprofiler ved at tænde eller slukke for hvert modul uafhængigt .

Resultater på modeller op til 5 milliarder parametre

Forskerne testede GRAM i flere forskellige opsætninger og modelstørrelser :

1. Syntetisk datasæt: I en kontrolleret syntetisk opsætning fik GRAM en model til at "glemme" udvalgte emner, og resultaterne blev sammenlignet med modeller trænet, som om disse emner var blevet filtreret fra fra starten .
2. Realistiske dobbeltanvendelsesdata: I en mere realistisk opsætning med webtekst, kode, videnskabelige artikler og dobbeltanvendelsesdomæner reducerede fjernelse af et GRAM-modul den tilsvarende kapacitet – hvilket tilnærmede effekten af datafiltrering – mens almen performance blev bevaret .
3. Skaleringsstudie: GRAM blev testet på modelstørrelser fra 50 millioner til 5 milliarder parametre . Vigtigste resultater: GRAM fulgte datafiltrerings adfærd; større modeller viste tydeligere adskillelse mellem modul-til og modul-fra adfærd; og metoden klarede sig positivt sammenlignet med nogle eftertræningsmetoder til "unlearning" i de testede opsætninger .

Politisk kontekst: Fra modulære kontroller til virkelige eksportforbud

GRAM-forskningen kommer samtidig med et virkeligt eksempel på det problem, den forsøger at løse. I juni 2025 indførte Trump-administrationen eksportkontrol på Anthropics Claude Fable 5 og Mythos 5 modeller efter bekymringer om cybersikkerhed, hvilket blokerede adgang for alle udenlandske statsborgere – inde eller uden for USA, inklusive udenlandske statsborgere ansat hos Anthropic . Forbuddet varede 18 dage, før Handelsministeriet ophævede det efter en national sikkerhedsgennemgang .

Denne episode illustrerer den nuværende tilstand af AI-adgangskontrol: en hel model – med alle dens kapaciteter – behandles som en udelelig enhed. Hvis en model har en farlig kapacitet, er den eneste mulighed i dag at tilbageholde hele systemet. GRAM foreslår et mere finkornet alternativ: i stedet for at låse en hel model ned, kunne et system tillade eller deaktivere specifikke kategorier af viden afhængigt af implementeringskonteksten .

Åbne spørgsmål og begrænsninger

Anthropics forskere identificerer eksplicit GRAM som foreløbigt arbejde og fremhæver flere begrænsninger :

• Frontier-skala ikke testet: GRAM er ikke blevet vist at fungere i produktionsmodeller af Claude eller i skalaen af de største frontsystemer .
• Evalueringsomfang: De rapporterede eksperimenter fokuserer på kontrollerede evalueringer; fjernelse af kapaciteter i den virkelige verden kan være sværere at måle pålideligt .
• Grundlæggende sammenfiltringsproblem: Nogle dobbeltanvendelseskapaciteter kan være dybt sammenfiltret med almen viden, hvilket gør dem svære for enhver lokaliserings- eller filtreringsmetode at adskille rent .
• Realisme i datamærkning: GRAM afhænger af at identificere og dirigere relevant dobbeltanvendelsesdata under træning, så pålidelig mærkning af sådanne data i stor skala forbliver en vigtig praktisk udfordring .
• Foreløbige resultater: Anthropic præsenterer GRAM som en tidlig forskningsretning snarere end en implementeret sikkerhedsmekanisme – og organisationen er ikke sikker på, at den nogensinde vil blive implementeret .

Hvordan GRAM fungerer arkitektonisk

Træningsfasen

GRAM udvider den standard Transformer-arkitektur ved at tilføje små hjælpemoduler – dedikerede neuroner på hvert lag – som er beregnet til at fange specifikke dobbeltanvendelseskapaciteter under træning . Nøglemekanismen er gradientrouting: under backpropagation styrer vægtede masker, hvilke parametre der opdateres for hvilke data .

• Når modellen behandler almen tekst, lærer den normalt, mens hjælpemodulerne også kan trænes på en måde, der holder dem kompatible med resten af modellen .
• Når modellen støder på tekst fra en dobbeltanvendelseskategori som virologi eller cybersikkerhed, dirigerer gradientrouting læringssignalet mod det tilsvarende hjælpemodul i stedet for at lade den viden sprede sig til alle modelparametre .
• Dette koncentrerer viden om hvert måldomæne i et dedikeret modul i stedet for at sprede den ud over netværket .

Inferensfasen

Når træningen er færdig, kan individuelle moduler fjernes eller deaktiveres for at reducere adgangen til en bestemt kapacitet, eller de kan blive siddende til implementeringer, der må bruge den viden . Fordi hver dobbeltanvendelseskategori har sit eget modul, kan en enkelt GRAM-trænet model med fire kategorier teoretisk konfigureres i 2⁴ = 16 forskellige kapabilitetsprofiler ved at tænde eller slukke for hvert modul uafhængigt .

Resultater på modeller op til 5 milliarder parametre

Forskerne testede GRAM i flere forskellige opsætninger og modelstørrelser :

1. Syntetisk datasæt: I en kontrolleret syntetisk opsætning fik GRAM en model til at "glemme" udvalgte emner, og resultaterne blev sammenlignet med modeller trænet, som om disse emner var blevet filtreret fra fra starten .
2. Realistiske dobbeltanvendelsesdata: I en mere realistisk opsætning med webtekst, kode, videnskabelige artikler og dobbeltanvendelsesdomæner reducerede fjernelse af et GRAM-modul den tilsvarende kapacitet – hvilket tilnærmede effekten af datafiltrering – mens almen performance blev bevaret .
3. Skaleringsstudie: GRAM blev testet på modelstørrelser fra 50 millioner til 5 milliarder parametre . Vigtigste resultater: GRAM fulgte datafiltrerings adfærd; større modeller viste tydeligere adskillelse mellem modul-til og modul-fra adfærd; og metoden klarede sig positivt sammenlignet med nogle eftertræningsmetoder til "unlearning" i de testede opsætninger .

Politisk kontekst: Fra modulære kontroller til virkelige eksportforbud

GRAM-forskningen kommer samtidig med et virkeligt eksempel på det problem, den forsøger at løse. I juni 2025 indførte Trump-administrationen eksportkontrol på Anthropics Claude Fable 5 og Mythos 5 modeller efter bekymringer om cybersikkerhed, hvilket blokerede adgang for alle udenlandske statsborgere – inde eller uden for USA, inklusive udenlandske statsborgere ansat hos Anthropic . Forbuddet varede 18 dage, før Handelsministeriet ophævede det efter en national sikkerhedsgennemgang .

Denne episode illustrerer den nuværende tilstand af AI-adgangskontrol: en hel model – med alle dens kapaciteter – behandles som en udelelig enhed. Hvis en model har en farlig kapacitet, er den eneste mulighed i dag at tilbageholde hele systemet. GRAM foreslår et mere finkornet alternativ: i stedet for at låse en hel model ned, kunne et system tillade eller deaktivere specifikke kategorier af viden afhængigt af implementeringskonteksten .

Åbne spørgsmål og begrænsninger

Anthropics forskere identificerer eksplicit GRAM som foreløbigt arbejde og fremhæver flere begrænsninger :

• Frontier-skala ikke testet: GRAM er ikke blevet vist at fungere i produktionsmodeller af Claude eller i skalaen af de største frontsystemer .
• Evalueringsomfang: De rapporterede eksperimenter fokuserer på kontrollerede evalueringer; fjernelse af kapaciteter i den virkelige verden kan være sværere at måle pålideligt .
• Grundlæggende sammenfiltringsproblem: Nogle dobbeltanvendelseskapaciteter kan være dybt sammenfiltret med almen viden, hvilket gør dem svære for enhver lokaliserings- eller filtreringsmetode at adskille rent .
• Realisme i datamærkning: GRAM afhænger af at identificere og dirigere relevant dobbeltanvendelsesdata under træning, så pålidelig mærkning af sådanne data i stor skala forbliver en vigtig praktisk udfordring .
• Foreløbige resultater: Anthropic præsenterer GRAM som en tidlig forskningsretning snarere end en implementeret sikkerhedsmekanisme – og organisationen er ikke sikker på, at den nogensinde vil blive implementeret .