Miten GRAM toimii arkkitehtonisesti

Koulutusvaihe

GRAM laajentaa standardia Transformer-arkkitehtuuria lisäämällä pieniä apumoduuleja – käytännössä omistettuja neuroneja jokaisella kerroksella – joiden on tarkoitus vangita tiettyjä kaksoiskäyttökykyjä koulutuksen aikana . Keskeinen mekanismi on gradienttireititys (gradient routing): takaisinlevityksen aikana painotetut maskit hallitsevat, mitkä parametrit päivittyvät millekin datalle .

• Kun malli käsittelee yleiskäyttöistä tekstiä, se oppii normaalisti, kun taas apumoduulit voivat myös harjoitella tavalla, joka pitää ne yhteensopivina mallin muun osan kanssa .
• Kun malli kohtaa tekstiä kaksoiskäyttökategoriasta, kuten virologiasta tai kyberturvallisuudesta, gradienttireititys ohjaa oppimissignaalin vastaavaan apumoduuliin sen sijaan, että antaisi tiedon levitä kaikkiin mallin parametreihin .
• Tämä keskittää tiedon jokaisesta kohdealueesta omistettuun moduuliin sen sijaan, että se levittyisi koko verkkoon .

Päättelyvaihe

Kun koulutus on valmis, yksittäiset moduulit voidaan poistaa tai poistaa käytöstä vähentääkseen pääsyä tiettyyn kykyyn, tai jättää paikalleen käyttöönottoja varten, joissa kyseistä tietoa saa käyttää . Koska jokainen kaksoiskäyttökategoria on kytketty omaan moduuliinsa, yksi GRAMilla koulutettu malli, jossa on neljä kategoriaa, voidaan teoriassa konfiguroida 2⁴ = 16 eri kykyprofiiliin kytkemällä kukin moduuli itsenäisesti päälle tai pois päältä .

Tulokset malleilla, joissa on jopa 5 miljardia parametria

Tutkijat testasivat GRAMia useissa ympäristöissä ja malliko'oissa :

1. Synteettinen datasetti: Kontrolloidussa synteettisessä ympäristössä GRAM sai mallin ”unohtamaan” valitut aiheet, ja tuloksia verrattiin malleihin, jotka oli koulutettu ikään kuin nämä aiheet olisi suodatettu alusta alkaen .
2. Realistinen kaksoiskäyttödata: Realistisemmassa ympäristössä, joka käytti verkkotekstiä, koodia, tieteellisiä artikkeleita ja kaksoiskäyttöalueita, GRAM-moduulin poistaminen vähensi vastaavaa kykyä – lähestyen datasuodatuksen vaikutusta – samalla kun yleiskäyttöinen suorituskyky säilyi .
3. Skaalautuvuustutkimus: GRAMia testattiin malliko'oissa 50 miljoonasta 5 miljardiin parametriin . Keskeiset havainnot: GRAM seurasi datasuodatuksen käyttäytymistä; suuremmat mallit osoittivat selkeämpää eroa moduulin päälle- ja poiskytkentätilan välillä; ja menetelmä oli suotuisampi verrattuna joihinkin koulutuksen jälkeisiin unohtamismenetelmiin testatuissa ympäristöissä .

Poliittinen konteksti: Modulaarisista kontrolleista todellisiin vientikieltoihin

GRAM-tutkimus saapuu samaan aikaan korkean panoksen reaalimaailman esimerkin kanssa ongelmasta, jota se pyrkii ratkaisemaan. Kesäkuussa 2025 Trumpin hallinto asetti vientivalvontaa Anthropicin Claude Fable 5- ja Mythos 5 -malleille kyberturvallisuushuolien vuoksi, estäen pääsyn kaikilta ulkomaalaisilta – Yhdysvaltojen sisällä tai ulkopuolella, mukaan lukien ulkomaalaisilta Anthropicin työntekijöiltä . Kielto kesti 18 päivää, ennen kuin kauppaministeriö poisti sen kansallisen turvallisuuden tarkastelun jälkeen .

Tämä tapaus havainnollistaa tekoälyn pääsynhallinnan nykytilaa: koko mallia – kaikkine kykyineen – käsitellään yhtenä jakamattomana yksikkönä. Jos mallilla on vaarallinen kyky, ainoa vaihtoehto nykyään on pidättää koko järjestelmä. GRAM ehdottaa hienojakoisempaa vaihtoehtoa: sen sijaan, että lukittaisiin koko malli, järjestelmä voisi sallia tai estää tietyt tietokategoriat käyttöönoton kontekstista riippuen .

Avoimet kysymykset ja rajoitukset

Anthropicin tutkijat tunnistavat GRAMin nimenomaisesti alustavaksi työksi ja korostavat useita rajoituksia :

• Huippumallien skaalaa ei testattu: GRAMia ei ole osoitettu toimivan tuotannon Claude-malleissa tai suurimpien huippumallien skaalassa .
• Arvioinnin laajuus: Raportoidut kokeet keskittyvät kontrolloituihin arviointeihin; todellisen maailman kykyjen poistamista voi olla vaikeampi mitata luotettavasti .
• Perustavanlaatuinen kietoutumisongelma: Jotkut kaksoiskäyttökyvyt voivat olla syvästi kietoutuneita yleistietoon, mikä tekee niistä vaikeita erottaa puhtaasti millään paikallistamis- tai suodatusmenetelmällä .
• Datan merkitsemisen realismi: GRAM on riippuvainen kaksoiskäyttödatan tunnistamisesta ja reitittämisestä koulutuksen aikana, joten tällaisten tietojen luotettava merkitseminen laajassa mittakaavassa on edelleen tärkeä käytännön haaste .
• Alustavat havainnot: Anthropic esittää GRAMin varhaisena tutkimussuuntana eikä käyttöönotettuna turvallisuusmekanismina – ja organisaatio ei ole varma, tullaanko sitä koskaan ottamaan käyttöön .

Miten GRAM toimii arkkitehtonisesti

Koulutusvaihe

GRAM laajentaa standardia Transformer-arkkitehtuuria lisäämällä pieniä apumoduuleja – käytännössä omistettuja neuroneja jokaisella kerroksella – joiden on tarkoitus vangita tiettyjä kaksoiskäyttökykyjä koulutuksen aikana . Keskeinen mekanismi on gradienttireititys (gradient routing): takaisinlevityksen aikana painotetut maskit hallitsevat, mitkä parametrit päivittyvät millekin datalle .

• Kun malli käsittelee yleiskäyttöistä tekstiä, se oppii normaalisti, kun taas apumoduulit voivat myös harjoitella tavalla, joka pitää ne yhteensopivina mallin muun osan kanssa .
• Kun malli kohtaa tekstiä kaksoiskäyttökategoriasta, kuten virologiasta tai kyberturvallisuudesta, gradienttireititys ohjaa oppimissignaalin vastaavaan apumoduuliin sen sijaan, että antaisi tiedon levitä kaikkiin mallin parametreihin .
• Tämä keskittää tiedon jokaisesta kohdealueesta omistettuun moduuliin sen sijaan, että se levittyisi koko verkkoon .

Päättelyvaihe

Kun koulutus on valmis, yksittäiset moduulit voidaan poistaa tai poistaa käytöstä vähentääkseen pääsyä tiettyyn kykyyn, tai jättää paikalleen käyttöönottoja varten, joissa kyseistä tietoa saa käyttää . Koska jokainen kaksoiskäyttökategoria on kytketty omaan moduuliinsa, yksi GRAMilla koulutettu malli, jossa on neljä kategoriaa, voidaan teoriassa konfiguroida 2⁴ = 16 eri kykyprofiiliin kytkemällä kukin moduuli itsenäisesti päälle tai pois päältä .

Tulokset malleilla, joissa on jopa 5 miljardia parametria

Tutkijat testasivat GRAMia useissa ympäristöissä ja malliko'oissa :

1. Synteettinen datasetti: Kontrolloidussa synteettisessä ympäristössä GRAM sai mallin ”unohtamaan” valitut aiheet, ja tuloksia verrattiin malleihin, jotka oli koulutettu ikään kuin nämä aiheet olisi suodatettu alusta alkaen .
2. Realistinen kaksoiskäyttödata: Realistisemmassa ympäristössä, joka käytti verkkotekstiä, koodia, tieteellisiä artikkeleita ja kaksoiskäyttöalueita, GRAM-moduulin poistaminen vähensi vastaavaa kykyä – lähestyen datasuodatuksen vaikutusta – samalla kun yleiskäyttöinen suorituskyky säilyi .
3. Skaalautuvuustutkimus: GRAMia testattiin malliko'oissa 50 miljoonasta 5 miljardiin parametriin . Keskeiset havainnot: GRAM seurasi datasuodatuksen käyttäytymistä; suuremmat mallit osoittivat selkeämpää eroa moduulin päälle- ja poiskytkentätilan välillä; ja menetelmä oli suotuisampi verrattuna joihinkin koulutuksen jälkeisiin unohtamismenetelmiin testatuissa ympäristöissä .

Poliittinen konteksti: Modulaarisista kontrolleista todellisiin vientikieltoihin

GRAM-tutkimus saapuu samaan aikaan korkean panoksen reaalimaailman esimerkin kanssa ongelmasta, jota se pyrkii ratkaisemaan. Kesäkuussa 2025 Trumpin hallinto asetti vientivalvontaa Anthropicin Claude Fable 5- ja Mythos 5 -malleille kyberturvallisuushuolien vuoksi, estäen pääsyn kaikilta ulkomaalaisilta – Yhdysvaltojen sisällä tai ulkopuolella, mukaan lukien ulkomaalaisilta Anthropicin työntekijöiltä . Kielto kesti 18 päivää, ennen kuin kauppaministeriö poisti sen kansallisen turvallisuuden tarkastelun jälkeen .

Tämä tapaus havainnollistaa tekoälyn pääsynhallinnan nykytilaa: koko mallia – kaikkine kykyineen – käsitellään yhtenä jakamattomana yksikkönä. Jos mallilla on vaarallinen kyky, ainoa vaihtoehto nykyään on pidättää koko järjestelmä. GRAM ehdottaa hienojakoisempaa vaihtoehtoa: sen sijaan, että lukittaisiin koko malli, järjestelmä voisi sallia tai estää tietyt tietokategoriat käyttöönoton kontekstista riippuen .

Avoimet kysymykset ja rajoitukset

Anthropicin tutkijat tunnistavat GRAMin nimenomaisesti alustavaksi työksi ja korostavat useita rajoituksia :

• Huippumallien skaalaa ei testattu: GRAMia ei ole osoitettu toimivan tuotannon Claude-malleissa tai suurimpien huippumallien skaalassa .
• Arvioinnin laajuus: Raportoidut kokeet keskittyvät kontrolloituihin arviointeihin; todellisen maailman kykyjen poistamista voi olla vaikeampi mitata luotettavasti .
• Perustavanlaatuinen kietoutumisongelma: Jotkut kaksoiskäyttökyvyt voivat olla syvästi kietoutuneita yleistietoon, mikä tekee niistä vaikeita erottaa puhtaasti millään paikallistamis- tai suodatusmenetelmällä .
• Datan merkitsemisen realismi: GRAM on riippuvainen kaksoiskäyttödatan tunnistamisesta ja reitittämisestä koulutuksen aikana, joten tällaisten tietojen luotettava merkitseminen laajassa mittakaavassa on edelleen tärkeä käytännön haaste .
• Alustavat havainnot: Anthropic esittää GRAMin varhaisena tutkimussuuntana eikä käyttöönotettuna turvallisuusmekanismina – ja organisaatio ei ole varma, tullaanko sitä koskaan ottamaan käyttöön .