Anthropicin ja AE Studion GRAM-tekniikka: Modulaarinen ”sammutusnappi” tekoälyn vaarallisille kyvyille

Anthropic ja AE Studio ovat esitelleet kokeellisen tekniikan nimeltä GRAM (Gradient-Routed Auxiliary Modules), joka voisi antaa tekoälymalleille mahdollisuuden ”sammuttaa” vaarallinen tieto hallitusti. Sen sijaan, että jokaiselle turvallisuuskonfiguraatiolle koulutettaisiin erillinen malli, GRAM pyrkii rakentamaan yhden mallin, jossa on irrotettavia osastoja kaksoiskäyttökyvyille, kuten virologialle, kyberturvallisuudelle ja ydinfysiikalle . Tutkimus on alustavaa – Anthropic korostaa, ettei sitä ole sovellettu mihinkään tuotannossa olevaan Claude-malliin – mutta se edustaa lupaavaa suuntaa tekoälyn turvallisuuden tekemiseksi nykyistä tarkemmaksi.

Mikä on GRAM?

GRAM on esikoulutusmenetelmä, joka on suunniteltu paikallistamaan kaksoiskäyttötieto – tieto, jota voidaan käyttää sekä hyödyllisiin että haitallisiin tarkoituksiin – poistettaviin hermoverkon moduuleihin kielimallin sisällä . Koulutuksen jälkeen nämä moduulit voidaan kytkeä päälle tai pois päältä, mikä antaa operaattoreille hienojakoisen hallinnan siitä, mitkä vaaralliset kyvyt mallilla säilyy . Samaa lähestymistapaa voitaisiin käyttää eri käyttöprofiileihin eri käyttäjille: tutkijat voisivat ottaa virologiatiedon käyttöön, kun taas julkisessa chatbotissa se pysyisi pois päältä .

Miten GRAM toimii arkkitehtonisesti

Koulutusvaihe

GRAM laajentaa standardia Transformer-arkkitehtuuria lisäämällä pieniä apumoduuleja – käytännössä omistettuja neuroneja jokaisella kerroksella – joiden on tarkoitus vangita tiettyjä kaksoiskäyttökykyjä koulutuksen aikana . Keskeinen mekanismi on gradienttireititys (gradient routing): takaisinlevityksen aikana painotetut maskit hallitsevat, mitkä parametrit päivittyvät millekin datalle .

• Kun malli käsittelee yleiskäyttöistä tekstiä, se oppii normaalisti, kun taas apumoduulit voivat myös harjoitella tavalla, joka pitää ne yhteensopivina mallin muun osan kanssa .
• Kun malli kohtaa tekstiä kaksoiskäyttökategoriasta, kuten virologiasta tai kyberturvallisuudesta, gradienttireititys ohjaa oppimissignaalin vastaavaan apumoduuliin sen sijaan, että antaisi tiedon levitä kaikkiin mallin parametreihin .
• Tämä keskittää tiedon jokaisesta kohdealueesta omistettuun moduuliin sen sijaan, että se levittyisi koko verkkoon .

Päättelyvaihe

Kun koulutus on valmis, yksittäiset moduulit voidaan poistaa tai poistaa käytöstä vähentääkseen pääsyä tiettyyn kykyyn, tai jättää paikalleen käyttöönottoja varten, joissa kyseistä tietoa saa käyttää . Koska jokainen kaksoiskäyttökategoria on kytketty omaan moduuliinsa, yksi GRAMilla koulutettu malli, jossa on neljä kategoriaa, voidaan teoriassa konfiguroida 2⁴ = 16 eri kykyprofiiliin kytkemällä kukin moduuli itsenäisesti päälle tai pois päältä .

Tulokset malleilla, joissa on jopa 5 miljardia parametria

Tutkijat testasivat GRAMia useissa ympäristöissä ja malliko'oissa :

1. Synteettinen datasetti: Kontrolloidussa synteettisessä ympäristössä GRAM sai mallin ”unohtamaan” valitut aiheet, ja tuloksia verrattiin malleihin, jotka oli koulutettu ikään kuin nämä aiheet olisi suodatettu alusta alkaen .
2. Realistinen kaksoiskäyttödata: Realistisemmassa ympäristössä, joka käytti verkkotekstiä, koodia, tieteellisiä artikkeleita ja kaksoiskäyttöalueita, GRAM-moduulin poistaminen vähensi vastaavaa kykyä – lähestyen datasuodatuksen vaikutusta – samalla kun yleiskäyttöinen suorituskyky säilyi .
3. Skaalautuvuustutkimus: GRAMia testattiin malliko'oissa 50 miljoonasta 5 miljardiin parametriin . Keskeiset havainnot: GRAM seurasi datasuodatuksen käyttäytymistä; suuremmat mallit osoittivat selkeämpää eroa moduulin päälle- ja poiskytkentätilan välillä; ja menetelmä oli suotuisampi verrattuna joihinkin koulutuksen jälkeisiin unohtamismenetelmiin testatuissa ympäristöissä .

Poliittinen konteksti: Modulaarisista kontrolleista todellisiin vientikieltoihin

GRAM-tutkimus saapuu samaan aikaan korkean panoksen reaalimaailman esimerkin kanssa ongelmasta, jota se pyrkii ratkaisemaan. Kesäkuussa 2025 Trumpin hallinto asetti vientivalvontaa Anthropicin Claude Fable 5- ja Mythos 5 -malleille kyberturvallisuushuolien vuoksi, estäen pääsyn kaikilta ulkomaalaisilta – Yhdysvaltojen sisällä tai ulkopuolella, mukaan lukien ulkomaalaisilta Anthropicin työntekijöiltä . Kielto kesti 18 päivää, ennen kuin kauppaministeriö poisti sen kansallisen turvallisuuden tarkastelun jälkeen .

Tämä tapaus havainnollistaa tekoälyn pääsynhallinnan nykytilaa: koko mallia – kaikkine kykyineen – käsitellään yhtenä jakamattomana yksikkönä. Jos mallilla on vaarallinen kyky, ainoa vaihtoehto nykyään on pidättää koko järjestelmä. GRAM ehdottaa hienojakoisempaa vaihtoehtoa: sen sijaan, että lukittaisiin koko malli, järjestelmä voisi sallia tai estää tietyt tietokategoriat käyttöönoton kontekstista riippuen .

Avoimet kysymykset ja rajoitukset

Anthropicin tutkijat tunnistavat GRAMin nimenomaisesti alustavaksi työksi ja korostavat useita rajoituksia :

• Huippumallien skaalaa ei testattu: GRAMia ei ole osoitettu toimivan tuotannon Claude-malleissa tai suurimpien huippumallien skaalassa .
• Arvioinnin laajuus: Raportoidut kokeet keskittyvät kontrolloituihin arviointeihin; todellisen maailman kykyjen poistamista voi olla vaikeampi mitata luotettavasti .
• Perustavanlaatuinen kietoutumisongelma: Jotkut kaksoiskäyttökyvyt voivat olla syvästi kietoutuneita yleistietoon, mikä tekee niistä vaikeita erottaa puhtaasti millään paikallistamis- tai suodatusmenetelmällä .
• Datan merkitsemisen realismi: GRAM on riippuvainen kaksoiskäyttödatan tunnistamisesta ja reitittämisestä koulutuksen aikana, joten tällaisten tietojen luotettava merkitseminen laajassa mittakaavassa on edelleen tärkeä käytännön haaste .
• Alustavat havainnot: Anthropic esittää GRAMin varhaisena tutkimussuuntana eikä käyttöönotettuna turvallisuusmekanismina – ja organisaatio ei ole varma, tullaanko sitä koskaan ottamaan käyttöön .