Faza treningu

GRAM rozszerza standardową architekturę Transformera o małe moduły pomocnicze – dedykowane neurony w każdej warstwie, które podczas treningu mają przechwytywać konkretne zdolności podwójnego zastosowania . Kluczowym mechanizmem jest kierowanie gradientu (gradient routing): podczas propagacji wstecznej ważone maski kontrolują, które parametry aktualizują się dla których danych .

• Gdy model przetwarza tekst ogólnego przeznaczenia, uczy się normalnie, a moduły pomocnicze także trenują w sposób, który utrzymuje ich kompatybilność z resztą modelu .
• Gdy model napotyka tekst z kategorii podwójnego zastosowania (np. wirusologia, cyberbezpieczeństwo), kierowanie gradientu kieruje sygnał uczenia się w stronę odpowiedniego modułu pomocniczego, zamiast pozwalać na rozproszenie tej wiedzy po wszystkich parametrach modelu .
• Dzięki temu wiedza o każdej docelowej domenie skupia się w dedykowanym module, zamiast rozprzestrzeniać się po całej sieci .

Faza wnioskowania

Po zakończeniu treningu poszczególne moduły można usunąć lub wyłączyć, aby ograniczyć dostęp do danej zdolności, lub pozostawić je w modelu dla tych wdrożeń, które mogą korzystać z tej wiedzy . Ponieważ każda kategoria wiedzy podwójnego zastosowania ma swój własny moduł, jeden model wytrenowany metodą GRAM dla czterech kategorii może teoretycznie przyjąć 2⁴ = 16 różnych profili zdolności poprzez niezależne włączanie lub wyłączanie każdego modułu .

Wyniki testów na modelach do 5 miliardów parametrów

Naukowcy przetestowali GRAM w kilku konfiguracjach i dla różnych rozmiarów modeli :

1. Zbiór syntetyczny: W kontrolowanym, syntetycznym środowisku GRAM sprawił, że model „zapomniał” wybrane tematy, a wyniki porównano z modelami trenowanymi tak, jakby te tematy zostały odfiltrowane od początku .
2. Realistyczne dane podwójnego zastosowania: W bardziej realistycznym scenariuszu z wykorzystaniem tekstów internetowych, kodu, prac naukowych i domen podwójnego zastosowania, usunięcie modułu GRAM redukowało odpowiednią zdolność – co zbliżało się do efektu filtrowania danych – przy jednoczesnym zachowaniu wydajności ogólnego przeznaczenia .
3. Skalowanie techniki: GRAM testowano na modelach od 50 milionów do 5 miliardów parametrów . Kluczowe wnioski: GRAM odwzorowywał zachowanie filtrowania danych; większe modele wykazywały wyraźniejszą różnicę między stanem włączonego i wyłączonego modułu; a metoda wypadała korzystnie w porównaniu z niektórymi podejściami do „oduczania” po treningu .

Kontekst polityczny: od modułowej kontroli do realnych zakazów eksportu

Badania nad GRAM pojawiają się w tym samym czasie, co wysoce realny przykład problemu, który mają rozwiązać. W czerwcu 2025 roku administracja Trumpa nałożyła kontrole eksportowe na modele Claude Fable 5 i Mythos 5 firmy Anthropic po obawach związanych z cyberbezpieczeństwem, blokując dostęp dla wszystkich cudzoziemców – zarówno wewnątrz, jak i poza USA, w tym dla pracowników Anthropic będących cudzoziemcami . Zakaz trwał 18 dni, zanim Departament Handlu uchylił go po przeglądzie bezpieczeństwa narodowego .

Ten epizod ilustruje obecny stan kontroli dostępu do AI: cały model – ze wszystkimi jego zdolnościami – jest traktowany jako jedna, niepodzielna jednostka. Jeśli model ma niebezpieczną zdolność, jedyną opcją jest dziś wstrzymanie całego systemu. GRAM proponuje bardziej precyzyjną alternatywę: zamiast blokować cały model, system mógłby zezwalać na dostęp do konkretnych kategorii wiedzy lub je wyłączać, w zależności od kontekstu wdrożenia .

Otwarte pytania i ograniczenia

Naukowcy z Anthropic wyraźnie określają GRAM jako pracę wstępną i wskazują na kilka ograniczeń :

• Brak testów na granicznym poziomie skali: GRAM nie został sprawdzony w produkcyjnych modelach Claude ani na skali największych systemów .
• Zakres ewaluacji: Opisane eksperymenty koncentrują się na kontrolowanych pomiarach; rzeczywiste usuwanie zdolności w warunkach produkcyjnych może być znacznie trudniejsze do wiarygodnego zmierzenia .
• Fundamentalny problem splątania: Niektóre zdolności podwójnego zastosowania mogą być głęboko powiązane z ogólną wiedzą modelu, co utrudnia ich czyste oddzielenie za pomocą jakiejkolwiek metody lokalizacji lub filtrowania .
• Realizm etykietowania danych: GRAM wymaga identyfikacji i kierowania odpowiednich danych podwójnego zastosowania podczas treningu, więc wiarygodne etykietowanie takich danych na dużą skalę pozostaje ważnym wyzwaniem praktycznym .
• Wstępne wyniki: Anthropic przedstawia GRAM jako wczesny kierunek badawczy, a nie wdrożony mechanizm bezpieczeństwa – i organizacja nie ma pewności, czy kiedykolwiek zostanie wdrożony .

Faza treningu

GRAM rozszerza standardową architekturę Transformera o małe moduły pomocnicze – dedykowane neurony w każdej warstwie, które podczas treningu mają przechwytywać konkretne zdolności podwójnego zastosowania . Kluczowym mechanizmem jest kierowanie gradientu (gradient routing): podczas propagacji wstecznej ważone maski kontrolują, które parametry aktualizują się dla których danych .

• Gdy model przetwarza tekst ogólnego przeznaczenia, uczy się normalnie, a moduły pomocnicze także trenują w sposób, który utrzymuje ich kompatybilność z resztą modelu .
• Gdy model napotyka tekst z kategorii podwójnego zastosowania (np. wirusologia, cyberbezpieczeństwo), kierowanie gradientu kieruje sygnał uczenia się w stronę odpowiedniego modułu pomocniczego, zamiast pozwalać na rozproszenie tej wiedzy po wszystkich parametrach modelu .
• Dzięki temu wiedza o każdej docelowej domenie skupia się w dedykowanym module, zamiast rozprzestrzeniać się po całej sieci .

Faza wnioskowania

Po zakończeniu treningu poszczególne moduły można usunąć lub wyłączyć, aby ograniczyć dostęp do danej zdolności, lub pozostawić je w modelu dla tych wdrożeń, które mogą korzystać z tej wiedzy . Ponieważ każda kategoria wiedzy podwójnego zastosowania ma swój własny moduł, jeden model wytrenowany metodą GRAM dla czterech kategorii może teoretycznie przyjąć 2⁴ = 16 różnych profili zdolności poprzez niezależne włączanie lub wyłączanie każdego modułu .

Wyniki testów na modelach do 5 miliardów parametrów

Naukowcy przetestowali GRAM w kilku konfiguracjach i dla różnych rozmiarów modeli :

1. Zbiór syntetyczny: W kontrolowanym, syntetycznym środowisku GRAM sprawił, że model „zapomniał” wybrane tematy, a wyniki porównano z modelami trenowanymi tak, jakby te tematy zostały odfiltrowane od początku .
2. Realistyczne dane podwójnego zastosowania: W bardziej realistycznym scenariuszu z wykorzystaniem tekstów internetowych, kodu, prac naukowych i domen podwójnego zastosowania, usunięcie modułu GRAM redukowało odpowiednią zdolność – co zbliżało się do efektu filtrowania danych – przy jednoczesnym zachowaniu wydajności ogólnego przeznaczenia .
3. Skalowanie techniki: GRAM testowano na modelach od 50 milionów do 5 miliardów parametrów . Kluczowe wnioski: GRAM odwzorowywał zachowanie filtrowania danych; większe modele wykazywały wyraźniejszą różnicę między stanem włączonego i wyłączonego modułu; a metoda wypadała korzystnie w porównaniu z niektórymi podejściami do „oduczania” po treningu .

Kontekst polityczny: od modułowej kontroli do realnych zakazów eksportu

Badania nad GRAM pojawiają się w tym samym czasie, co wysoce realny przykład problemu, który mają rozwiązać. W czerwcu 2025 roku administracja Trumpa nałożyła kontrole eksportowe na modele Claude Fable 5 i Mythos 5 firmy Anthropic po obawach związanych z cyberbezpieczeństwem, blokując dostęp dla wszystkich cudzoziemców – zarówno wewnątrz, jak i poza USA, w tym dla pracowników Anthropic będących cudzoziemcami . Zakaz trwał 18 dni, zanim Departament Handlu uchylił go po przeglądzie bezpieczeństwa narodowego .

Ten epizod ilustruje obecny stan kontroli dostępu do AI: cały model – ze wszystkimi jego zdolnościami – jest traktowany jako jedna, niepodzielna jednostka. Jeśli model ma niebezpieczną zdolność, jedyną opcją jest dziś wstrzymanie całego systemu. GRAM proponuje bardziej precyzyjną alternatywę: zamiast blokować cały model, system mógłby zezwalać na dostęp do konkretnych kategorii wiedzy lub je wyłączać, w zależności od kontekstu wdrożenia .

Otwarte pytania i ograniczenia

Naukowcy z Anthropic wyraźnie określają GRAM jako pracę wstępną i wskazują na kilka ograniczeń :

• Brak testów na granicznym poziomie skali: GRAM nie został sprawdzony w produkcyjnych modelach Claude ani na skali największych systemów .
• Zakres ewaluacji: Opisane eksperymenty koncentrują się na kontrolowanych pomiarach; rzeczywiste usuwanie zdolności w warunkach produkcyjnych może być znacznie trudniejsze do wiarygodnego zmierzenia .
• Fundamentalny problem splątania: Niektóre zdolności podwójnego zastosowania mogą być głęboko powiązane z ogólną wiedzą modelu, co utrudnia ich czyste oddzielenie za pomocą jakiejkolwiek metody lokalizacji lub filtrowania .
• Realizm etykietowania danych: GRAM wymaga identyfikacji i kierowania odpowiednich danych podwójnego zastosowania podczas treningu, więc wiarygodne etykietowanie takich danych na dużą skalę pozostaje ważnym wyzwaniem praktycznym .
• Wstępne wyniki: Anthropic przedstawia GRAM jako wczesny kierunek badawczy, a nie wdrożony mechanizm bezpieczeństwa – i organizacja nie ma pewności, czy kiedykolwiek zostanie wdrożony .