Jak funguje nová metoda GRAM pro vypínání nebezpečného know-how v jazykových modelech

Jak GRAM funguje architektonicky

Fáze tréninku

GRAM rozšiřuje standardní architekturu Transformer přidáním malých pomocných modulů – v podstatě vyhrazených neuronů v každé vrstvě – které mají během tréninku zachytávat specifické obojetné schopnosti . Klíčovým mechanismem je gradient routing: během zpětného šíření řídí vážené masky, které parametry se u kterých dat aktualizují .

• Když model zpracovává obecný text, učí se normálně, zatímco pomocné moduly se trénují tak, aby zůstaly kompatibilní se zbytkem modelu .
• Když model narazí na text z obojetné kategorie (např. virologie nebo kybernetická bezpečnost), gradient routing nasměruje učební signál do příslušného pomocného modulu, místo aby se znalost rozptýlila do všech parametrů modelu .
• To koncentruje znalosti o každé cílové doméně ve vyhrazeném modulu namísto jejich rozprostření po celé síti .

Fáze inference

Po dokončení tréninku lze jednotlivé moduly odstranit nebo deaktivovat, čímž se omezí přístup k určité schopnosti, nebo je ponechat pro nasazení, která smějí tyto znalosti využívat . Protože každá obojetná kategorie má svůj vlastní modul, lze jeden model natrénovaný GRAM se čtyřmi kategoriemi teoreticky nakonfigurovat do 2⁴ = 16 různých profilů schopností nezávislým zapínáním a vypínáním každého modulu .

Výsledky na modelech až do 5 miliard parametrů

Výzkumníci testovali GRAM v několika prostředích a velikostech modelů :

1. Syntetický dataset: V kontrolovaném syntetickém prostředí GRAM přiměl model „zapomenout“ vybraná témata a výsledky byly porovnány s modely natrénovanými tak, jako by tato témata byla od začátku odfiltrována .
2. Realistická obojetná data: V realističtějším prostředí s webovými texty, kódem, vědeckými články a obojetnými doménami odstranění GRAM modulu omezilo odpovídající schopnost – přibližně jako by data byla odfiltrována – při zachování obecného výkonu .
3. Škálovací studie: GRAM byl testován na modelech od 50 milionů do 5 miliard parametrů . Klíčová zjištění: GRAM sledoval chování filtrování dat; větší modely vykazovaly jasnější oddělení mezi chováním se zapnutým a vypnutým modulem; a metoda si vedla příznivě ve srovnání s některými přístupy k odnaučování po tréninku .

Politický kontext: Od modulárních kontrol k reálným exportním zákazům

Výzkum GRAM přichází souběžně s vysoce sledovaným reálným příkladem problému, který se snaží řešit. V červnu 2025 uvalila Trumpova administrativa exportní kontroly na modely Anthropic Claude Fable 5 a Mythos 5 kvůli obavám o kybernetickou bezpečnost – zablokovala přístup všem cizím státním příslušníkům, ať už uvnitř nebo vně USA, včetně zaměstnanců Anthropic cizí národnosti . Zákaz trval 18 dní, než ho ministerstvo obchodu po prověření národní bezpečnosti zrušilo .

Tato epizoda ilustruje současný stav řízení přístupu k AI: celý model – se všemi svými schopnostmi – je považován za jedinou nedělitelnou jednotku. Pokud má model nebezpečnou schopnost, dnes je jedinou možností zadržet celý systém. GRAM navrhuje jemnější alternativu: místo zablokování celého modelu by systém mohl povolit nebo zakázat specifické kategorie znalostí v závislosti na kontextu nasazení .

Otevřené otázky a omezení

Výzkumníci z Anthropic explicitně označují GRAM za předběžnou práci a upozorňují na několik omezení :

• Netestováno na frontier škále: GRAM nebyl prokázán na produkčních modelech Claude ani na škále největších frontier systémů .
• Rozsah evaluace: Uvedené experimenty se zaměřují na kontrolovaná hodnocení; reálné odstraňování downstream schopností může být hůře měřitelné .
• Základní problém provázanosti: Některé obojetné schopnosti mohou být hluboce provázány s obecnými znalostmi, což ztěžuje jejich čisté oddělení jakoukoli lokalizační nebo filtrační metodou .
• Realističnost označování dat: GRAM závisí na identifikaci a směrování relevantních obojetných dat během tréninku, takže spolehlivé označování těchto dat ve velkém měřítku zůstává důležitou praktickou výzvou .
• Předběžná zjištění: Anthropic prezentuje GRAM jako raný výzkumný směr, nikoli jako nasazený bezpečnostní mechanismus – a organizace si není jistá, zda vůbec někdy nasazen bude .