Anthropic 同 AE Studio 嘅 GRAM 技術：AI 模型嘅「危險知識」終於有得逐粒掣熄

Anthropic 同 AE Studio 最近發表咗一個實驗性技術叫 GRAM（Gradient-Routed Auxiliary Modules），簡單講就係畀 AI 模型一個好細緻嘅「危險知識開關掣」 ^R。呢個技術唔係要每個安全設定都 train 一個新模型，而係喺單一模型入面整幾個可以拆出嚟嘅「格仔」，專門裝住啲雙用途知識，例如病毒學、網絡安全、核物理呢類既可以做好事亦可以做壞事嘅知識 ^R。

不過要講清楚：呢個仲係好初步嘅研究，Anthropic 話未用喺任何生產緊嘅 Claude 模型上，甚至唔肯定最終會唔會用 ^R。

GRAM 係乜嘢？點樣運作？

GRAM 係一種 pretraining 方法，目標係將雙用途知識局限喺模型入面某幾個可拆卸嘅 neural module 度 ^R。訓練完之後，呢啲 module 可以開或者熄，等營運者有得逐個能力控制模型係咪保留 ^R。同一道理，唔同用戶可以用唔同配置：研究人員可以開住病毒學知識，但係面向公眾嘅 chatbot 就熄咗佢 ^R。

架構上係點做？

訓練階段

GRAM 喺標準 Transformer 架構上加多幾個細嘅 auxiliary module——即係每一層 Transformer 都加多幾個專用嘅神經元——專責 capture 某類雙用途能力 ^RR。關鍵機制係 gradient routing：喺 backpropagation 期間，系統會用 weighted masks 控制邊啲參數因為邊類數據而更新 ^OL。

• 當模型處理一般文字，佢正常學習，而 auxiliary module 都可以同時訓練，確保佢哋同模型其他部分兼容 ^R。
• 當模型遇到雙用途類別嘅文字（例如病毒學或網絡安全），gradient routing 就會將學習訊號引導去對應嘅 auxiliary module，而唔俾嗰啲知識擴散到晒所有模型參數 ^RA。
• 結果就係每個目標領域嘅知識集中喺專屬 module 入面，唔會周圍散 ^AR。

推理階段

訓練完之後，每個 module 可以獨立拆走或者停用，從而限制模型接觸某種能力；如果部署環境容許，亦可以留返 ^R。假設有四類雙用途知識，一個 GRAM 模型理論上可以透過獨立開關每個 module，得出 2⁴ = 16 種唔同嘅能力設定 ^R。

測試結果：50M 到 5B 參數模型

研究人員用唔同設定同模型大細測試 GRAM ^R：

1. 合成數據集：喺受控合成環境下，GRAM 令模型「忘記」揀選主題，結果同由頭就篩走相關數據訓練嘅模型比較 ^R。
2. 真實雙用途數據：用網絡文字、程式碼、科學論文同雙用途領域做更貼近現實嘅測試，拆走 GRAM module 後，對應能力顯著下降，效果類似數據過濾，同時保留咗一般表現 ^RA。
3. 規模測試：GRAM 喺 50M 到 5B 參數嘅模型上都做咗測試 ^R。主要發現：GRAM 嘅效果跟到數據過濾嘅行為；模型越大，module 開同關之間嘅分別越明顯；同某些 post-training unlearning 方法比較，GRAM 喺測試中表現較好 ^RA。

政策背景：由模組控制到真實出口禁令

GRAM 研究出台嘅時間好有意思，因為同期發生緊一個好現實嘅例子。2025 年 6 月，特朗普政府因為網絡安全憂慮，向 Anthropic 嘅 Claude Fable 5 同 Mythos 5 實施出口管制，禁止任何外國人——無論喺美國境內定境外，包括 Anthropic 嘅外籍員工——使用呢兩個模型 ^ACC。呢個禁令維持咗 18 日，之後商務部經過國家安全審查先解除 ^FA。

呢件事清楚顯示咗目前 AI 存取控制嘅問題：成個模型——連帶佢所有能力——被當做一個不可分割嘅整體。如果一個模型有危險能力，今日嘅唯一選擇就係成個 withhold。GRAM 提出嘅係更細緻嘅方案：唔使 lock 死成個模型，而係根據部署情況，准許或禁止某啲知識類別 ^R。

未解決問題同限制

Anthropic 嘅研究人員明確指出呢個係初步工作，有幾個限制 ^R：

• 未喺前沿規模測試：GRAM 未喺生產 Claude 模型或者最大型嘅前沿系統上試過 ^R。
• 評估範圍有限：報告嘅實驗集中喺受控評估，真實世界嘅能力移除可能更難可靠量度 ^R。
• 根本嘅纏結問題：某啲雙用途能力可能同一般知識深深纏結，任何定位或過濾方法都好難乾淨分開 ^RA。
• 數據標籤現實問題：GRAM 依賴喺訓練期間識別同路由相關嘅雙用途數據，所以喺大規模下可靠咁標籤呢啲數據係一個重要嘅實際挑戰 ^R。
• 初步研究：Anthropic 強調 GRAM 係早期研究方向，唔係已經部署嘅安全機制，而且唔肯定最終會唔會用 ^AR。