アンソロピックとAE Studio、AIモデルに危険知識の「オフスイッチ」を組み込む「GRAM」技術を発表

• モデルが一般的なテキストを処理するときは通常通り学習するが、補助モジュールもモデル全体と互換性を保つ形で訓練される。
• モデルがウイルス学やサイバーセキュリティといったデュアルユースカテゴリに該当するテキストを処理する場合、勾配ルーティングによって学習信号が対応する補助モジュールに誘導され、その知識がモデル全体のパラメータに拡散するのを防ぐ。
• これにより、各対象ドメインの知識はネットワーク全体に分散するのではなく、専用モジュールに集中することになる。

推論フェーズ

訓練が完了すると、個々のモジュールは削除または無効化して特定の能力へのアクセスを制限することも、許可されたデプロイ環境ではそのまま残すこともできる。各デュアルユースカテゴリがそれぞれのモジュールに対応しているため、4つのカテゴリを持つ1つのGRAM訓練済みモデルでは、各モジュールを独立してオン/オフすることで理論上2⁴ = 16通りの能力プロファイルを構成できる。

50億パラメータまでのモデルでの実験結果

研究者らはGRAMを複数の設定とモデルサイズでテストした:

1. 合成データセット: 管理された合成環境で、GRAMを使ってモデルに特定のトピックを「忘れ」させ、その結果を最初から該当トピックを除外して訓練したモデルと比較した。
2. 現実的なデュアルユースデータ: Webテキスト、コード、科学論文、デュアルユースドメインを含むより現実的な設定では、GRAMモジュールを除去すると対応する能力が低下し、一般的なパフォーマンスは維持された。
3. スケーリング研究: 5000万から50億パラメータのモデルでテスト。GRAMはデータフィルタリングの挙動をよく追跡し、大規模モデルほどモジュールオン/オフ時の動作の差が明確になった。

政策コンテクスト：モジュール制御から現実の輸出規制へ

GRAMの研究は、この手法が解決しようとする問題の現実的な事例と同時期に登場した。2025年6月、トランプ政権はサイバーセキュリティ上の懸念から、アンソロピックのClaude Fable 5およびMythos 5モデルに対する輸出規制を発動。米国国内外の外国人（アンソロピックに所属する外国人社員を含む）のアクセスをすべて遮断した。この規制は18日間続いた後、商務省が国家安全保障レビューを経て解除した。

この事例は、現在のAIアクセス制御の現状を如実に示している。モデルはそのすべての能力とともに単一の不可分な単位として扱われる。もしモデルに危険な能力があれば、現状ではシステム全体を利用停止にする以外の選択肢はない。GRAMはより細かな代替案を提案する。すなわち、モデル全体をロックダウンする代わりに、デプロイ環境に応じて特定の知識カテゴリを許可または無効にするというものだ。

未解決の疑問と限界

アンソロピックの研究者らはGRAMを予備的段階の研究と明確に位置づけ、いくつかの限界を挙げている:

• フロンティア規模での未検証: GRAMは本番のClaudeモデルや最大規模のフロンティアシステムでは実証されていない。
• 評価範囲: 報告された実験は管理された評価に焦点を当てており、現実世界の下流能力除去の信頼性ある測定はさらに困難である可能性がある。
• 根本的な絡まり問題: 一部のデュアルユース能力は一般的な知識と深く絡み合っている可能性があり、どのような局在化やフィルタリング手法でもきれいに分離するのは難しい。
• データラベリングの現実性: GRAMは訓練中に関連するデュアルユースデータを識別しルーティングすることに依存しており、信頼性の高いラベリングを大規模に行うことは重要な実用的課題である。
• 予備的知見: アンソロピックはGRAMを初期の研究の方向性として提示しており、実際にデプロイされるかどうかは不透明である。