アンソロピックとAE Studio、AIモデルに危険知識の「オフスイッチ」を組み込む「GRAM」技術を発表

アンソロピック（Anthropic）とAE Studioは、AIモデルに危険な知識に対する「オフスイッチ」を組み込む実験的手法「GRAM（Gradient-Routed Auxiliary Modules）」を発表した。これは、セキュリティ設定ごとに別々のモデルを訓練する代わりに、ウイルス学、サイバーセキュリティ、原子核物理学といった悪用の可能性がある能力（デュアルユース能力）を、単一モデル内の取り外し可能な区画に格納する手法である。ただし、この研究はあくまで予備的なものであり、アンソロピックは「現在のところ、本番のClaudeモデルには適用していない」としている。

GRAMとは何か

GRAMは、悪用可能な知識を言語モデル内部の取り外し可能なニューラルモジュールに局在化させるための事前学習手法である。訓練後、それらのモジュールはオンにもオフにもでき、オペレーターはモデルが保持する危険な能力をきめ細かく制御できるようになる。同じ手法により、ユーザーごとに異なるアクセスプロファイルを設定することも可能だ。研究者はウイルス学に関する知識をオンにし、一般公開向けチャットボットではそれを無効にしておく、といった使い方が想定される。

GRAMのアーキテクチャ的仕組み

訓練フェーズ

GRAMは標準的なTransformerアーキテクチャを拡張し、各層に小さな補助モジュール（専用ニューロン）を追加する。これらのモジュールは訓練中に特定のデュアルユース能力を捕捉するように設計されている。核となるメカニズムは勾配ルーティング（gradient routing）である。逆伝播の際、重み付けされたマスクによって、どのデータに対してどのパラメータが更新されるかを制御する。

• モデルが一般的なテキストを処理するときは通常通り学習するが、補助モジュールもモデル全体と互換性を保つ形で訓練される。
• モデルがウイルス学やサイバーセキュリティといったデュアルユースカテゴリに該当するテキストを処理する場合、勾配ルーティングによって学習信号が対応する補助モジュールに誘導され、その知識がモデル全体のパラメータに拡散するのを防ぐ。
• これにより、各対象ドメインの知識はネットワーク全体に分散するのではなく、専用モジュールに集中することになる。

推論フェーズ

訓練が完了すると、個々のモジュールは削除または無効化して特定の能力へのアクセスを制限することも、許可されたデプロイ環境ではそのまま残すこともできる。各デュアルユースカテゴリがそれぞれのモジュールに対応しているため、4つのカテゴリを持つ1つのGRAM訓練済みモデルでは、各モジュールを独立してオン/オフすることで理論上2⁴ = 16通りの能力プロファイルを構成できる。

50億パラメータまでのモデルでの実験結果

研究者らはGRAMを複数の設定とモデルサイズでテストした:

1. 合成データセット: 管理された合成環境で、GRAMを使ってモデルに特定のトピックを「忘れ」させ、その結果を最初から該当トピックを除外して訓練したモデルと比較した。
2. 現実的なデュアルユースデータ: Webテキスト、コード、科学論文、デュアルユースドメインを含むより現実的な設定では、GRAMモジュールを除去すると対応する能力が低下し、一般的なパフォーマンスは維持された。
3. スケーリング研究: 5000万から50億パラメータのモデルでテスト。GRAMはデータフィルタリングの挙動をよく追跡し、大規模モデルほどモジュールオン/オフ時の動作の差が明確になった。

政策コンテクスト：モジュール制御から現実の輸出規制へ

GRAMの研究は、この手法が解決しようとする問題の現実的な事例と同時期に登場した。2025年6月、トランプ政権はサイバーセキュリティ上の懸念から、アンソロピックのClaude Fable 5およびMythos 5モデルに対する輸出規制を発動。米国国内外の外国人（アンソロピックに所属する外国人社員を含む）のアクセスをすべて遮断した。この規制は18日間続いた後、商務省が国家安全保障レビューを経て解除した。

この事例は、現在のAIアクセス制御の現状を如実に示している。モデルはそのすべての能力とともに単一の不可分な単位として扱われる。もしモデルに危険な能力があれば、現状ではシステム全体を利用停止にする以外の選択肢はない。GRAMはより細かな代替案を提案する。すなわち、モデル全体をロックダウンする代わりに、デプロイ環境に応じて特定の知識カテゴリを許可または無効にするというものだ。

未解決の疑問と限界

アンソロピックの研究者らはGRAMを予備的段階の研究と明確に位置づけ、いくつかの限界を挙げている:

• フロンティア規模での未検証: GRAMは本番のClaudeモデルや最大規模のフロンティアシステムでは実証されていない。
• 評価範囲: 報告された実験は管理された評価に焦点を当てており、現実世界の下流能力除去の信頼性ある測定はさらに困難である可能性がある。
• 根本的な絡まり問題: 一部のデュアルユース能力は一般的な知識と深く絡み合っている可能性があり、どのような局在化やフィルタリング手法でもきれいに分離するのは難しい。
• データラベリングの現実性: GRAMは訓練中に関連するデュアルユースデータを識別しルーティングすることに依存しており、信頼性の高いラベリングを大規模に行うことは重要な実用的課題である。
• 予備的知見: アンソロピックはGRAMを初期の研究の方向性として提示しており、実際にデプロイされるかどうかは不透明である。