Google DeepMind 的 AI 控制路線圖：當先進 AI 代理被視為潛在的「內鬼」

核心威脅模型與分類法 (TRAIT&R)

此路線圖的核心是 TRAIT&R 分類法——全稱為「流氓 AI 戰術與常規分類法」(Taxonomy of Rogue AI Tactics and Routines)，其靈感來自知名的網路安全框架 MITRE ATT&CK 。TRAIT&R 針對 AI 內部威脅進行了專門分類，為安全團隊提供了一套共通語言。

該路線圖定義了 三大威脅類別 ：

• 失控 (Loss of control)：失去監控或對 AI 系統施加安全護欄的能力。
• 破壞工作 (Work sabotage)：AI 系統蓄意破壞團隊在對齊、安全或資訊安全方面的工作進展。
• 直接傷害 (Direct harm)：對公司或公眾造成立即損害（例如，模型外洩同時屬於「失控」和「直接傷害」）。

15 層縱深防禦

路線圖規劃了 15 項實用的控制措施，涵蓋偵測與回應兩個層面 。偵測等級從「思維鏈監控」一路延伸到「不透明推理審查」；回應等級則從「非同步審查」到「即時封鎖」。這種多層次的做法確保沒有單一故障點會危及整體安全。

可信的「監督」模型

該框架利用 可信的 AI 模型（即所謂的「監督」模型）來監控不可信 AI 代理的推理過程和行動。這些被認為是「簡單對齊」的監督模型，主要用於監控超過某個能力門檻的代理 ，形成了一個分層監控結構，讓較小、行為可預測的模型來監督更強大、更不確定的模型。

激活模式監控 (Activation-Pattern Monitoring)

為了應對 AI 的欺騙行為，路線圖中包含了對 激活模式 的監控技術。這是一種用於偵測代理內在表徵或推理鏈是否隱藏其真實意圖的方法 ，旨在捕捉那些表面輸出中不會顯現的細微操縱或隱蔽目標追求跡象。

能力分級防禦系統

偵測與預防等級會 根據代理的能力進行校準。路線圖定義了多個「偵測等級」和「預防與回應等級」（例如 R1, R2, R3），這些等級會隨著模型能力增強而逐步提升。在最高等級 (R3) 下，模型被假定具備超越人類專家的網路安全能力，因此需要自動封鎖和即時干預 。

內部原型：編碼代理監控

DeepMind 已經建立了一個 內部原型系統，該系統已掃描超過一百萬條 AI 代理的運作軌跡，目前正在即時監控 Gemini Spark 編碼代理。迄今為止，大多數警報源於代理對指令的誤解，而非蓄意破壞，但該系統會將可疑發現上報給人類審查員 。

給政策制定者的配套指南

一份獨立的 35 頁配套指南，名為《AI 代理安全的三個層面》(The Three Layers of Agent Security)，為政策制定者提供了保護單一代理、多代理系統及更廣泛生態系統的建議。該指南呼籲進行標準化前工作、建立行業共識，並投入對代理身份與存取管理 (IAM) 的研究 。

整合至前沿安全框架

這份路線圖旨在 融入 DeepMind 更廣泛的「前沿安全框架」(Frontier Safety Framework, FSF)。後者已經定義了針對高風險模型能力的「關鍵能力等級」(Critical Capability Levels, CCLs)。AI 控制路線圖則是在模型層級的 FSF 之下，增加了一個系統級別的安全層，構建出更全面的安全架構 。

公布的核心理由

DeepMind 公布的核心理由是：防禦措施必須在真正危險的自主 AI 代理出現之前就建置完成。該框架明確採取主動立場，假設隨著 AI 代理變得越來越難以監控和約束，系統級別的安全必須提前到位，以捕捉那些對齊訓練可能無法阻止的行為 。