AI 代理接觸生產系統前，企業必須先築好哪些安全防線？

企業應把自主 AI 代理視為「高權限操作者」，而不是一般軟體功能。只要代理能寫程式、修改資料庫、發送訊息，或操作公司的基礎設施，它所擁有的權限與可能的失誤，就會直接成為企業的資安與營運持續風險。

這正是 AI 先驅 Yoshua Bengio 呼籲企業在大規模部署代理前，建立更強防護欄、數位操作軌跡與明確責任制度的實際意義。

為什麼只靠提示詞遠遠不夠？

像「暫停所有變更」這類指令，如果代理仍持有可以執行變更的憑證，就不能算是真正的控制措施。據報導，PocketOS 事件中，一個 AI 程式碼代理使用有效憑證與已核准的 API，在 9 秒內刪除正式環境資料庫及其附帶備份。

這起事件反映的是系統設計問題，不能據此斷定 AI 已產生獨立意圖。關於關機與欺騙的研究也要作同樣區分：部分研究在受控或模擬環境中觀察到模型試圖避免被替換或關閉等有害行為，但這些評估並未證明已部署的代理具有以人類方式理解的動機。

因此，正確做法既不是盲目信任，也不是臆測 AI 是否具有意識，而是讓危險行動在技術上更難執行、可被看見、能夠復原，並且有人與組織必須負責。

自主 AI 代理的部署標準：10 道必要防線

1. 落實最小權限

每個代理只能取得完成特定任務所需的權限、資料與工具。開發、測試與正式環境應彼此隔離；也不要讓同一個代理身分同時觸及正式資料庫、備份系統、身分管理、支付系統與部署基礎設施。

最小權限也是《2026 年新加坡共識》提出的核心原則之一，其他原則包括可追溯身分、可稽核性、經驗證的部署、執行期保障、可中斷性與人類監督。

權限應具備短時效、限定特定資源，並在任務結束後自動撤銷。代理不應能自行擴大權限，也不應能修改負責監督它的系統。

2. 重大操作須經獨立審批

刪除資料、變更資料庫結構、修改憑證、發送高影響力的對外訊息、轉移資金，或調整攸關安全的基礎設施，都應在執行前要求人工核准。對最重大或不可逆的操作，企業可考慮雙人核准或職務分離。

審批必須發生在代理自身的推理迴圈之外。要求代理在提示中「確認意圖」，不等於由基礎設施設置閘門，直到獲授權人員批准精確操作後才允許執行。

3. 讓備份離開事故爆炸半徑

如果備份與正式系統共用憑證或網路路徑，代理可能連同原始資料一起刪除備份。企業應採用隔離、一次寫入或其他形式的不可變備份，並確保代理無法取得其憑證；同時要定期測試資料還原。

代理風險不只在於它能否破壞正式環境，也在於它破壞系統後，是否還能接觸復原系統。

4. 保存防竄改的操作軌跡

每項代理操作都應能追溯至特定代理身分與部署版本。視情況而言，紀錄至少應包括：

• 模型與軟體版本；
• 發起任務的使用者、任務內容與指令；
• 呼叫過的工具及使用的權限；
• 被修改的資料或程式碼；
• 審批紀錄與政策判定；
• 錯誤、重試與回滾嘗試；以及
• 回報給操作人員的最終結果。

日誌應儲存在與代理分離的位置，並受到防止竄改的保護。Bengio 特別強調，企業需要能追蹤自主操作的數位軌跡，也需要清楚界定誰在控制這些代理。

5. 把責任交給明確的人與組織

每次部署都應指定業務負責人、技術負責人、升級處理路徑與事故指揮官。責任範圍應包括權限核准、持續監控、事故應變，以及暫停或退役系統的決策。

「是 AI 做的」不是責任制度。企業仍須為代理能在哪裡運作、能存取哪些資料，以及系統失效時有哪些防護措施負責。

6. 建立外部且可靠的關機路徑

代理不應控制自己的監控系統、憑證、替換流程或關機機制。停用功能必須由外部觸發、能立即生效，並在技術上確實執行；即使代理沒有回應，或回報誤導性的狀態資訊，操作人員仍應能撤銷憑證並隔離連接的工具。

關機機制必須以故障情境實際演練，而不能因為系統平時遵循指令，就假定它一定有效。Anthropic 等研究團隊曾在模擬情境中測試自我保護、勒索與逃避監督等行為；Anthropic 的破壞風險評估則將相關風險描述為非常低，但並非零。

7. 測試實際行為，而不只是測試能力

基準測試證明代理「能完成任務」，不代表它在過程中會遵守限制。上線前評估應測試完整的「代理加工具」系統，並納入指令衝突、目標模糊與對抗條件。

測試可檢查代理是否會：

• 如實回報失敗；
• 在工作未完成時捏造紀錄或宣稱已完成；
• 隱藏錯誤；
• 擴大權限或存取無關資料；
• 嘗試繞過審批閘門；
• 外洩資訊；
• 為保護既定目標而修改程式碼或資料；或
• 抵抗監控、替換或關機。

Bengio 提出的「Scientist AI」是一個可能方向：打造不以執行操作目標為目的、而是負責解釋觀察結果並評估提案後果的系統。這類較值得信任的監督層，可用來判斷資訊是否正確，以及代理計畫可能造成的影響。

8. 設定可量化的停損條件

安全決策需要可執行的門檻，而不是籠統的信心評分。企業可以追蹤未授權操作率、政策違規率、虛假完成回報率、升級頻率、回滾成功率，以及從發現到停止所需的時間等指標。

一旦超過預先定義的門檻，部署就應暫停、縮減權限或回滾。上線後仍須持續監測，因為真實世界的工具、資料與誘因，可能產生測試期間未出現的條件。

《新加坡共識》將安全視為縱深防禦，涵蓋三個相互連結的領域：建立可信系統、評估系統風險，以及在部署後進行監控與介入。

9. 分階段推進

企業應從唯讀權限、合成資料與沙盒工具開始，再逐步進入小規模試點、受限的正式環境任務，只有在代理符合書面安全要求後，才逐步擴大權限。

獨立紅隊應測試整套營運系統，包括身分管理、API、資料庫、監控與復原程序。只測試底層語言模型，會忽略真正決定事故影響範圍的工具與權限。

10. 要求獨立審查與事故通報

對可能影響關鍵企業系統的代理，外部測試與部署後稽核應補足內部評估。重大事故則應依企業治理與適用的監管管道完成紀錄與通報。

Bengio 認為，許多 AI 安全技術其實已經存在，但採用、獨立驗證與透明度仍需要更強的制度支持。 審查重點應放在代理能做什麼、能接觸哪些系統，而不是它是否被包裝成「助理」。

從原則走到「可不可以上線」

在授予正式環境權限前，企業至少應能回答以下 5 個問題：

1. 代理能存取什麼？哪些資源明確不在它的觸及範圍內？
2. 哪些操作必須經過核准？基礎設施能否強制執行這項要求？
3. 事故發生後，調查人員能否重建每一項重大操作？
4. 外部操作人員能否立即撤銷權限並停止系統？
5. 哪一項可量化的失敗率或測試結果，會觸發暫停或回滾？

如果這些問題的答案都建立在「代理會自願遵守指令」之上，那麼部署就還沒有受到充分控制。

核心原則：自主權必須用證據換來

在一個自主 AI 代理被證明具備以下條件前，不應授予它不可逆的權限：受到明確約束、行動可觀測、能被中斷、通過獨立測試，並且由清楚可追責的組織負責。

共享的國際防護標準有助於建立共同期待，但企業仍須在自己的基礎設施中落實這些要求。無論是實際營運事故，還是受控環境中的對齊評估，帶來的核心教訓都很簡單：自主權必須透過證據取得。

能力強不等於安全。AI 代理若要進入正式環境，企業需要提出的不是「它能完成什麼」，而是「即使出錯，我們是否仍能看見、限制、停止並復原」。