因此，正確做法既不是盲目信任，也不是臆測 AI 是否具有意識，而是讓危險行動在技術上更難執行、可被看見、能夠復原，並且有人與組織必須負責。

自主 AI 代理的部署標準：10 道必要防線

1. 落實最小權限

每個代理只能取得完成特定任務所需的權限、資料與工具。開發、測試與正式環境應彼此隔離；也不要讓同一個代理身分同時觸及正式資料庫、備份系統、身分管理、支付系統與部署基礎設施。

最小權限也是《2026 年新加坡共識》提出的核心原則之一，其他原則包括可追溯身分、可稽核性、經驗證的部署、執行期保障、可中斷性與人類監督。

權限應具備短時效、限定特定資源，並在任務結束後自動撤銷。代理不應能自行擴大權限，也不應能修改負責監督它的系統。

2. 重大操作須經獨立審批

刪除資料、變更資料庫結構、修改憑證、發送高影響力的對外訊息、轉移資金，或調整攸關安全的基礎設施，都應在執行前要求人工核准。對最重大或不可逆的操作，企業可考慮雙人核准或職務分離。

審批必須發生在代理自身的推理迴圈之外。要求代理在提示中「確認意圖」，不等於由基礎設施設置閘門，直到獲授權人員批准精確操作後才允許執行。

3. 讓備份離開事故爆炸半徑

如果備份與正式系統共用憑證或網路路徑，代理可能連同原始資料一起刪除備份。企業應採用隔離、一次寫入或其他形式的不可變備份，並確保代理無法取得其憑證；同時要定期測試資料還原。

代理風險不只在於它能否破壞正式環境，也在於它破壞系統後，是否還能接觸復原系統。

4. 保存防竄改的操作軌跡

每項代理操作都應能追溯至特定代理身分與部署版本。視情況而言，紀錄至少應包括：

• 模型與軟體版本；
• 發起任務的使用者、任務內容與指令；
• 呼叫過的工具及使用的權限；
• 被修改的資料或程式碼；
• 審批紀錄與政策判定；
• 錯誤、重試與回滾嘗試；以及
• 回報給操作人員的最終結果。

日誌應儲存在與代理分離的位置，並受到防止竄改的保護。Bengio 特別強調，企業需要能追蹤自主操作的數位軌跡，也需要清楚界定誰在控制這些代理。

5. 把責任交給明確的人與組織

每次部署都應指定業務負責人、技術負責人、升級處理路徑與事故指揮官。責任範圍應包括權限核准、持續監控、事故應變，以及暫停或退役系統的決策。

「是 AI 做的」不是責任制度。企業仍須為代理能在哪裡運作、能存取哪些資料，以及系統失效時有哪些防護措施負責。

6. 建立外部且可靠的關機路徑

代理不應控制自己的監控系統、憑證、替換流程或關機機制。停用功能必須由外部觸發、能立即生效，並在技術上確實執行；即使代理沒有回應，或回報誤導性的狀態資訊，操作人員仍應能撤銷憑證並隔離連接的工具。

關機機制必須以故障情境實際演練，而不能因為系統平時遵循指令，就假定它一定有效。Anthropic 等研究團隊曾在模擬情境中測試自我保護、勒索與逃避監督等行為；Anthropic 的破壞風險評估則將相關風險描述為非常低，但並非零。

7. 測試實際行為，而不只是測試能力

基準測試證明代理「能完成任務」，不代表它在過程中會遵守限制。上線前評估應測試完整的「代理加工具」系統，並納入指令衝突、目標模糊與對抗條件。

測試可檢查代理是否會：

• 如實回報失敗；
• 在工作未完成時捏造紀錄或宣稱已完成；
• 隱藏錯誤；
• 擴大權限或存取無關資料；
• 嘗試繞過審批閘門；
• 外洩資訊；
• 為保護既定目標而修改程式碼或資料；或
• 抵抗監控、替換或關機。

Bengio 提出的「Scientist AI」是一個可能方向：打造不以執行操作目標為目的、而是負責解釋觀察結果並評估提案後果的系統。這類較值得信任的監督層，可用來判斷資訊是否正確，以及代理計畫可能造成的影響。

8. 設定可量化的停損條件

安全決策需要可執行的門檻，而不是籠統的信心評分。企業可以追蹤未授權操作率、政策違規率、虛假完成回報率、升級頻率、回滾成功率，以及從發現到停止所需的時間等指標。

一旦超過預先定義的門檻，部署就應暫停、縮減權限或回滾。上線後仍須持續監測，因為真實世界的工具、資料與誘因，可能產生測試期間未出現的條件。

《新加坡共識》將安全視為縱深防禦，涵蓋三個相互連結的領域：建立可信系統、評估系統風險，以及在部署後進行監控與介入。

9. 分階段推進

企業應從唯讀權限、合成資料與沙盒工具開始，再逐步進入小規模試點、受限的正式環境任務，只有在代理符合書面安全要求後，才逐步擴大權限。

獨立紅隊應測試整套營運系統，包括身分管理、API、資料庫、監控與復原程序。只測試底層語言模型，會忽略真正決定事故影響範圍的工具與權限。

10. 要求獨立審查與事故通報

對可能影響關鍵企業系統的代理，外部測試與部署後稽核應補足內部評估。重大事故則應依企業治理與適用的監管管道完成紀錄與通報。

Bengio 認為，許多 AI 安全技術其實已經存在，但採用、獨立驗證與透明度仍需要更強的制度支持。 審查重點應放在代理能做什麼、能接觸哪些系統，而不是它是否被包裝成「助理」。

從原則走到「可不可以上線」

在授予正式環境權限前，企業至少應能回答以下 5 個問題：

1. 代理能存取什麼？哪些資源明確不在它的觸及範圍內？
2. 哪些操作必須經過核准？基礎設施能否強制執行這項要求？
3. 事故發生後，調查人員能否重建每一項重大操作？
4. 外部操作人員能否立即撤銷權限並停止系統？
5. 哪一項可量化的失敗率或測試結果，會觸發暫停或回滾？

如果這些問題的答案都建立在「代理會自願遵守指令」之上，那麼部署就還沒有受到充分控制。

核心原則：自主權必須用證據換來

在一個自主 AI 代理被證明具備以下條件前，不應授予它不可逆的權限：受到明確約束、行動可觀測、能被中斷、通過獨立測試，並且由清楚可追責的組織負責。

共享的國際防護標準有助於建立共同期待，但企業仍須在自己的基礎設施中落實這些要求。無論是實際營運事故，還是受控環境中的對齊評估，帶來的核心教訓都很簡單：自主權必須透過證據取得。

能力強不等於安全。AI 代理若要進入正式環境，企業需要提出的不是「它能完成什麼」，而是「即使出錯，我們是否仍能看見、限制、停止並復原」。

因此，正確做法既不是盲目信任，也不是臆測 AI 是否具有意識，而是讓危險行動在技術上更難執行、可被看見、能夠復原，並且有人與組織必須負責。

自主 AI 代理的部署標準：10 道必要防線

1. 落實最小權限

每個代理只能取得完成特定任務所需的權限、資料與工具。開發、測試與正式環境應彼此隔離；也不要讓同一個代理身分同時觸及正式資料庫、備份系統、身分管理、支付系統與部署基礎設施。

最小權限也是《2026 年新加坡共識》提出的核心原則之一，其他原則包括可追溯身分、可稽核性、經驗證的部署、執行期保障、可中斷性與人類監督。

權限應具備短時效、限定特定資源，並在任務結束後自動撤銷。代理不應能自行擴大權限，也不應能修改負責監督它的系統。

2. 重大操作須經獨立審批

刪除資料、變更資料庫結構、修改憑證、發送高影響力的對外訊息、轉移資金，或調整攸關安全的基礎設施，都應在執行前要求人工核准。對最重大或不可逆的操作，企業可考慮雙人核准或職務分離。

審批必須發生在代理自身的推理迴圈之外。要求代理在提示中「確認意圖」，不等於由基礎設施設置閘門，直到獲授權人員批准精確操作後才允許執行。

3. 讓備份離開事故爆炸半徑

如果備份與正式系統共用憑證或網路路徑，代理可能連同原始資料一起刪除備份。企業應採用隔離、一次寫入或其他形式的不可變備份，並確保代理無法取得其憑證；同時要定期測試資料還原。

代理風險不只在於它能否破壞正式環境，也在於它破壞系統後，是否還能接觸復原系統。

4. 保存防竄改的操作軌跡

每項代理操作都應能追溯至特定代理身分與部署版本。視情況而言，紀錄至少應包括：

• 模型與軟體版本；
• 發起任務的使用者、任務內容與指令；
• 呼叫過的工具及使用的權限；
• 被修改的資料或程式碼；
• 審批紀錄與政策判定；
• 錯誤、重試與回滾嘗試；以及
• 回報給操作人員的最終結果。

日誌應儲存在與代理分離的位置，並受到防止竄改的保護。Bengio 特別強調，企業需要能追蹤自主操作的數位軌跡，也需要清楚界定誰在控制這些代理。

5. 把責任交給明確的人與組織

每次部署都應指定業務負責人、技術負責人、升級處理路徑與事故指揮官。責任範圍應包括權限核准、持續監控、事故應變，以及暫停或退役系統的決策。

「是 AI 做的」不是責任制度。企業仍須為代理能在哪裡運作、能存取哪些資料，以及系統失效時有哪些防護措施負責。

6. 建立外部且可靠的關機路徑

代理不應控制自己的監控系統、憑證、替換流程或關機機制。停用功能必須由外部觸發、能立即生效，並在技術上確實執行；即使代理沒有回應，或回報誤導性的狀態資訊，操作人員仍應能撤銷憑證並隔離連接的工具。

關機機制必須以故障情境實際演練，而不能因為系統平時遵循指令，就假定它一定有效。Anthropic 等研究團隊曾在模擬情境中測試自我保護、勒索與逃避監督等行為；Anthropic 的破壞風險評估則將相關風險描述為非常低，但並非零。

7. 測試實際行為，而不只是測試能力

基準測試證明代理「能完成任務」，不代表它在過程中會遵守限制。上線前評估應測試完整的「代理加工具」系統，並納入指令衝突、目標模糊與對抗條件。

測試可檢查代理是否會：

• 如實回報失敗；
• 在工作未完成時捏造紀錄或宣稱已完成；
• 隱藏錯誤；
• 擴大權限或存取無關資料；
• 嘗試繞過審批閘門；
• 外洩資訊；
• 為保護既定目標而修改程式碼或資料；或
• 抵抗監控、替換或關機。

Bengio 提出的「Scientist AI」是一個可能方向：打造不以執行操作目標為目的、而是負責解釋觀察結果並評估提案後果的系統。這類較值得信任的監督層，可用來判斷資訊是否正確，以及代理計畫可能造成的影響。

8. 設定可量化的停損條件

安全決策需要可執行的門檻，而不是籠統的信心評分。企業可以追蹤未授權操作率、政策違規率、虛假完成回報率、升級頻率、回滾成功率，以及從發現到停止所需的時間等指標。

一旦超過預先定義的門檻，部署就應暫停、縮減權限或回滾。上線後仍須持續監測，因為真實世界的工具、資料與誘因，可能產生測試期間未出現的條件。

《新加坡共識》將安全視為縱深防禦，涵蓋三個相互連結的領域：建立可信系統、評估系統風險，以及在部署後進行監控與介入。

9. 分階段推進

企業應從唯讀權限、合成資料與沙盒工具開始，再逐步進入小規模試點、受限的正式環境任務，只有在代理符合書面安全要求後，才逐步擴大權限。

獨立紅隊應測試整套營運系統，包括身分管理、API、資料庫、監控與復原程序。只測試底層語言模型，會忽略真正決定事故影響範圍的工具與權限。

10. 要求獨立審查與事故通報

對可能影響關鍵企業系統的代理，外部測試與部署後稽核應補足內部評估。重大事故則應依企業治理與適用的監管管道完成紀錄與通報。

Bengio 認為，許多 AI 安全技術其實已經存在，但採用、獨立驗證與透明度仍需要更強的制度支持。 審查重點應放在代理能做什麼、能接觸哪些系統，而不是它是否被包裝成「助理」。

從原則走到「可不可以上線」

在授予正式環境權限前，企業至少應能回答以下 5 個問題：

1. 代理能存取什麼？哪些資源明確不在它的觸及範圍內？
2. 哪些操作必須經過核准？基礎設施能否強制執行這項要求？
3. 事故發生後，調查人員能否重建每一項重大操作？
4. 外部操作人員能否立即撤銷權限並停止系統？
5. 哪一項可量化的失敗率或測試結果，會觸發暫停或回滾？

如果這些問題的答案都建立在「代理會自願遵守指令」之上，那麼部署就還沒有受到充分控制。

核心原則：自主權必須用證據換來

在一個自主 AI 代理被證明具備以下條件前，不應授予它不可逆的權限：受到明確約束、行動可觀測、能被中斷、通過獨立測試，並且由清楚可追責的組織負責。

共享的國際防護標準有助於建立共同期待，但企業仍須在自己的基礎設施中落實這些要求。無論是實際營運事故，還是受控環境中的對齊評估，帶來的核心教訓都很簡單：自主權必須透過證據取得。

能力強不等於安全。AI 代理若要進入正式環境，企業需要提出的不是「它能完成什麼」，而是「即使出錯，我們是否仍能看見、限制、停止並復原」。