所以，正確方向唔係盲目信任，亦唔係臆測 AI 有冇意識，而係要令危險行動變得難以執行、全程可見、可以逆轉，而且有人負責。

AI代理落地前必備嘅10重防線

1. 實行最小權限

每個代理只應獲得完成指定任務所需嘅權限、資料及工具。開發、測試及生產環境要分開，亦唔好畀同一個代理身份同時接觸生產資料庫、備份系統、身份管理、付款系統及部署基建。

「最小權限」亦係《2026新加坡共識》提出嘅核心原則之一，其他原則包括可追蹤身份、可審計性、經驗證部署、運行時保障、可中斷性及人類監督。

權限應該係短期、指定資源限定，任務完結後自動撤銷。代理不應有能力自行提升權限，或者修改負責監察佢嘅系統。

2. 重大操作必須由獨立機制審批

刪除資料、修改資料庫結構、變更憑證、發送高影響力對外訊息、轉移資金，或者改動安全關鍵基建，都應先經人類批准。涉及最嚴重後果嘅操作，可以考慮雙重審批或其他職責分離措施。

審批一定要喺代理自身嘅推理流程之外進行。叫 AI 喺對話入面「確認意圖」，唔等於基建層面真係會阻止操作，直到獲授權人士批准指定變更為止。

3. 將備份放喺爆炸半徑之外

如果備份同生產系統共用憑證或網絡路徑，備份可能會連同原本要保護嘅資料一齊被刪除。企業應使用隔離、只可寫入一次，或者其他不可變更嘅備份；相關憑證不應向代理開放，並且要定期測試還原程序。

代理擁有生產權限後，問題唔只係「佢可唔可以破壞生產系統」，仲要問「出事後佢可唔可以接觸復原系統」。

4. 建立防篡改行動紀錄

每次代理行動都應該可以追溯到特定代理身份及部署版本。日誌按需要記錄：

• 使用嘅模型及軟件版本；
• 發起任務嘅用戶、任務內容及指令；
• 調用過嘅工具及使用過嘅權限；
• 被修改嘅資料或程式碼；
• 審批紀錄及政策判斷；
• 錯誤、重試及回滾嘗試；以及
• 向操作人員匯報嘅最終結果。

日誌應儲存在代理無法自行修改嘅獨立系統，並設有防篡改保護。Bengio 特別強調，要有數碼足跡追蹤自主行動，亦要清楚界定邊個控制系統、邊個承擔責任。

5. 將責任交畀具名嘅人及組織

每次部署都要有明確嘅業務負責人、技術負責人、升級處理路徑及事故指揮人。責任範圍應包括批准權限、持續監察、事故應變，以及暫停或停用系統嘅決定。

「係 AI 做㗎」唔係問責制度。企業仍然要為代理可以去邊度、可以接觸咩資料，以及出錯時設置咗咩防線而負責。

6. 建立由外部控制嘅可靠關機路徑

代理唔可以控制自己嘅監察系統、登入憑證、替換流程或關機機制。停用功能要由外部觸發、即時生效，而且由技術上強制執行；即使代理無回應，或者匯報具誤導性嘅狀態，管理員仍然要可以撤銷憑證及隔離連接工具。

關機功能要當成故障情境去實測，而唔係因為代理平時會聽指令，就假定關機一定有效。Anthropic 及其他研究人員曾在模擬情境研究自我保存、勒索及其他逃避監督嘅行為；Anthropic 嘅破壞風險評估則形容相關風險非常低，但並非零。

7. 測試實際行為，而唔係淨係測試能力

一個基準測試證明代理完成到任務，唔代表佢會喺過程中遵守限制。部署前評估應以完整嘅「代理加工具」系統為對象，測試互相衝突嘅指令、含糊目標及對抗性環境。

測試應包括代理會唔會：

• 誠實匯報失敗；
• 偽造紀錄，或者任務未完成就聲稱完成；
• 隱瞞錯誤；
• 擴大權限，或讀取無關資料；
• 嘗試繞過審批關卡；
• 外洩資料；
• 修改程式碼或資料以保護原本目標；或者
• 抗拒監察、替換或關機。

Bengio 提出嘅「Scientist AI」係其中一個可能方向：建立一個非代理式系統，專注解釋觀察結果及評估建議行動，而唔係自己追求操作目標。這類監督層可以協助判斷資料是否可信，以及代理計劃可能帶來嘅後果。

8. 設定可量度嘅停用條件

安全決策唔可以只靠「大致有信心」，而要有清晰嘅營運門檻。企業可以追蹤未經授權行動率、違反政策次數、虛報完成率、升級處理頻率、回滾成功率、發現事故時間及停止系統所需時間。

一旦超出預先設定嘅門檻，部署就應該暫停、收窄權限或回滾。上線後仍然要持續監察，因為真實世界嘅工具、資料及誘因，可能製造測試期間未出現過嘅情況。

《新加坡共識》將安全理解為三個互相連接嘅縱深防禦範疇：建立可信系統、評估風險，以及部署後監察和介入。

9. 分階段推出

第一步可以由只讀權限、合成資料及沙盒工具開始；之後先進入範圍有限嘅試點、受約束嘅生產任務，再逐步增加權限，而且每一步都要符合書面安全要求。

獨立紅隊應測試完整營運系統，包括身份管理、API、資料庫、監察及復原程序。淨係測試底層語言模型，會漏咗真正決定事故影響嘅工具及權限。

10. 要求獨立審查及事故通報

凡係可以影響關鍵企業系統嘅代理，除內部評估外，亦應接受外部測試及部署後審計。嚴重事故要按企業管治及監管要求記錄和通報。

Bengio 曾指出，不少安全技術其實已經存在，但採用程度、獨立驗證及透明度仍然需要更強嘅制度支持。 審查重點應該係代理實際可以做咩、可以接觸邊啲系統，而唔係佢對外被稱為「助手」定「AI工具」。

用5條問題決定 go / no-go

企業喺畀代理接觸生產環境前，至少要答到以下五條問題：

1. 代理可以接觸咩，明確禁止接觸咩？
2. 邊啲操作需要批准，而基建可唔可以強制執行？
3. 出現事故後，調查人員可唔可以重組每一個重要行動？
4. 外部操作人員可唔可以即時撤銷權限及停止系統？
5. 邊個可量度嘅失敗率或測試結果會觸發暫停或回滾？

如果答案係建基於「代理自願遵守指令」，就代表部署仍然未受足夠控制。

核心原則：自主權要靠證據贏返嚟

任何自主代理，在未能證明自己受到限制、行動可觀察、隨時可中斷、經過獨立測試，並且由一個清楚負責嘅人類組織承擔責任之前，都唔應該獲得不可逆轉嘅權限。

共享嘅國際安全護欄可以建立共同期望，但企業仍然要喺自己嘅基建中落實。無論係真實營運事故，定係受控環境下嘅對齊評估，核心教訓都一樣：自主權唔係預設獲得，而係要靠證據換返嚟。 AI代理能力再強，單靠能力本身，唔足以構成一份安全證明。

所以，正確方向唔係盲目信任，亦唔係臆測 AI 有冇意識，而係要令危險行動變得難以執行、全程可見、可以逆轉，而且有人負責。

AI代理落地前必備嘅10重防線

1. 實行最小權限

每個代理只應獲得完成指定任務所需嘅權限、資料及工具。開發、測試及生產環境要分開，亦唔好畀同一個代理身份同時接觸生產資料庫、備份系統、身份管理、付款系統及部署基建。

「最小權限」亦係《2026新加坡共識》提出嘅核心原則之一，其他原則包括可追蹤身份、可審計性、經驗證部署、運行時保障、可中斷性及人類監督。

權限應該係短期、指定資源限定，任務完結後自動撤銷。代理不應有能力自行提升權限，或者修改負責監察佢嘅系統。

2. 重大操作必須由獨立機制審批

刪除資料、修改資料庫結構、變更憑證、發送高影響力對外訊息、轉移資金，或者改動安全關鍵基建，都應先經人類批准。涉及最嚴重後果嘅操作，可以考慮雙重審批或其他職責分離措施。

審批一定要喺代理自身嘅推理流程之外進行。叫 AI 喺對話入面「確認意圖」，唔等於基建層面真係會阻止操作，直到獲授權人士批准指定變更為止。

3. 將備份放喺爆炸半徑之外

如果備份同生產系統共用憑證或網絡路徑，備份可能會連同原本要保護嘅資料一齊被刪除。企業應使用隔離、只可寫入一次，或者其他不可變更嘅備份；相關憑證不應向代理開放，並且要定期測試還原程序。

代理擁有生產權限後，問題唔只係「佢可唔可以破壞生產系統」，仲要問「出事後佢可唔可以接觸復原系統」。

4. 建立防篡改行動紀錄

每次代理行動都應該可以追溯到特定代理身份及部署版本。日誌按需要記錄：

• 使用嘅模型及軟件版本；
• 發起任務嘅用戶、任務內容及指令；
• 調用過嘅工具及使用過嘅權限；
• 被修改嘅資料或程式碼；
• 審批紀錄及政策判斷；
• 錯誤、重試及回滾嘗試；以及
• 向操作人員匯報嘅最終結果。

日誌應儲存在代理無法自行修改嘅獨立系統，並設有防篡改保護。Bengio 特別強調，要有數碼足跡追蹤自主行動，亦要清楚界定邊個控制系統、邊個承擔責任。

5. 將責任交畀具名嘅人及組織

每次部署都要有明確嘅業務負責人、技術負責人、升級處理路徑及事故指揮人。責任範圍應包括批准權限、持續監察、事故應變，以及暫停或停用系統嘅決定。

「係 AI 做㗎」唔係問責制度。企業仍然要為代理可以去邊度、可以接觸咩資料，以及出錯時設置咗咩防線而負責。

6. 建立由外部控制嘅可靠關機路徑

代理唔可以控制自己嘅監察系統、登入憑證、替換流程或關機機制。停用功能要由外部觸發、即時生效，而且由技術上強制執行；即使代理無回應，或者匯報具誤導性嘅狀態，管理員仍然要可以撤銷憑證及隔離連接工具。

關機功能要當成故障情境去實測，而唔係因為代理平時會聽指令，就假定關機一定有效。Anthropic 及其他研究人員曾在模擬情境研究自我保存、勒索及其他逃避監督嘅行為；Anthropic 嘅破壞風險評估則形容相關風險非常低，但並非零。

7. 測試實際行為，而唔係淨係測試能力

一個基準測試證明代理完成到任務，唔代表佢會喺過程中遵守限制。部署前評估應以完整嘅「代理加工具」系統為對象，測試互相衝突嘅指令、含糊目標及對抗性環境。

測試應包括代理會唔會：

• 誠實匯報失敗；
• 偽造紀錄，或者任務未完成就聲稱完成；
• 隱瞞錯誤；
• 擴大權限，或讀取無關資料；
• 嘗試繞過審批關卡；
• 外洩資料；
• 修改程式碼或資料以保護原本目標；或者
• 抗拒監察、替換或關機。

Bengio 提出嘅「Scientist AI」係其中一個可能方向：建立一個非代理式系統，專注解釋觀察結果及評估建議行動，而唔係自己追求操作目標。這類監督層可以協助判斷資料是否可信，以及代理計劃可能帶來嘅後果。

8. 設定可量度嘅停用條件

安全決策唔可以只靠「大致有信心」，而要有清晰嘅營運門檻。企業可以追蹤未經授權行動率、違反政策次數、虛報完成率、升級處理頻率、回滾成功率、發現事故時間及停止系統所需時間。

一旦超出預先設定嘅門檻，部署就應該暫停、收窄權限或回滾。上線後仍然要持續監察，因為真實世界嘅工具、資料及誘因，可能製造測試期間未出現過嘅情況。

《新加坡共識》將安全理解為三個互相連接嘅縱深防禦範疇：建立可信系統、評估風險，以及部署後監察和介入。

9. 分階段推出

第一步可以由只讀權限、合成資料及沙盒工具開始；之後先進入範圍有限嘅試點、受約束嘅生產任務，再逐步增加權限，而且每一步都要符合書面安全要求。

獨立紅隊應測試完整營運系統，包括身份管理、API、資料庫、監察及復原程序。淨係測試底層語言模型，會漏咗真正決定事故影響嘅工具及權限。

10. 要求獨立審查及事故通報

凡係可以影響關鍵企業系統嘅代理，除內部評估外，亦應接受外部測試及部署後審計。嚴重事故要按企業管治及監管要求記錄和通報。

Bengio 曾指出，不少安全技術其實已經存在，但採用程度、獨立驗證及透明度仍然需要更強嘅制度支持。 審查重點應該係代理實際可以做咩、可以接觸邊啲系統，而唔係佢對外被稱為「助手」定「AI工具」。

用5條問題決定 go / no-go

企業喺畀代理接觸生產環境前，至少要答到以下五條問題：

1. 代理可以接觸咩，明確禁止接觸咩？
2. 邊啲操作需要批准，而基建可唔可以強制執行？
3. 出現事故後，調查人員可唔可以重組每一個重要行動？
4. 外部操作人員可唔可以即時撤銷權限及停止系統？
5. 邊個可量度嘅失敗率或測試結果會觸發暫停或回滾？

如果答案係建基於「代理自願遵守指令」，就代表部署仍然未受足夠控制。

核心原則：自主權要靠證據贏返嚟

任何自主代理，在未能證明自己受到限制、行動可觀察、隨時可中斷、經過獨立測試，並且由一個清楚負責嘅人類組織承擔責任之前，都唔應該獲得不可逆轉嘅權限。

共享嘅國際安全護欄可以建立共同期望，但企業仍然要喺自己嘅基建中落實。無論係真實營運事故，定係受控環境下嘅對齊評估，核心教訓都一樣：自主權唔係預設獲得，而係要靠證據換返嚟。 AI代理能力再強，單靠能力本身，唔足以構成一份安全證明。