代理式 AI 不只會提供建議,還可能呼叫工具、更新客戶紀錄,或自行推進多步驟流程。對新加坡企業而言,從概念驗證走向正式營運,關鍵不在於讓代理「做得更多」,而是逐步擴大它的權限,並證明存取限制、人為監督與故障復原機制確實可行。新加坡的治理框架可作為參考架構,企業則需依實際系統與用途,把原則落實為日常管控。
10
11
沙盒試驗與採用數據透露了什麼?
由 Google 與新加坡網路安全局(CSA)、政府科技局(GovTech Singapore)及資訊通信媒體發展局(IMDA)合作進行的 AI Agents Sandbox,歷時約四個月,探索了自動化軟體品質保證、聊天機器人安全測試,以及協助處理社會援助申請等應用。試驗呈現代理式 AI 的潛力,也指出監督、網路安全、隱私與治理方面的疑慮。這是受控試驗,不是對所有企業系統的通用安全認證。
4
12
企業擴大採用的壓力確實存在。Deloitte 報告指出,72% 的新加坡企業計畫在兩年內於多個營運領域部署代理式 AI,高於報告發布時的 15%。另一項全球調查則顯示,受訪企業中有 21% 表示已建立成熟的代理式 AI 治理模式;這是全球數據,不應解讀為新加坡企業的治理比例。
24
26
新加坡《代理式 AI 模型人工智慧治理框架》提供一套治理思路,涵蓋事先評估並限制風險、讓人類實質負責、在整個生命週期落實技術管控,以及促進終端使用者負責任地使用。它是治理基礎,不代表特定系統未經實際情境測試就已安全。
10
11
逐步授權,不要一步到位
原型成功,代表可以進入下一階段評估,不等於應立即取得不受限制的正式環境權限。企業可考慮以下部署階梯:
- **離線評估:**以具代表性的任務與失敗情境測試代理,不連接正式系統。
- **唯讀影子運作:**讓代理查看核准資料並提出行動建議,由人員繼續判斷及執行。
- **經人員核准後變更:**只有在獲授權人員檢視具體行動及其依據後,才允許代理執行範圍狹窄的寫入操作。
- **受限的自主執行:**經測試確認管控機制可靠後,才允許代理在明確定義、可復原的範圍內,自主執行無須逐筆核准的操作。
每個階段都應設置正式上線門檻。評估不能只看任務是否完成,也要檢視未授權行動、資料外洩、模糊資訊的處理方式、人員介入是否有效,以及發生錯誤後能否復原。新加坡的 Agentic Testing Starter Kit 可作為測試參考,但企業仍須針對自己的代理、工具與工作流程進行驗證。
1
36
劃清權限,讓核准真正有用
在代理接觸客戶資料、財務作業或營運資料庫前,先把它的權限說清楚:可使用哪些系統、資料紀錄、欄位、工具與目的地;可執行哪些操作;哪些操作必須先取得核准。適用時,也應設定交易金額、操作頻率與執行時間等限制。
人為審核最好設在重大行動發生之前,而不只是事後檢查。審核者應看得到代理提出的變更、受影響的紀錄、支援依據及可能後果。核准須對應到該項具體行動;若相關資料或行動內容有變,就應重新取得核准。
權限限制應由模型以外的機制執行。受控的工具閘道可在請求進入業務系統前,檢查代理身分、權限、行動參數及政策限制。財務流程中,應將提出交易與授權、執行交易分開;變更客戶紀錄時,則應保留變更前後內容及變更依據。
為複雜系統與不可信輸入做好準備
系統分散、舊有應用程式、多個資料管理者,以及含糊不清的文件,都會使正式部署比沙盒展示更複雜。應在代理與業務系統之間設置經驗證的介面,並要求相關資料管理者核准存取。檢查資料是否為最新、格式是否正確;遇到資訊衝突或含糊不清時,應交由人員處理,而不是讓代理自行猜測。
電子郵件、文件與網頁內容都應視為不可信輸入。間接提示注入可能藏在代理讀取的內容中,因此檢索到的資訊不能因此取得新權限,也不能凌駕既有行動政策。在擴大存取範圍前,應測試代理是否可能受操控而使用未核准工具,或執行權限範圍以外的行動。
35
43
除了模型錯誤,也要預演營運故障。測試重複請求、過期紀錄、部分服務中斷與同時更新等情況;採用資料驗證與對帳機制,並事先定義如何停止執行,以及如何復原或更正變更。這些屬於建議的實作控制,實際設計應依系統特性與錯誤後果調整。
把資料主權落實為可證明的控制
對企業部署而言,可將資料主權理解為:組織有能力說明敏感資訊流向何處、誰能存取、資訊如何使用或保留,以及有哪些證據能支持這些控管。單看伺服器所在地,並不足以完整證明組織掌握了資料。
盤點完整資料流向,包括模型推論、檢索、向量嵌入、代理記憶、工作流程協調與日誌。決定哪些元件可以處理敏感資訊,以及在什麼條件下處理。也要區分一般請求與持續記憶、微調或模型訓練;若資料保留或學習超出原定用途,應先取得明確核准。
選擇基礎設施時,應以組織能否驗證實際控制為依據,例如存取限制、加密金鑰管理、資料保留設定、服務供應商條款與司法管轄地,而非先入為主地認定公有雲或地端設施必然更安全。適合的架構,取決於企業的資料、義務與風險評估。
讓責任在整個生命週期中清楚可見
每個正式上線的代理都應有業務負責人與技術營運人員,並清楚列出負責存取核准與行動審查的資料管理者及核准者。也要指定有權暫停或停用代理的人員。這些營運角色能讓「人類負責」成為可觀察的控制措施,呼應框架對責任分工與技術防護的重視。
10
11
以版本紀錄管理模型、提示、工具、權限與政策。日誌應記錄代理身分、資料參照、工具呼叫、政策檢查、核准與執行結果,並防止未授權修改。保留支持決策的證據及簡明說明;模型生成的解釋本身,並不能證明模型內部的實際推理過程。
監測異常存取、非預期目的地、失敗率上升或繞過核准的嘗試,並設定觸發暫停及人工調查的門檻。模型、工具、資料來源或權限變更時應重新測試,也應定期檢視代理是否仍適合獲核准的用途。Agentic Testing Starter Kit 可協助規劃測試,但不能取代企業自行進行的風險保證。
1
36
正式上線的判準其實很直接:企業能否證明代理只取得核准的存取權、在明確界限內執行、可由人員有效中止,而且每項行動都留下可供檢視的紀錄?只有答案是肯定的,才應進一步擴大自主權。沙盒能展現潛力;要在正式環境中負責任地運作,還需要可驗證的管控證據。