AI代理(agentic AI)跟一般只回答問題的生成式AI不同:它可能會更新客戶紀錄、呼叫外部工具,或者自行推進多個步驟的工作流程。對企業來說,真正的挑戰不只是代理做得快不快,而是它獲准做甚麼、出錯時能否及時制止,以及每個動作有沒有紀錄可供覆核。
較穩妥的做法,是逐步增加代理的權限;每次擴大部署之前,都要先證明存取限制、人工監督和復原安排在實際環境中行得通。新加坡的管治框架提供了參考方向,而以下做法則把相關原則轉化為較具體的部署步驟。
10
11
沙盒試驗帶來甚麼啟示?
由Google與新加坡網絡安全局(CSA)、政府科技局(GovTech Singapore)及資訊通信媒體發展局(IMDA)合作進行的AI Agents Sandbox,歷時約四個月,試驗涵蓋自動化軟件質素保證、聊天機械人安全測試,以及協助處理社會援助申請。試驗顯示代理有自動化工作的潛力,同時亦凸顯監督、網絡安全、私隱和管治方面的疑慮。
4
12
重點是,沙盒屬受控試驗,不等於代理已獲證明可以安全接入所有企業系統,更不代表每種高影響工作流程都可交由它自主處理。
部署意欲正在增加。Deloitte報告指,72%的新加坡企業計劃在兩年內於多個營運範疇部署AI代理,高於報告發表時的15%。另一項全球調查則顯示,21%的受訪企業表示已具備成熟的AI代理管治模式;這個21%是全球數字,不能當作新加坡企業的管治比例。
24
26
新加坡《AI代理模型人工智能管治框架》將指引分為幾個重點:事前評估並界定風險、確保人類承擔實質責任、在整個生命周期落實技術控制,以及協助終端使用者負責任地使用代理。這是一套管治參考,不代表某個代理毋須在實際用途和環境中接受測試,就可以視為安全。
10
11
先逐步授權,唔好由試驗直接跳到全面自動化
原型運作成功,代表可以進入下一階段評估,並非代表應立即開放正式系統的所有權限。企業可按以下次序逐步推進:
- **離線評估:**以具代表性的工作和失誤情境測試代理,暫不連接即時系統。
- **唯讀影子運作:**讓代理查看獲批資料並提出建議,但由人員繼續作出和執行決定。
- **經人審批後修改:**只在獲授權人員檢視具體操作及相關資料後,容許代理進行範圍有限的資料寫入。
- **有限度自主執行:**只有在測試證明控制措施可靠後,才讓代理在指定範圍內自行執行可界定、可復原的操作。
每個階段都應設立正式上線門檻。評估不應只看任務有沒有完成,亦要測試代理會否作出未獲授權的操作、會否洩露資料、遇到含糊資訊時如何處理、人員能否有效介入,以及發生故障後能否復原。新加坡的Agentic Testing Starter Kit可作為測試參考,但企業仍須針對自己的代理、工具和工作流程進行測試。
1
36
權限要清楚,審批要針對具體操作
在讓代理接觸客戶紀錄、財務流程或營運資料庫之前,企業應具體訂明代理可以存取哪些系統、紀錄、欄位、工具和資料接收對象;容許它採取甚麼行動;以及哪些操作必須先獲批准。視乎用途,亦可設定交易金額、操作頻率和執行時間等上限。
人工覆核最好設在具重大影響的操作發生之前,而不是只在事後檢查。審批人員應能看到代理建議的更改、受影響的紀錄、支持資料和可能後果。批准亦應只適用於該項具體操作;如果相關資料或操作內容有變,就應重新取得批准。
權限限制應由模型以外的系統執行。受控的工具閘道可在請求送抵業務系統前,檢查代理身份、存取權限、操作參數和政策限制。處理財務流程時,應把「提出交易」與「批准及執行交易」分開;修改客戶紀錄時,則要保存修改前後的內容和更改依據。
為複雜系統和不可信資料做好準備
企業正式環境往往有不同系統互相割裂、舊有應用程式、多個資料負責人,以及內容含糊的文件;這些情況都令部署比沙盒示範複雜。可在代理和業務系統之間設置經驗證的介面,並由相關資料負責人批准存取。亦要檢查紀錄是否最新、格式是否正確;如資料互相矛盾或意思不清,應交由人員處理,而不是讓代理自行猜測。
電郵、文件和網頁內容都應視為不可信輸入。代理讀取的內容可能藏有間接提示注入,誘使它做出非預期操作。因此,檢索到的內容不應獲得新權限,亦不應凌駕既定操作政策。擴大代理權限之前,應先測試它會否受操控而使用未獲批准的工具,或採取超出範圍的行動。
35
43
除模型出錯外,亦要測試營運故障,包括重複請求、過時紀錄、部分系統中斷和多人同時更新資料。建議加入資料驗證和對帳程序,並預先訂明如何停止執行,以及如何復原或更正變更。具體設計應按系統用途和錯誤後果而定。
資料主權不只看伺服器放在哪裏
對企業部署而言,一個實用的資料主權定義,是企業能否清楚證明敏感資料會流向何處、誰能存取、資料如何使用或保留,以及有哪些證據支持相關控制。只知道伺服器所在地,並不足以證明企業掌握資料。
企業應繪出完整資料流向,包括模型推理、資料檢索、向量嵌入、代理記憶、協調流程和系統日誌,並訂明哪些環節可以處理敏感資料,以及須符合甚麼條件。亦要分清楚一般請求處理,與長期記憶、微調或模型訓練的分別;如要超出原定用途保留資料或用作學習,應先取得明確批准。
選擇基建時,應以組織能否驗證相關控制為準,例如存取限制、加密金鑰管理、資料保留設定、服務供應商條款和司法管轄區,而不是一概假設公有雲或本地部署必然較安全。合適的架構,要視乎企業所持資料、相關責任和風險評估而定。
由部署到更新,責任和紀錄都要跟得上
每個正式運作的代理都應有明確的業務負責人和技術操作人員,並列明負責存取和審批的資料持有人及批准人。亦要寫清楚誰有權暫停或停用代理。這些實際職責有助把人類責任變成可觀察、可核實的控制,亦呼應框架對清晰責任分工和技術保障的重視。
10
11
企業應以版本紀錄保存正在使用的模型、提示、工具、權限和政策。日誌則應記下代理身份、引用的資料、工具呼叫、政策檢查、審批和執行結果,並防止未經授權的更改。可保存支持決定的證據和簡潔說明,但單靠模型自行生成的解釋,並不能證明它內部實際如何作出判斷。
持續留意異常存取、未預期的資料目的地、失誤率上升,以及繞過審批的嘗試;並訂明哪些情況會觸發暫停和人工調查。每當模型、工具、資料來源或權限有變,都應重新測試;亦要定期檢視代理是否仍適合原先批准的用途。Agentic Testing Starter Kit可協助規劃測試,但不能取代企業因應自身情況作出的保證工作。
1
36
正式上線前,企業可以先問一個直接問題:能否證明代理只存取獲授權資料、按明確界線行事、可以被有效中止,而且每項操作都有紀錄可供覆核?只有答案是肯定的,才應進一步擴大其自主權。沙盒可以證明潛力;要負責任地投入正式運作,還要拿出控制有效的證據。