一段精彩的 AI 示範,並不等於系統已經準備好接手真實工作。在新加坡,成熟的數碼基建或會令部署更容易,但要令 AI 真正派上用場,還要看它能否持續穩定地完成任務、交代答案根據甚麼資料,以及在能力範圍以外適時停手。當 AI 由提供建議走到直接執行操作,這個分別就更加重要。
不可靠的 AI,會累積「信任負債」
「信任負債」是用來形容一種額外工作成本,並非正式的量度指標:當員工未能放心採用 AI 輸出,就要自行核對來源、找出錯誤、處理前後不一致的答案,甚至在工作繼續之前補救問題。
常見成因包括:
- 輸出時好時壞: 相似個案如果得到差異很大的答案,或對政策的理解前後不一,團隊就難以訂出可靠的工作標準。所謂可預測,重點是質素和行為穩定,不是每次都要用一模一樣的措辭。
- 來源無法核實: 即使答案附有引文,審核人員仍要確認來源是否權威、資料是否最新,以及內容是否真的支持相關說法。
- 錯得有自信: 美國國家標準與技術研究院(NIST)將生成式 AI 產生並自信呈現錯誤內容,列為「confabulation」(虛構或錯誤生成內容)風險。
22 語氣流暢,不代表內容準確。
如果每份輸出都要專家重新查證,AI 或許加快了起草,卻未有減少工作中最花時間、最費心力的部分。機構因此可能選擇只讓 AI 處理影響較低的工作,直到核查負擔有所下降。
由提供建議變成執行,風險隨之提高
錯誤建議可以不採納;但如果 AI 代理可以修改紀錄、傳送資料或啟動交易,錯誤就可能即時變成營運事件。它能接觸的系統和可執行的操作愈多,就愈需要清楚界定權限、停手時機,以及最終由誰負責。
人工審核亦有兩難:每一步都要人批准,可能拖慢工作;但在可靠性未確立前撤走審批,則可能增加風險。解決方法不是一律放行,也不是全面禁止自動化,而是按錯誤後果設置相稱的控制措施。
新加坡的《代理式人工智能治理框架》指出,人類必須繼續承擔責任,並要求在代理式 AI 的整個生命周期中落實有實質意義的人為控制和監督。
3 實際上,監督不應只剩一個「批准」按鈕:審核人員要看得到相關證據、有足夠時間和權限介入,也要有可行方法叫停操作。
可靠的 AI,靠的是一套「不花巧」的基本功
NIST 列出的可信 AI 特質包括可靠、安全、保安、問責、透明、可解釋、保障私隱,以及管理有害偏見。
18 對機構而言,這些原則要轉化成日常運作要求,才真正有用:
- 訂明表現要求和界線: 清楚列出系統要處理的工作,測試較難的個案;證據不足時,系統應可拒答,或把工作交由人員跟進。
- 妥善管理資料: 指定可信來源和資料負責人,訂明資料質素、更新時效和保留規則。把 AI 接駁到資料,並不會令資料自動變可靠。
- 限制系統權限: 只開放完成任務所需的存取權;對後果較重的操作設立界線和審批,並盡可能由周邊軟件執行限制,而非單靠模型自我約束。
- 提供可核對的解釋: 交代建議或操作背後的證據及適用規則。但由同一個系統生成的解釋,不應被當成答案正確的證明。
- 保留來源和操作紀錄: 適當記錄資料版本、系統設定、工具調用、審批和執行操作,方便日後追查結果。
- 準備應對故障: 持續監察表現,預備事故處理、後備方案和復原程序。
目標不是假設模型永遠不會出錯,而是建立一套能及早發現問題、限制影響並從故障中復原的系統。
由輔助工作逐步走向有限度自主
機構應按實際表現和犯錯後果,逐步擴大 AI 的工作範圍,而不是因為模型示範出色就急於交出更多權限。
- 先提供有證據支持的輸出。 從範圍清晰的資料檢索、抽取和摘要工作開始。測試常見及較難個案,追蹤缺乏根據的說法、遺漏和違反政策的情況。
- 加入人工監督下的建議和草稿。 讓 AI 草擬決定、訊息或紀錄修改方案,但涉及重要後果時,仍由指定人員審批;同時量度修正次數和審核所需工夫。
- 只自動執行範圍有限、可以補救的操作。 對影響較低的工作設定有限權限、驗證程序、例外處理和停止機制。優先選擇確實可以復原的操作;無法撤回的操作則要加強事前檢查。
- 只在有充分理據時擴大自主程度。 只有在長期表現穩定、錯誤後果可管理,而且監督確實有效時,才考慮擴大範圍。技術上做得到,不代表高風險決定就應自動化。
每個階段都要有清晰的負責人,監察整個流程的結果,並在模型、資料、工具或政策改動後重新驗證。除了質素、事故和業務成效,也要計算審核及補救成本;擴大使用、暫停或撤回系統的條件,亦應預先訂明。
真正值得看的,不是 AI 最出色的一次示範,而是扣除核實和監督成本後,能否持續帶來價值。當人們可以信賴 AI 平日的表現、看得出它的限制,並在需要時有效介入,AI 才算成為可靠的日常基建。