一場令人印象深刻的 AI 示範,不代表系統已準備好接手實際工作。在新加坡,完善的數位環境或許有助於部署 AI,但要讓人放心依賴,還得看它能否持續穩定地完成任務、說清楚答案根據何在,並遵守明確的權限界線。當 AI 從提供建議進一步變成能執行動作,這些要求就更不能馬虎。
不可靠的 AI,會累積「信任債」
「信任債」是用來描述一種額外負擔的分析性說法,並非正式衡量指標:當人們無法安心採用 AI 的輸出,就得花時間查來源、抓錯誤、比對前後不一的答案,還要收拾後續問題,工作才能繼續。
這種負擔常來自三個問題:
- 輸出不穩定: 相似案例若得到差異很大的答案,或對同一政策採取不同標準,團隊就難以建立可靠的作業規範。所謂可預期,不是每次措辭都一模一樣,而是品質與行為大致穩定。
- 來源無法查證: 引用只有在審查者能確認來源具權威性、內容仍有效,而且確實支持相關說法時,才真正有用。
- 錯得有把握: 美國國家標準暨技術研究院(NIST)將生成式 AI 產生錯誤或虛假內容、卻以肯定語氣呈現的現象列為「虛構」(confabulation)風險之一。
22 說得流暢,不等於說得正確。
如果每份輸出都得由專家重新查核,AI 或許加快了起草速度,卻沒有減少最費工的部分。組織在查核負擔降低以前,選擇只把這類系統用於影響較小的任務,也可能是審慎的做法。
AI 開始執行工作,風險也跟著升高
錯誤建議可以被拒絕;但若 AI 代理能修改紀錄、傳送資訊或啟動交易,錯誤就可能直接變成營運事件。代理能接觸的系統與可執行的動作愈多,就愈需要清楚界定它能做什麼、何時必須停止,以及由誰負責。
人工審查也有兩難:每個動作都要核准,可能拖慢工作;可靠性尚未建立就取消核准,則可能增加風險。解方不是一律放行,也不是一概要求人工逐項把關,而是依錯誤可能造成的後果設計相稱的控制措施。
新加坡的《代理式人工智慧治理框架》指出,人類仍須承擔責任,並要求在代理的整個生命週期中落實有意義的人為控制與監督。
3 實務上的監督不應只剩一個「核准」按鈕:審查者需要相關證據、足夠時間與介入權限,也必須有實際可行的方式叫停操作。
什麼樣的 AI 才值得依賴?
NIST 將值得信賴的 AI 特質列為可靠、安全、具韌性、可問責、透明、可解釋、重視隱私,並妥善管理有害偏誤等。
18 對組織而言,這些原則必須轉化為日常作業要求,才能真正發揮作用:
- 界定效能與適用範圍: 說明系統要處理哪些任務,測試困難案例;證據不足時,應能選擇不作答,或把工作交由人員處理。
- 妥善管理資料: 指定可信來源與資料負責人,訂出品質、新鮮度和保存規則。把模型接上資料,不會自動讓資料變可靠。
- 明確設定權限: 系統只能取得完成任務所需的權限。對影響重大的動作設定限制與核准流程,並盡可能透過周邊軟體強制執行,而非只依賴模型自律。
- 提供可核對的說明: 呈現建議或動作背後的證據與適用規則。由同一個系統生成的解釋,不能被當成答案正確的證明。
- 保留來源脈絡與稽核紀錄: 適當記錄資料來源版本、系統設定、工具呼叫、核准與實際動作,以便事後調查結果。
- 準備好應對失誤: 持續監測表現、規劃事件處理,並建立備援與復原流程。
目標不是假設模型永遠不會出錯,而是打造一套能發現失誤、控制影響並從中復原的系統。
從輔助工作逐步走向自主執行
組織應依據實際表現與錯誤後果,逐步擴大 AI 的角色,而不是因為模型看起來很厲害,就直接交出更多自主權。
- 先從有證據支持的輸出開始。 先用於範圍明確的資料檢索、擷取與摘要任務。測試一般與困難案例,追蹤缺乏依據的說法、遺漏資訊及違反政策的情況。
- 加入有人監督的建議與草稿。 讓 AI 擬出決策、訊息或紀錄變更,再由指定人員核准會帶來重大後果的結果;同時衡量修正率與審查所需心力。
- 開放有限且可復原的操作。 對後果較輕的任務,採用權限限制、驗證、例外處理與停止機制。優先選擇真正能撤回的操作;無法撤回時,則須加強執行前的檢查。
- 只在有理據時擴大自主範圍。 只有在長期表現穩定、後果可控且監督有效時,才擴大系統的任務範圍。技術上做得到,不代表高風險決策就應自動化。
每個階段都應指定負責人、監測端到端結果,並在模型、資料、工具或政策變更後重新驗證。除了品質、事件與業務成果,也要追蹤審查和補救所付出的成本,並預先訂好擴大使用、暫停或撤除系統的標準。
衡量 AI 是否真正創造價值,看的不該是最精彩的一次示範,而是扣除查核與監督後,能否長期帶來穩定效益。當人們能依賴它平常的表現、辨認它的限制,並在必要時有效介入,AI 才算成為可靠的日常基礎設施。