2. 生成式 AI：從預測標籤到創造內容

生成式 AI 把使用者體驗從「這屬於哪一類？」改變成「請依照這項指示，創作或轉換某種內容。」大型模型可以產生看似合理的文字、圖像、音訊與程式碼，支援客服回覆草稿、翻譯、教學、法律資料摘要、軟體開發協助與創意工作等用途。

這類系統能降低製作初稿所需的時間與成本，提供與複雜資訊互動的對話介面，也讓專業人士以新的方式處理內容。它們不一定只為了取代固定決策，也可以用來擴增人的能力。

核心弱點：看似合理，不代表真的正確

生成式模型可能用非常肯定的語氣，捏造或錯誤描述來源、法律依據、醫療資訊，甚至程式碼。美國國家標準暨技術研究院（NIST）使用 confabulation 一詞，指「以自信語氣產出錯誤或虛假的內容」；日常討論中通常稱為「幻覺」或「捏造」。

因此，只要涉及事實準確性，查證就不可省略。可採用的防護措施包括：從可信資料中檢索內容、附上引用、進行結構化評估、做領域專屬測試，以及交由具備資格的人員審查。流暢的回答應被視為草稿或預測，而不是證明其內容正確的憑據。

生成式系統帶來的更廣泛風險

生成式 AI 也牽涉資料保護、智慧財產、錯誤資訊與輸出來源追溯等問題。歐盟執委會針對研究用途的指引指出，儘管 AI 能帶來許多機會，研究人員仍須對自己發表的成果負最終責任。

教育領域則面臨另一項挑戰：如果學生經常把寫作、推理與解題工作交給 AI，可能得到更精緻的成果，卻減少實際練習基礎能力的機會。相關教育指引將不準確或帶有偏見的內容、有害素材、資料外洩、智慧財產侵權與學術誠信問題列為需要管理的風險。

在敏感對話中，安全失誤可能更加嚴重。生成式系統可能產出仇恨、暴力、色情或操控性內容，也可能無法妥善回應表達自傷意圖的人。NIST 將危險或暴力建議、隱私與有害偏見列為需要處理的風險。 在高風險情境中，AI 不應取代合資格的照護或人工安全機制；系統需要具備可靠的拒答與升級處理能力、隱私控制，以及能即時連接人工支援的清楚途徑。

3. AI 智能代理：規劃、使用工具並採取行動

AI 智能代理在模型外加上一個「行動迴圈」。它不只是對提示作出一次回覆，而是能理解目標、拆解步驟、呼叫瀏覽器、程式碼執行環境、電子郵件服務或 API 等工具，查看結果、修改計畫，再繼續執行。

史丹佛大學將 agentic AI 描述為具自主或半自主能力的系統：它能解讀目標、安排行動順序、使用工具、根據回饋作出反應，並在指定限制內調整做法以完成任務。

三者的實際差異可以這樣理解：

• 預測型系統會替交易評分；
• 生成式系統會替這筆交易撰寫回覆草稿；
• 如果獲得必要權限，AI 智能代理則可能調查交易、更新案件紀錄，再發送訊息。

Google 的 Jules 展示了軟體開發場景中的用法。Google 表示，Jules 是非同步的程式開發代理，能整合程式碼儲存庫，把程式碼複製到雲端虛擬機器中，處理開發任務，之後交由人員審查。 能使用工具的開源代理則代表另一種方向；LinkedIn 的 Hiring Assistant 也顯示，代理式工作流程正延伸到人才搜尋與招聘。

AI 智能代理之所以吸引人，在於它能完成多階段工作，而不只是建議下一步。例如，程式開發代理可以調查錯誤、修改多個檔案、執行測試，再準備好待審查的合併請求；工作流程代理則可以蒐集資料、整理內容，並準備交由人員核准的通信。

自主性越高，風險為何也越高？

能規劃，不等於真正可靠地理解情境。代理可能誤讀網頁、選擇不佳的計畫、遵循惡意指示，或讓一個小錯誤在多個步驟中逐步放大。史丹佛《2026 AI Index》指出，代理在 OSWorld——一項測試真實電腦操作任務的基準——上的任務成功率，已由 12% 提升至約 66%，但在結構化測試中仍大約每三次失敗一次。

聊天機器人的幻覺可能停留在溝通層面的問題；但擁有登入憑證、瀏覽器存取權或付款權限的代理，可能把同樣的錯誤轉化為外部實際行動。因此，代理治理不只要關注輸出品質，也必須處理權限、可逆性與責任歸屬。

AI 智能代理的主要安全風險

當代理能影響系統、金錢、資料或其他人時，風險尤其值得注意：

• 未經授權的付款： 代理可能選錯商品、超出預算，或遭惡意網頁操控。
• 隱私外洩與資料竊取： 一旦能存取電子郵件、檔案、客戶紀錄、原始碼或 API 金鑰，代理就可能在提示注入等攻擊下洩露資料。
• 資安與軟體損害： 代理可能引入不安全的程式碼、修改設定、刪除資源，或透過日誌與外部工具暴露機密資訊。
• 責任斷層： 模型供應商、應用程式開發者、部署組織、工具供應商與使用者之間，可能出現責任不清的情況。
• 操控使用者： 長時間互動、持續採取行動的代理，可能對使用者產生不當影響；尤其當使用者較脆弱，或系統看起來比實際能力更可靠時，風險更高。

負責任的治理應該怎麼做？

控制措施應與系統能力及失敗後果相匹配。

對預測型 AI 而言，組織應先界定用途，衡量準確度與公平性，保護個人資料，並為高影響結果提供解釋或申訴途徑。

對生成式 AI 而言，組織應查證重要主張，測試幻覺與有害輸出，控制敏感資料，處理內容來源與智慧財產問題，並讓具備資格的人員繼續負責法律、醫療、金融及安全保護等決策。

對 AI 智能代理而言，技術與組織控制則需要更進一步：

1. 界定使用範圍： 在部署前決定代理可以做什麼、不能做什麼。
2. 限制存取權： 採用最小權限憑證、受限工具、交易額度與沙盒環境。
3. 在關鍵節點要求核准： 涉及金融、法律、隱私與安全的行動，不應在沒有適當人工授權下執行。
4. 讓活動可稽核： 保存日誌、持續監控行為，並明確指定事故責任人。
5. 進行對抗性測試： 在部署前及運作期間，測試提示注入、資料外洩、有害行為與失敗復原能力。
6. 保留人工控制權： 人員應能停止、覆寫並質疑具有重大後果的代理行動。

新加坡資訊通信媒體發展局（IMDA）的《AI 智能代理模型治理框架》，正是以這種風險為本的方式提供指引，適用於自行開發代理或部署第三方方案的組織。 其核心訊息是逐步提升自主程度：先從唯讀協助開始，再進入低風險行動；不可逆或高影響的行動，則保留給明確的人工核准。

AI 的下一步：能力擴張，治理也要同步升級

AI 的演進，與其說是三個彼此完全獨立的時代，不如說是一組不斷擴張的能力堆疊：

• 傳統系統負責預測與分類；
• 生成式系統負責創作與轉換；
• AI 智能代理再加入規劃、工具使用與實際行動。

治理也必須同步升級。準確度與公平性控制仍然不可或缺，但已不足以應付新的能力。生成式系統需要更嚴格的查證、來源追溯與內容安全措施；代理則額外需要權限邊界、行動審批點、資安監控與清楚的責任歸屬。

AI 越能自行完成工作，組織就越需要謹慎決定：它究竟被允許做什麼，以及哪些事情必須停下來交由人判斷。

2. 生成式 AI：從預測標籤到創造內容

生成式 AI 把使用者體驗從「這屬於哪一類？」改變成「請依照這項指示，創作或轉換某種內容。」大型模型可以產生看似合理的文字、圖像、音訊與程式碼，支援客服回覆草稿、翻譯、教學、法律資料摘要、軟體開發協助與創意工作等用途。

這類系統能降低製作初稿所需的時間與成本，提供與複雜資訊互動的對話介面，也讓專業人士以新的方式處理內容。它們不一定只為了取代固定決策，也可以用來擴增人的能力。

核心弱點：看似合理，不代表真的正確

生成式模型可能用非常肯定的語氣，捏造或錯誤描述來源、法律依據、醫療資訊，甚至程式碼。美國國家標準暨技術研究院（NIST）使用 confabulation 一詞，指「以自信語氣產出錯誤或虛假的內容」；日常討論中通常稱為「幻覺」或「捏造」。

因此，只要涉及事實準確性，查證就不可省略。可採用的防護措施包括：從可信資料中檢索內容、附上引用、進行結構化評估、做領域專屬測試，以及交由具備資格的人員審查。流暢的回答應被視為草稿或預測，而不是證明其內容正確的憑據。

生成式系統帶來的更廣泛風險

生成式 AI 也牽涉資料保護、智慧財產、錯誤資訊與輸出來源追溯等問題。歐盟執委會針對研究用途的指引指出，儘管 AI 能帶來許多機會，研究人員仍須對自己發表的成果負最終責任。

教育領域則面臨另一項挑戰：如果學生經常把寫作、推理與解題工作交給 AI，可能得到更精緻的成果，卻減少實際練習基礎能力的機會。相關教育指引將不準確或帶有偏見的內容、有害素材、資料外洩、智慧財產侵權與學術誠信問題列為需要管理的風險。

在敏感對話中，安全失誤可能更加嚴重。生成式系統可能產出仇恨、暴力、色情或操控性內容，也可能無法妥善回應表達自傷意圖的人。NIST 將危險或暴力建議、隱私與有害偏見列為需要處理的風險。 在高風險情境中，AI 不應取代合資格的照護或人工安全機制；系統需要具備可靠的拒答與升級處理能力、隱私控制，以及能即時連接人工支援的清楚途徑。

3. AI 智能代理：規劃、使用工具並採取行動

AI 智能代理在模型外加上一個「行動迴圈」。它不只是對提示作出一次回覆，而是能理解目標、拆解步驟、呼叫瀏覽器、程式碼執行環境、電子郵件服務或 API 等工具，查看結果、修改計畫，再繼續執行。

史丹佛大學將 agentic AI 描述為具自主或半自主能力的系統：它能解讀目標、安排行動順序、使用工具、根據回饋作出反應，並在指定限制內調整做法以完成任務。

三者的實際差異可以這樣理解：

• 預測型系統會替交易評分；
• 生成式系統會替這筆交易撰寫回覆草稿；
• 如果獲得必要權限，AI 智能代理則可能調查交易、更新案件紀錄，再發送訊息。

Google 的 Jules 展示了軟體開發場景中的用法。Google 表示，Jules 是非同步的程式開發代理，能整合程式碼儲存庫，把程式碼複製到雲端虛擬機器中，處理開發任務，之後交由人員審查。 能使用工具的開源代理則代表另一種方向；LinkedIn 的 Hiring Assistant 也顯示，代理式工作流程正延伸到人才搜尋與招聘。

AI 智能代理之所以吸引人，在於它能完成多階段工作，而不只是建議下一步。例如，程式開發代理可以調查錯誤、修改多個檔案、執行測試，再準備好待審查的合併請求；工作流程代理則可以蒐集資料、整理內容，並準備交由人員核准的通信。

自主性越高，風險為何也越高？

能規劃，不等於真正可靠地理解情境。代理可能誤讀網頁、選擇不佳的計畫、遵循惡意指示，或讓一個小錯誤在多個步驟中逐步放大。史丹佛《2026 AI Index》指出，代理在 OSWorld——一項測試真實電腦操作任務的基準——上的任務成功率，已由 12% 提升至約 66%，但在結構化測試中仍大約每三次失敗一次。

聊天機器人的幻覺可能停留在溝通層面的問題；但擁有登入憑證、瀏覽器存取權或付款權限的代理，可能把同樣的錯誤轉化為外部實際行動。因此，代理治理不只要關注輸出品質，也必須處理權限、可逆性與責任歸屬。

AI 智能代理的主要安全風險

當代理能影響系統、金錢、資料或其他人時，風險尤其值得注意：

• 未經授權的付款： 代理可能選錯商品、超出預算，或遭惡意網頁操控。
• 隱私外洩與資料竊取： 一旦能存取電子郵件、檔案、客戶紀錄、原始碼或 API 金鑰，代理就可能在提示注入等攻擊下洩露資料。
• 資安與軟體損害： 代理可能引入不安全的程式碼、修改設定、刪除資源，或透過日誌與外部工具暴露機密資訊。
• 責任斷層： 模型供應商、應用程式開發者、部署組織、工具供應商與使用者之間，可能出現責任不清的情況。
• 操控使用者： 長時間互動、持續採取行動的代理，可能對使用者產生不當影響；尤其當使用者較脆弱，或系統看起來比實際能力更可靠時，風險更高。

負責任的治理應該怎麼做？

控制措施應與系統能力及失敗後果相匹配。

對預測型 AI 而言，組織應先界定用途，衡量準確度與公平性，保護個人資料，並為高影響結果提供解釋或申訴途徑。

對生成式 AI 而言，組織應查證重要主張，測試幻覺與有害輸出，控制敏感資料，處理內容來源與智慧財產問題，並讓具備資格的人員繼續負責法律、醫療、金融及安全保護等決策。

對 AI 智能代理而言，技術與組織控制則需要更進一步：

1. 界定使用範圍： 在部署前決定代理可以做什麼、不能做什麼。
2. 限制存取權： 採用最小權限憑證、受限工具、交易額度與沙盒環境。
3. 在關鍵節點要求核准： 涉及金融、法律、隱私與安全的行動，不應在沒有適當人工授權下執行。
4. 讓活動可稽核： 保存日誌、持續監控行為，並明確指定事故責任人。
5. 進行對抗性測試： 在部署前及運作期間，測試提示注入、資料外洩、有害行為與失敗復原能力。
6. 保留人工控制權： 人員應能停止、覆寫並質疑具有重大後果的代理行動。

新加坡資訊通信媒體發展局（IMDA）的《AI 智能代理模型治理框架》，正是以這種風險為本的方式提供指引，適用於自行開發代理或部署第三方方案的組織。 其核心訊息是逐步提升自主程度：先從唯讀協助開始，再進入低風險行動；不可逆或高影響的行動，則保留給明確的人工核准。

AI 的下一步：能力擴張，治理也要同步升級

AI 的演進，與其說是三個彼此完全獨立的時代，不如說是一組不斷擴張的能力堆疊：

• 傳統系統負責預測與分類；
• 生成式系統負責創作與轉換；
• AI 智能代理再加入規劃、工具使用與實際行動。

治理也必須同步升級。準確度與公平性控制仍然不可或缺，但已不足以應付新的能力。生成式系統需要更嚴格的查證、來源追溯與內容安全措施；代理則額外需要權限邊界、行動審批點、資安監控與清楚的責任歸屬。

AI 越能自行完成工作，組織就越需要謹慎決定：它究竟被允許做什麼，以及哪些事情必須停下來交由人判斷。