核心理念：讓 AI 安全成為日常工程流程

傳統安全測試通常在產品接近完成時才進行，但微軟的設計思路是「把安全往前移」。

兩個工具分別對應不同階段：

• Clarity：在寫程式之前，幫助團隊思考設計與風險。
• RAMPART：在開發與部署過程中，持續測試代理的安全行為。

這形成一個循環流程：

1. 在設計階段找出潛在風險。
2. 把風險轉換成自動化測試。
3. 在每次更新時持續執行測試。
4. 將新的漏洞或事故再轉化為測試案例。

透過這種方式，安全不再是一次性的檢查，而是一種持續改進的工程實踐。

RAMPART：為 AI Agent 設計的持續對抗測試框架

**RAMPART（Risk Assessment and Measurement Platform for Agentic Red Teaming）**是一個專門用來測試 AI Agent 行為的開源框架。

它的核心概念是：把安全攻擊情境寫成測試程式，像單元測試一樣自動執行。

與 pytest 深度整合

RAMPART 採用 Python 開發者熟悉的 pytest 測試框架。工程師可以用與普通單元測試相同的方式撰寫 AI 安全測試，例如：

• 模擬惡意輸入
• 測試代理是否拒絕不安全操作
• 檢查是否違反安全政策

因為它與 pytest 相容，這些測試可以直接在 CI（Continuous Integration）流程中自動執行。

把攻擊情境變成測試案例

RAMPART 能模擬多種 AI Agent 在實際環境中可能遇到的攻擊，例如：

• 提示注入（Prompt Injection）
• 嘗試繞過安全政策的請求
• 危險的工具或 shell 指令呼叫
• 嘗試竊取或外傳敏感資料

每一個情境都可以寫成測試案例，用來驗證代理是否能安全回應或拒絕操作。

把紅隊發現變成長期回歸測試

安全研究人員或紅隊測試常常會發現新的漏洞，但如果只修補一次，未來更新仍可能再次出現。

RAMPART 的設計理念是：

• 將紅隊發現的漏洞
• 或真實事故中的問題

轉換為永久的 regression tests（回歸測試），確保未來更新不會再次引入同樣的問題。

應對 AI 的「非確定性」行為

與傳統軟體不同，AI 模型的輸出具有 概率性（probabilistic behavior）。同一個輸入可能在不同時間得到不同回應。

因此一次測試成功並不能保證系統始終安全。

RAMPART 的策略是 反覆測試高風險情境，在多次建置與版本更新中持續觀察代理行為，以偵測安全退化（safety regression）。

與 CI/CD 流程整合

在企業環境中，RAMPART 測試可以成為 CI/CD pipeline 的一部分。

當以下項目發生變更時：

• 提示（prompts）或系統指令
• 使用的模型
• API 或外部工具
• 檢索資料來源
• 安全策略

CI 系統會自動執行測試。如果代理未通過安全檢查，部署流程可以被直接阻擋。

Clarity：在寫程式之前先想清楚風險

如果說 RAMPART 是測試工具，那 Clarity 更像是設計階段的安全思考框架。

微軟把它描述為一個 「結構化的設計討論平台」，用來幫助團隊在開發前釐清 AI Agent 的風險與責任。

Clarity 會引導團隊回答一系列問題，例如：

• 這個代理應該執行哪些任務？
• 哪些任務必須拒絕？
• 它需要哪些工具或權限？
• 可能被濫用的情境有哪些？
• 上線前應該建立哪些安全測試？

這些討論可以在還沒寫任何程式碼之前完成，讓團隊及早發現設計上的盲點。

事故或測試失敗後的分析工具

Clarity 不只用於規劃階段，也可以在 測試失敗或安全事件發生後使用。

例如當：

• RAMPART 測試失敗
• 或 AI Agent 在實際運行中出現異常行為

團隊可以回到 Clarity 的設計分析流程，重新檢視：

• 哪些風險當初沒有被考慮
• 哪些控制措施不足
• 是否需要新增安全測試

接著再把這些洞察轉換成新的 RAMPART 測試案例，讓系統逐步變得更安全。

為什麼這對企業 AI 很重要

企業 AI Agent 往往需要同時：

• 存取內部資料
• 呼叫 API
• 執行自動化工具
• 與使用者互動

一旦出現提示注入或錯誤工具呼叫，影響可能不只是回答錯誤，而是 真正的安全或營運風險。

透過把 設計分析（Clarity） 與 **持續攻擊測試（RAMPART）**結合，微軟希望讓 AI 安全成為一種持續進行的工程紀律，而不是在產品上線前才進行的單次檢查。

隨著 AI Agent 的自主程度不斷提高，這種「把安全嵌入開發流程」的方法，很可能會成為未來企業建構可靠 AI 系統的重要標準。

核心理念：讓 AI 安全成為日常工程流程

傳統安全測試通常在產品接近完成時才進行，但微軟的設計思路是「把安全往前移」。

兩個工具分別對應不同階段：

• Clarity：在寫程式之前，幫助團隊思考設計與風險。
• RAMPART：在開發與部署過程中，持續測試代理的安全行為。

這形成一個循環流程：

1. 在設計階段找出潛在風險。
2. 把風險轉換成自動化測試。
3. 在每次更新時持續執行測試。
4. 將新的漏洞或事故再轉化為測試案例。

透過這種方式，安全不再是一次性的檢查，而是一種持續改進的工程實踐。

RAMPART：為 AI Agent 設計的持續對抗測試框架

**RAMPART（Risk Assessment and Measurement Platform for Agentic Red Teaming）**是一個專門用來測試 AI Agent 行為的開源框架。

它的核心概念是：把安全攻擊情境寫成測試程式，像單元測試一樣自動執行。

與 pytest 深度整合

RAMPART 採用 Python 開發者熟悉的 pytest 測試框架。工程師可以用與普通單元測試相同的方式撰寫 AI 安全測試，例如：

• 模擬惡意輸入
• 測試代理是否拒絕不安全操作
• 檢查是否違反安全政策

因為它與 pytest 相容，這些測試可以直接在 CI（Continuous Integration）流程中自動執行。

把攻擊情境變成測試案例

RAMPART 能模擬多種 AI Agent 在實際環境中可能遇到的攻擊，例如：

• 提示注入（Prompt Injection）
• 嘗試繞過安全政策的請求
• 危險的工具或 shell 指令呼叫
• 嘗試竊取或外傳敏感資料

每一個情境都可以寫成測試案例，用來驗證代理是否能安全回應或拒絕操作。

把紅隊發現變成長期回歸測試

安全研究人員或紅隊測試常常會發現新的漏洞，但如果只修補一次，未來更新仍可能再次出現。

RAMPART 的設計理念是：

• 將紅隊發現的漏洞
• 或真實事故中的問題

轉換為永久的 regression tests（回歸測試），確保未來更新不會再次引入同樣的問題。

應對 AI 的「非確定性」行為

與傳統軟體不同，AI 模型的輸出具有 概率性（probabilistic behavior）。同一個輸入可能在不同時間得到不同回應。

因此一次測試成功並不能保證系統始終安全。

RAMPART 的策略是 反覆測試高風險情境，在多次建置與版本更新中持續觀察代理行為，以偵測安全退化（safety regression）。

與 CI/CD 流程整合

在企業環境中，RAMPART 測試可以成為 CI/CD pipeline 的一部分。

當以下項目發生變更時：

• 提示（prompts）或系統指令
• 使用的模型
• API 或外部工具
• 檢索資料來源
• 安全策略

CI 系統會自動執行測試。如果代理未通過安全檢查，部署流程可以被直接阻擋。

Clarity：在寫程式之前先想清楚風險

如果說 RAMPART 是測試工具，那 Clarity 更像是設計階段的安全思考框架。

微軟把它描述為一個 「結構化的設計討論平台」，用來幫助團隊在開發前釐清 AI Agent 的風險與責任。

Clarity 會引導團隊回答一系列問題，例如：

• 這個代理應該執行哪些任務？
• 哪些任務必須拒絕？
• 它需要哪些工具或權限？
• 可能被濫用的情境有哪些？
• 上線前應該建立哪些安全測試？

這些討論可以在還沒寫任何程式碼之前完成，讓團隊及早發現設計上的盲點。

事故或測試失敗後的分析工具

Clarity 不只用於規劃階段，也可以在 測試失敗或安全事件發生後使用。

例如當：

• RAMPART 測試失敗
• 或 AI Agent 在實際運行中出現異常行為

團隊可以回到 Clarity 的設計分析流程，重新檢視：

• 哪些風險當初沒有被考慮
• 哪些控制措施不足
• 是否需要新增安全測試

接著再把這些洞察轉換成新的 RAMPART 測試案例，讓系統逐步變得更安全。

為什麼這對企業 AI 很重要

企業 AI Agent 往往需要同時：

• 存取內部資料
• 呼叫 API
• 執行自動化工具
• 與使用者互動

一旦出現提示注入或錯誤工具呼叫，影響可能不只是回答錯誤，而是 真正的安全或營運風險。

透過把 設計分析（Clarity） 與 **持續攻擊測試（RAMPART）**結合，微軟希望讓 AI 安全成為一種持續進行的工程紀律，而不是在產品上線前才進行的單次檢查。

隨著 AI Agent 的自主程度不斷提高，這種「把安全嵌入開發流程」的方法，很可能會成為未來企業建構可靠 AI 系統的重要標準。