核心理念：安全要由設計一路做到部署

傳統安全測試通常發生喺開發後期，但 Microsoft 提出嘅方法係 「左移安全」（shift‑left security）：

• Clarity：主要用於設計階段，幫團隊在寫程式之前分析風險。
• RAMPART：用於測試同驗證階段，把攻擊情境轉成自動化測試。

兩者結合之後會形成一個持續循環：

1. 提早識別風險
2. 持續測試代理行為
3. 將事故或漏洞轉化為回歸測試

呢種方式可以令 AI 系統隨住時間變得更安全。

RAMPART：為 AI Agent 做持續對抗測試

RAMPART（Risk Assessment and Measurement Platform for Agentic Red Teaming） 係專為 AI agents 設計嘅測試框架。工程師可以把正常情境同攻擊情境寫成自動化測試。

與 pytest 測試流程整合

RAMPART 最大特色係 原生支援 pytest。pytest 係 Python 生態中最常用嘅測試框架之一。

意味住開發者可以用同樣方式寫：

• 單元測試
• 整合測試
• AI 安全測試

然後一齊在 CI pipeline 入面執行。

對工程團隊嚟講，呢個設計大幅降低導入門檻，因為唔需要學一套全新工具。

將攻擊情境寫成測試

RAMPART 可以模擬 AI agent 在真實環境可能遇到嘅攻擊，例如：

• Prompt injection 嘗試
• 試圖繞過安全政策嘅指令
• 危險工具調用（例如 shell command）
• 敏感資料外洩請求

每個場景都可以寫成測試，檢查 AI 代理會唔會拒絕危險行為。

將紅隊發現變成回歸測試

AI 系統經常由安全團隊做 red teaming（紅隊測試） 去找漏洞。

RAMPART 的重點係：

將一次性漏洞發現，變成永久測試。

例如，如果紅隊發現一個 prompt injection 可以令 agent 洩露資料，工程師可以把該場景寫成 回歸測試（regression test），確保之後更新模型或提示詞時唔會再出現同樣問題。

應對 AI 的「非確定性」

同傳統軟件唔同，AI agent 嘅行為通常 唔完全 deterministic（非確定性）。

即係話：

• 一次測試成功
• 並唔代表之後每次都安全

RAMPART 透過 多次重複執行風險場景，幫團隊監測長期行為變化，而唔係依賴單次測試結果。

與 CI/CD 流程整合

由於測試可以在 CI/CD pipeline 中執行，企業可以設定安全門檻。例如當以下元素改動時自動測試：

• prompt 或 agent 指令
• 使用的模型
• API 或工具連接
• 檢索資料來源
• 安全政策

如果安全測試失敗，系統可以 阻止部署。

Clarity：在寫程式之前思考風險

如果話 RAMPART 係「測試工具」，咁 Clarity 就更似 設計階段的安全思考框架。

Microsoft 形容 Clarity 係一個 結構化的「設計討論板」，用來幫團隊回答一些重要問題，例如：

• AI agent 應該做什麼任務？
• 有哪些任務必須拒絕？
• 需要哪些工具或權限？
• 有哪些合理的濫用方式？
• 上線前應該準備哪些安全測試？

透過這些問題，團隊可以在寫程式之前就發現風險。

事故之後的復盤工具

Clarity 不只在規劃階段有用。

當出現以下情況時，它同樣可以派上用場：

• RAMPART 測試失敗
• AI agent 在生產環境出現異常行為
• 發生安全事故

團隊可以用 Clarity 重新檢視設計假設，例如：

• 哪些風險當初被忽略
• 哪些控制措施不足
• 需要新增哪些安全測試

然後再把這些發現轉成新的 RAMPART regression tests，逐步加強系統安全。

為什麼企業 AI 特別需要這種方法

企業 AI agent 往往需要：

• 存取內部資料
• 調用多個 API
• 操作自動化工具
• 與員工或客戶互動

因此，一個 prompt injection 或錯誤工具調用，可能會導致真實營運風險，例如資料洩漏或系統被濫用。

Microsoft 推出 RAMPART 同 Clarity 的目標，就是把 AI 安全變成一種 持續工程實踐（engineering discipline）：

• 早期識別風險
• 持續對抗測試
• 把每個漏洞變成新測試
• 隨著系統演化不斷加強防護

隨著 AI agents 越來越自主，將安全直接嵌入開發流程，很可能會成為企業 AI 系統的標準做法。

核心理念：安全要由設計一路做到部署

傳統安全測試通常發生喺開發後期，但 Microsoft 提出嘅方法係 「左移安全」（shift‑left security）：

• Clarity：主要用於設計階段，幫團隊在寫程式之前分析風險。
• RAMPART：用於測試同驗證階段，把攻擊情境轉成自動化測試。

兩者結合之後會形成一個持續循環：

1. 提早識別風險
2. 持續測試代理行為
3. 將事故或漏洞轉化為回歸測試

呢種方式可以令 AI 系統隨住時間變得更安全。

RAMPART：為 AI Agent 做持續對抗測試

RAMPART（Risk Assessment and Measurement Platform for Agentic Red Teaming） 係專為 AI agents 設計嘅測試框架。工程師可以把正常情境同攻擊情境寫成自動化測試。

與 pytest 測試流程整合

RAMPART 最大特色係 原生支援 pytest。pytest 係 Python 生態中最常用嘅測試框架之一。

意味住開發者可以用同樣方式寫：

• 單元測試
• 整合測試
• AI 安全測試

然後一齊在 CI pipeline 入面執行。

對工程團隊嚟講，呢個設計大幅降低導入門檻，因為唔需要學一套全新工具。

將攻擊情境寫成測試

RAMPART 可以模擬 AI agent 在真實環境可能遇到嘅攻擊，例如：

• Prompt injection 嘗試
• 試圖繞過安全政策嘅指令
• 危險工具調用（例如 shell command）
• 敏感資料外洩請求

每個場景都可以寫成測試，檢查 AI 代理會唔會拒絕危險行為。

將紅隊發現變成回歸測試

AI 系統經常由安全團隊做 red teaming（紅隊測試） 去找漏洞。

RAMPART 的重點係：

將一次性漏洞發現，變成永久測試。

例如，如果紅隊發現一個 prompt injection 可以令 agent 洩露資料，工程師可以把該場景寫成 回歸測試（regression test），確保之後更新模型或提示詞時唔會再出現同樣問題。

應對 AI 的「非確定性」

同傳統軟件唔同，AI agent 嘅行為通常 唔完全 deterministic（非確定性）。

即係話：

• 一次測試成功
• 並唔代表之後每次都安全

RAMPART 透過 多次重複執行風險場景，幫團隊監測長期行為變化，而唔係依賴單次測試結果。

與 CI/CD 流程整合

由於測試可以在 CI/CD pipeline 中執行，企業可以設定安全門檻。例如當以下元素改動時自動測試：

• prompt 或 agent 指令
• 使用的模型
• API 或工具連接
• 檢索資料來源
• 安全政策

如果安全測試失敗，系統可以 阻止部署。

Clarity：在寫程式之前思考風險

如果話 RAMPART 係「測試工具」，咁 Clarity 就更似 設計階段的安全思考框架。

Microsoft 形容 Clarity 係一個 結構化的「設計討論板」，用來幫團隊回答一些重要問題，例如：

• AI agent 應該做什麼任務？
• 有哪些任務必須拒絕？
• 需要哪些工具或權限？
• 有哪些合理的濫用方式？
• 上線前應該準備哪些安全測試？

透過這些問題，團隊可以在寫程式之前就發現風險。

事故之後的復盤工具

Clarity 不只在規劃階段有用。

當出現以下情況時，它同樣可以派上用場：

• RAMPART 測試失敗
• AI agent 在生產環境出現異常行為
• 發生安全事故

團隊可以用 Clarity 重新檢視設計假設，例如：

• 哪些風險當初被忽略
• 哪些控制措施不足
• 需要新增哪些安全測試

然後再把這些發現轉成新的 RAMPART regression tests，逐步加強系統安全。

為什麼企業 AI 特別需要這種方法

企業 AI agent 往往需要：

• 存取內部資料
• 調用多個 API
• 操作自動化工具
• 與員工或客戶互動

因此，一個 prompt injection 或錯誤工具調用，可能會導致真實營運風險，例如資料洩漏或系統被濫用。

Microsoft 推出 RAMPART 同 Clarity 的目標，就是把 AI 安全變成一種 持續工程實踐（engineering discipline）：

• 早期識別風險
• 持續對抗測試
• 把每個漏洞變成新測試
• 隨著系統演化不斷加強防護

隨著 AI agents 越來越自主，將安全直接嵌入開發流程，很可能會成為企業 AI 系統的標準做法。