微軟開源 AI 代理自動化單元測試生成與驗證

它透過一套名爲 「研究-規劃-實作」（RPI，Research-Plan-Implement） 的結構化管線來協調測試生成，並在完成前執行多階段的品質檢查，以確保測試的實質有效性 。在微軟內部 152 項任務的基準測試中，該代理達成了 92.1% 的任務完成率，明顯優於標準 GitHub Copilot 提示的 78.9% 。目前，這個代理僅限於生成單元測試，明確排除了整合測試、端對端測試、瀏覽器測試及效能測試 。

RPI 管線如何運作？

code-testing-generator 遵循一套結構化的步驟，而非貿然生成測試 ：

1. 學習程式庫 – 掃描程式碼庫，自動偵測所使用的語言、測試框架、既有的測試模式，以及正確的建置和測試指令 。
2. 選擇執行路徑 – 根據任務範圍，從三種模式中選擇一種 ：
   • 直接模式（Direct） – 讀取程式碼、撰寫測試、驗證結果。
   • 單次通過模式（Single pass） – 一次性完成研究與規劃，再進行實作。
   • 迭代模式（Iterative） – 針對大型需求或覆蓋率目標，重複進行研究、規劃、實作的循環。
3. 規劃與撰寫測試 – 代理會先處理較簡單的程式碼，再逐步處理依賴關係較多的程式碼。它會將每個行爲對應到一個測試檔案，遵循本地的撰寫慣例，並在過程中即時修正編譯錯誤或斷言失敗 。
4. 驗證測試 – 在完成前，代理會執行一項多階段的品質檢查（詳見下文）。

此 RPI 程序由三個核心步驟構成：研究（Research）、規劃（Plan）與實作（Implement）。

驗證流程：輕量級突變測試與品質保證

這個代理會對每個生成的測試執行輕量級的突變測試與品質保證 ：

• 考慮一些應該會讓測試失敗的細微程式碼變更。
• 檢查是否存在薄弱或遺漏的斷言（assertion）。
• 確認每個要求的測試情境都有對應的測試案例。
• 建置整個工作區並執行完整的測試套件。
• 確認程式庫原本的測試指令能夠正確找到這些新的測試。

這樣做的目的是確保一個「通過」的測試是真正有意義的，並且能在持續整合（CI）流程中被妥善發現與執行 。該代理所撰寫的單元測試會隔離受測程式碼，並模擬（mock）外部服務及其他外部依賴 。

支援的語言與 IDE 整合

該代理以 dotnet-test 插件的形式，託管在 GitHub 上採用 MIT 授權的 dotnet/skills 儲存庫中 。它支援 ：

• 語言 – .NET、Python、Go、TypeScript、Java 以及 Rust。
• IDE/工具 – GitHub Copilot CLI、Visual Studio Code，以及 VS Code Insiders（透過預覽功能的插件支援）。

由於它以代理定義（agent definition）而非代管服務的形式發布，因此可以運行在團隊既有的任何程式碼代理（coding agent）中，所有程式碼都在本地端處理，無需透過外部服務來回傳輸 。

目前的限制

• 測試類型 – 僅支援單元測試。整合測試、端對端測試、瀏覽器測試及效能測試目前明確不在支援範圍內 。
• 不修改正式環境程式碼 – 代理在生成測試的過程中，絕不會修改正式環境（production）的程式碼 。
• 避免不穩定測試 – 代理會避免生成那些會呼叫外部 URL、開啟網路連接埠，或依賴於精確計時（timing）的單元測試，以減少不穩定的測試結果 。

基準測試表現

在微軟內部針對 152 項任務的基準測試中，code-testing-generator 代理成功完成了 140 項任務（完成率 92.1%），而標準的 GitHub Copilot 則完成了 120 項（完成率 78.9%）。這項效能差距凸顯了專用代理的優勢：它會在生成測試前深入研究程式碼庫，而非僅依賴通用的提示詞 。