Microsoft 開源 AI Agent code-testing-generator：自動寫 Unit Test 兼驗證，完成率 92.1% 贏 Copilot

佢行嘅係一個 Research-Plan-Implement (RPI) 流程，即係「研究 → 計劃 → 實行」三步曲 。成個過程唔係 straight line，而係一個有結構嘅 pipeline ：

1. Learn from the repository – Scan 晒成個 codebase，detect 語言、測試框架、現有嘅 test pattern，以及正確嘅 build 同 test command 。
2. Choose an execution path – 根據任務範圍，揀三種模式之一 ：
   • Direct – 直接讀 code、寫 test、驗證結果。
   • Single pass – 研究同計劃一次，然後一次過 implement。
   • Iterative – 重複 RPI 循環，適合大規模要求或者 coverage 目標。
3. Plan and write tests – 由簡單 code 開始，逐步處理多 dependency 嘅 code，跟返本地慣例，逐個行為 map 到 test file，途中會自動 fix compilation 同 assertion 錯誤 。
4. Validate the tests – 臨尾會做一個多步驟嘅質量檢查（詳情見下）。

驗證過程：輕量 Mutation Testing + QA

呢個 agent 最特別嘅地方係，佢唔係寫完就 bye bye，而係會對每個生成嘅 test 做輕量 mutation testing 同質量保證 ：

• 模擬細微嘅 code change，睇吓個 test 會唔會 應該 fail。
• Check 有冇 weak 或者 missing assertion。
• 確認每個 requested scenario 都有對應嘅 test。
• Build 晒成個 workspace 再 run 晒成個 test suite。
• 確認個 repo 嘅正常 test command 可以搵到啱啱寫好嘅 test。

咁樣做嘅目的係確保一個「pass」嘅 test 係真係有意義，而且喺 CI pipeline 入面可以俾人搵到 。

支援嘅語言同 IDE 整合

呢個 agent 以 dotnet-test plugin 嘅形式，放咗喺 MIT 授權嘅 dotnet/skills GitHub repository 入面 。佢支援以下語言同工具 ：

• 語言 – .NET、Python、Go、TypeScript、Java、Rust。
• IDE/工具 – GitHub Copilot CLI、Visual Studio Code、VS Code Insiders（plugin 支援，屬於 preview 功能）。

因為佢係以 agent definition 形式 ship 出嚟，唔係一個 hosted service，所以你可以喺你本身用緊嘅 coding agent 入面直接 run，code 會留喺本地，唔使經外部 server 來回 。

目前限制

• Test 類型 – 淨係支援 Unit Test。Integration test、end-to-end test、browser test、performance test 都唔喺 scope 入面 。
• 唔會改 production code – 生成 test 期間，agent 絕對唔會郁 production code 。
• 避開 flaky tests – 佢會避開啲會 call external URL、開 network port、或者依賴 exact timing 嘅 unit test 。

Benchmarks

喺 Microsoft 內部嘅 152 個任務 benchmark 入面，code-testing-generator agent 成功完成咗 140 個任務（92.1%），而標準 GitHub Copilot 就只係完成咗 120 個（78.9%）。呢個差距充分說明咗，一個專門設計嘅 agent 如果肯花時間研究 codebase 先寫 test，效果係比一般用途嘅 prompt 好得多嘅 。