コードを読んでからテストを書く「code-testing-generator」、Microsoftがオープンソース化

Research-Plan-Implement（RPI）パイプラインの仕組み

エージェントは即座にテストを生成するのではなく、以下の構造化されたパイプラインに従います：

1. リポジトリを学習 – コードベースをスキャンし、言語、テストフレームワーク、既存のテストパターン、正しいビルド・テストコマンドを検出します。
2. 実行パスを選択 – タスクの規模に応じて3つのモードから選択します：
   • Direct（直接） – コードを読み、テストを書き、結果を検証。
   • Single pass（単一パス） – 調査と計画を一度行い、実装。
   • Iterative（反復） – 大規模なリクエストやカバレッジ目標のためにRPIサイクルを繰り返す。
3. テストを計画・記述 – 単純なコードから始め、依存関係の多いコードへと進み、各振る舞いをテストファイルにマッピングし、ローカルの規約に従い、コンパイルエラーやアサーションエラーを修正しながらテストを作成します。
4. テストを検証 – 完了前にマルチステップの品質チェックを実行します（後述）。

RPIプロセスは、Research（調査）、Plan（計画）、Implement（実装）の3つのステップから構成されます。

検証プロセス：軽量ミューテーションテストと品質保証

エージェントは生成されたすべてのテストに対して、軽量なミューテーションテストと品質保証を実行します：

• テストを失敗させるはずの小さなコード変更を考慮。
• 弱いアサーションや不足しているアサーションをチェック。
• 要求されたすべてのシナリオに対応するテストが存在することを確認。
• ワークスペース全体をビルドし、テストスイート全体を実行。
• リポジトリの通常のテストコマンドが新しいテストを発見できることを確認。

これにより、「パスする」テストが実際に意味を持ち、CI（継続的インテグレーション）で発見可能であることが保証されます。

対応言語とIDE統合

エージェントはGitHubのdotnet/skillsリポジトリ内のMITライセンスのdotnet-testプラグインとして提供されます。対応環境は以下の通りです：

• 言語 – .NET、Python、Go、TypeScript、Java、Rust
• IDE/ツール – GitHub Copilot CLI、Visual Studio Code、VS Code Insiders（プラグインサポートはプレビュー機能）

ホステッドサービスではなくエージェント定義として提供されるため、チームが既に使用しているコーディングエージェント上で動作し、コードはローカルに留まり、外部サービスを経由しません。

現在の制限事項

• テストの種類 – 単体テストのみサポート。統合テスト、エンドツーエンドテスト、ブラウザテスト、パフォーマンステストは対象外です。
• プロダクションコードの変更不可 – エージェントはテスト生成中にプロダクションコードを変更しません。
• フレーキーテスト（不安定なテスト）の回避 – 外部URLの呼び出し、ネットワークポートの開放、厳密なタイミングに依存する単体テストは避けられます。

ベンチマークパフォーマンス

Microsoft社内のベンチマーク（152タスク）において、code-testing-generatorエージェントは140タスク（92.1%）を完了しました。これは通常のGitHub Copilotの120タスク（78.9%）を大幅に上回る結果です。このパフォーマンス差は、汎用的なプロンプトに頼るのではなく、コードベースを調査した上でテストを生成する専用エージェントの優位性を示しています。