code-testing-generator : l'agent open source de Microsoft pour des tests unitaires fiables

Comment fonctionne le pipeline Recherche-Planification-Implémentation (RPI)

L'agent suit un pipeline structuré en quatre grandes étapes, plutôt que de générer les tests immédiatement :

1. Apprentissage du dépôt – Il analyse le code pour identifier le langage, le framework de test, les motifs de tests existants, ainsi que les commandes de build et de test correctes .
2. Choix du mode d'exécution – Selon l'ampleur de la tâche, il sélectionne l'un des trois modes suivants :
   • Direct : Lire le code, écrire les tests, valider le résultat.
   • Passe unique : Rechercher et planifier une fois, puis implémenter.
   • Itératif : Répéter le cycle Recherche-Planification-Implémentation pour les demandes volumineuses ou les objectifs de couverture.
3. Planification et rédaction des tests – L'agent commence par le code simple, puis aborde le code avec plus de dépendances. Il associe chaque comportement à un fichier de test, respecte les conventions locales et corrige les erreurs de compilation ou d'assertion au fur et à mesure .
4. Validation des tests – Avant de finaliser, l'agent exécute un contrôle qualité multi-étapes (voir ci-dessous) .

Le processus RPI se décompose donc en trois phases : Recherche, Planification et Implémentation .

Processus de validation : mutation testing léger et assurance qualité

L'agent effectue une forme légère de mutation testing et d'assurance qualité sur chaque test généré :

• Il considère de petites modifications du code qui devraient faire échouer les tests.
• Il vérifie la présence d'assertions faibles ou manquantes.
• Il s'assure que chaque scénario demandé dispose d'un test correspondant.
• Il construit l'intégralité du workspace et exécute la suite de tests complète.
• Il confirme que la commande de test normale du dépôt peut trouver les nouveaux tests.

Cette approche garantit qu'un test "réussi" est réellement pertinent et détectable dans l'intégration continue (CI) . L'agent écrit des tests unitaires qui isolent le code testé et simulent (mockent) les services externes et autres dépendances .

Langages et environnements pris en charge

L'agent est fourni sous forme du plugin dotnet-test dans le dépôt dotnet/skills sur GitHub, sous licence MIT . Il fonctionne avec :

• Langages – .NET, Python, Go, TypeScript, Java et Rust.
• IDE/outils – GitHub Copilot CLI, Visual Studio Code et VS Code Insiders (via le support des plugins, en aperçu).

Étant distribué comme une définition d'agent plutôt qu'un service hébergé, il s'exécute dans l'agent de codage que l'équipe utilise déjà, le code restant local et ne transitant pas par un service externe .

Limitations actuelles

• Types de tests – Seuls les tests unitaires sont pris en charge. Les tests d'intégration, de bout en bout, navigateur et de performance sont explicitement exclus .
• Aucune modification du code de production – L'agent ne modifie jamais le code de production pendant la génération des tests .
• Évite les tests instables (flaky) – Il évite les tests unitaires qui appellent des URL externes, ouvrent des ports réseau ou dépendent d'un timing précis .

Performances benchmarks

Sur le benchmark interne de Microsoft composé de 152 tâches, l'agent code-testing-generator a accompli 140 tâches (92,1 %) contre 120 tâches (78,9 %) pour GitHub Copilot standard . Cet écart de performance souligne l'avantage d'un agent spécialisé qui étudie le code avant de générer les tests, par opposition à une invite générique .