Microsoft code-testing-generator: l'agente AI open-source che scrive e convalida test unitari

Come funziona la pipeline research-plan-implement (RPI)

L'agente segue una pipeline strutturata invece di generare test immediatamente :

1. Impara dal repository – Scansiona il codice per rilevare il linguaggio, il framework di test, i pattern esistenti e i comandi di build e test corretti .
2. Sceglie un percorso di esecuzione – In base all'ambito dell'attività, seleziona una di tre modalità :
   • Diretta – Legge il codice, scrive i test, valida il risultato.
   • Passaggio singolo – Ricerca e pianifica una volta, poi implementa.
   • Iterativa – Ripete il ciclo ricerca-pianificazione-implementazione per richieste estese o obiettivi di copertura.
3. Pianifica e scrive i test – L'agente inizia con codice semplice, passa a codice con più dipendenze, mappa ogni comportamento in un file di test, segue le convenzioni locali e corregge eventuali errori di compilazione o asserzioni durante il processo .
4. Valida i test – Prima di concludere, esegue un controllo qualità a più fasi (vedi sotto) .

Il processo RPI si compone di tre fasi: Ricerca, Pianificazione e Implementazione .

Processo di validazione: mutation testing leggero e garanzia di qualità

L'agente esegue una forma leggera di mutation testing e garanzia di qualità su ogni test generato :

• Considera piccole modifiche al codice che dovrebbero far fallire i test.
• Verifica la presenza di asserzioni deboli o mancanti.
• Controlla che ogni scenario richiesto abbia un test corrispondente.
• Compila l'intero workspace ed esegue l'intera suite di test.
• Conferma che il comando di test normale del repository sia in grado di trovare i nuovi test.

Questo garantisce che un test che "passa" sia effettivamente significativo e rilevabile in CI . L'agente scrive test unitari che isolano il codice sotto test e simulano (mock) i servizi esterni e altre dipendenze .

Linguaggi supportati e integrazioni con IDE

L'agente è disponibile come plugin dotnet-test all'interno del repository dotnet/skills su GitHub, con licenza MIT . Funziona con :

• Linguaggi – .NET, Python, Go, TypeScript, Java e Rust.
• IDE/strumenti – GitHub Copilot CLI, Visual Studio Code e VS Code Insiders (tramite supporto plugin in anteprima).

Poiché viene distribuito come definizione di agente e non come servizio ospitato, viene eseguito all'interno dell'agente di codifica che un team già utilizza, con il codice che rimane locale senza passare attraverso un servizio esterno .

Limiti attuali

• Tipi di test – Sono supportati solo i test unitari. I test di integrazione, end-to-end, browser e performance sono esplicitamente esclusi .
• Nessuna modifica al codice di produzione – L'agente non modifica mai il codice di produzione durante la generazione dei test .
• Evita test instabili (flaky) – L'agente evita test unitari che chiamano URL esterni, aprono porte di rete o dipendono da tempistiche precise .

Prestazioni nei benchmark

Nel benchmark interno di Microsoft su 152 attività, l'agente code-testing-generator ha completato 140 attività (92,1%) contro le 120 attività (78,9%) di GitHub Copilot standard . Questo divario di prestazioni evidenzia il vantaggio di un agente specializzato che analizza il codice prima di generare test, rispetto a un prompt generico .