Microsofts open source AI-agent skriver unit tests uden hjælp

Sådan fungerer research-plan-implement (RPI)-pipelinen

Agenten følger en struktureret pipeline i stedet for at generere tests med det samme :

1. Undersøg repository – Den scanner kodebasen for at identificere sproget, den anvendte testramme, eksisterende testmønstre samt de korrekte build- og testkommandoer .
2. Vælg eksekveringssti – Baseret på opgavens omfang vælger den en af tre tilstande :
   • Direct – Læs kode, skriv tests, valider resultat.
   • Single pass – Undersøg og planlæg én gang, derefter implementér.
   • Iterative – Gentag research-plan-implement-cyklussen for store forespørgsler eller dækningsmål.
3. Planlæg og skriv tests – Agenten starter med simpel kode, bevæger sig til kode med flere afhængigheder, mapper hver adfærd til en testfil, følger lokale konventioner og retter kompilerings- eller asserteringsfejl undervejs .
4. Valider tests – Før afslutning kører agenten en flertrins kvalitetskontrol (se nedenfor) .

RPI-processen består af tre trin: Research, Plan og Implement .

Valideringsproces: letvægts mutationstestning og kvalitetssikring

Agenten udfører en letvægtsform for mutationstestning og kvalitetssikring på hver eneste genererede test :

• Overvejer små kodeændringer, der burde få testene til at fejle.
• Tjekker for svage eller manglende assertioner.
• Bekræfter, at hvert efterspurgt scenarie har en matchende test.
• Bygger hele workshoppen og kører hele testsuiten.
• Bekræfter, at repositoryets normale testkommando kan finde de nye tests.

Dette sikrer, at en test, der "består", faktisk er meningsfuld og kan findes i CI . Agenten skriver unit tests, der isolerer den testede kode og mock'er eksterne tjenester og andre afhængigheder .

Understøttede sprog og IDE-integrationer

Agenten leveres som dotnet-test-pluginnet i det MIT-licenserede dotnet/skills-repository på GitHub . Den fungerer med :

• Sprog – .NET, Python, Go, TypeScript, Java og Rust.
• IDEs/værktøjer – GitHub Copilot CLI, Visual Studio Code og VS Code Insiders (via plugin-support som en preview-funktion).

Da den leveres som en agentdefinition snarere end som en hosted service, kører den inde i den kodningsagent, et team allerede bruger, mens koden forbliver lokal frem for at blive sendt frem og tilbage til en ekstern service .

Nuværende begrænsninger

• Testtyper – Kun unit tests understøttes. Integrationstests, end-to-end-tests, browsertests og præstationstests er udtrykkeligt uden for omfanget .
• Ingen ændringer af produktionskode – Agenten ændrer aldrig produktionskode under testgenerering .
• Undgår flaky tests – Den undgår unit tests, der kalder eksterne URLs, åbner netværksporte eller afhænger af præcis timing .

Benchmark-præstation

På Microsofts interne benchmark med 152 opgaver gennemførte code-testing-generator-agenten 140 opgaver (92,1%) mod 120 opgaver (78,9%) for standard GitHub Copilot . Denne forskel i præstation understreger fordelen ved en specialiseret agent, der undersøger kodebasen, før den genererer tests, i modsætning til at stole på en generisk prompt .