Microsofts open source AI-agent skriver och validerar enhetstester automatiskt

Så fungerar research-plan-implement (RPI)-pipelinen

Istället för att omedelbart generera tester följer agenten en strukturerad pipeline :

1. Lär av kodbasen – Den skannar kodbasen för att identifiera språk, testramverk, befintliga testmönster samt rätt bygg- och testkommandon .
2. Välj en exekveringsväg – Baserat på uppgiftens omfattning väljer den ett av tre lägen :
   • Direct – Läs kod, skriv tester, validera resultat.
   • Single pass – Forskning och planering i ett steg, sedan implementering.
   • Iterative – Upprepa forskning-plan-implement-cykeln för stora förfrågningar eller täckningsmål.
3. Planera och skriv tester – Agenten börjar med enkel kod, går vidare till kod med fler beroenden, mappar varje beteende till en testfil, följer lokala konventioner och fixar kompilerings- eller assert-fel allteftersom .
4. Validera testerna – Innan den är klar kör agenten en flerstegskvalitetskontroll (se nedan) .

RPI-processen består av tre steg: Research (forskning), Plan (planering) och Implement (implementering) .

Valideringsprocess: lättvikts-mutationstestning och kvalitetssäkring

Agenten utför en lättviktsform av mutationstestning och kvalitetssäkring på varje genererat test :

• Överväger små kodändringar som borde få testerna att misslyckas.
• Kontrollerar efter svaga eller saknade assert-satser.
• Verifierar att varje efterfrågat scenario har ett matchande test.
• Bygger hela arbetsytan och kör hela testsviten.
• Bekräftar att repots vanliga testkommando hittar de nya testerna.

Detta säkerställer att ett test som "passar" faktiskt är meningsfullt och upptäckbart i CI . Agenten skriver enhetstester som isolerar koden som testas och mockar externa tjänster och andra externa beroenden .

Språk och IDE-integrationer

Agenten levereras som dotnet-test-pluginen i det MIT-licensierade dotnet/skills-repot på GitHub . Den fungerar med :

• Språk – .NET, Python, Go, TypeScript, Java och Rust.
• IDE/verktyg – GitHub Copilot CLI, Visual Studio Code och VS Code Insiders (via plugin-stöd som en förhandsgranskningsfunktion).

Eftersom den levereras som en agentdefinition snarare än en molntjänst körs den inuti vilken kodningsagent som ett team redan använder, och koden stannar lokalt istället för att skickas till en extern tjänst .

Nuvarande begränsningar

• Testtyper – Endast enhetstester stöds. Integrationstester, end-to-end-tester, browsertester och prestandatester är uttryckligen utanför scopet .
• Inga ändringar av produktionskod – Agenten ändrar aldrig produktionskod under testgenerering .
• Undviker flakiga tester – Den undviker enhetstester som anropar externa webbadresser, öppnar nätverksportar eller är beroende av exakt tidsangivelse .

Benchmark-resultat

I Microsofts interna benchmark med 152 uppgifter slutförde code-testing-generator-agenten 140 uppgifter (92,1%) jämfört med 120 uppgifter (78,9%) för standard GitHub Copilot . Denna skillnad visar fördelen med en specialiserad agent som undersöker kodbasen innan den genererar tester, snarare än att förlita sig på en generisk prompt .