Microsoft opent AI-agent die zelfstandig unit-tests schrijft en valideert

Hoe de research-plan-implement (RPI)-pijplijn werkt

De agent volgt een vaste structuur in plaats van meteen tests te genereren :

1. Leer van de repository – Hij scant de codebase om de taal, het testframework, bestaande testpatronen en de juiste bouw- en testcommando's te detecteren .
2. Kies een uitvoeringspad – Afhankelijk van de opdracht kiest hij een van drie modi :
   • Direct – Code lezen, tests schrijven en resultaat valideren.
   • Single pass – Eenmalig onderzoeken en plannen, daarna implementeren.
   • Iteratief – De cyclus herhalen voor grote opdrachten of dekkingsdoelen.
3. Plan en schrijf tests – De agent begint met eenvoudige code, schakelt over naar code met meer afhankelijkheden, koppelt elke functie aan een testbestand, volgt lokale conventies en lost compilatie- of assertiefouten gaandeweg op .
4. Valideer de tests – Voordat hij klaar is, voert de agent een meerstapskwaliteitscontrole uit (zie hieronder) .

Het RPI-proces bestaat uit drie stappen: Research, Plan en Implement .

Validatieproces: lichte mutatietesten en kwaliteitsborging

De agent voert voor elke gegenereerde test een lichte vorm van mutatietesten en kwaliteitsborging uit :

• Hij overweegt kleine codeaanpassingen die de tests zouden moeten laten falen.
• Hij controleert op zwakke of ontbrekende asserties.
• Hij verifieert dat elk gevraagd scenario een bijbehorende test heeft.
• Hij bouwt de volledige workspace en draait de volledige testsuite.
• Hij controleert of het normale testcommando van de repository de nieuwe tests kan vinden.

Zo wordt gegarandeerd dat een test die 'slaagt' ook echt zinvol is en gevonden wordt in de CI-omgeving . De agent schrijft unit-tests die de te testen code isoleren en externe services en andere afhankelijkheden 'mocken' .

Ondersteunde talen en IDE-integraties

De agent wordt geleverd als de dotnet-test-plugin in de MIT-gelicentieerde dotnet/skills-repository op GitHub . Hij werkt met :

• Talen – .NET, Python, Go, TypeScript, Java en Rust.
• IDE's/tools – GitHub Copilot CLI, Visual Studio Code en VS Code Insiders (via plugin-ondersteuning als previewfunctie).

Omdat het een agentdefinitie is en geen gehoste service, draait hij in elke codeeragent die een team al gebruikt. De code blijft lokaal en gaat niet via een externe service .

Huidige beperkingen

• Testtypen – Alleen unit-tests worden ondersteund. Integratie-, end-to-end-, browser- en prestatietests vallen expliciet buiten de scope .
• Geen aanpassingen aan productiecode – De agent wijzigt nooit productiecode tijdens het genereren van tests .
• Vermijdt flaky tests – Hij maakt geen unit-tests die externe URL's aanroepen, netwerkpoorten openen of afhankelijk zijn van exacte timing .

Benchmarkprestaties

Op Microsofts interne benchmark van 152 taken voltooide de code-testing-generator-agent 140 taken (92,1%) tegenover 120 taken (78,9%) voor standaard GitHub Copilot . Dit prestatieverschil onderstreept het voordeel van een gespecialiseerde agent die eerst de codebase onderzoekt voordat hij tests genereert, in plaats van te vertrouwen op een algemene prompt .