Microsofts nye åpen kildekode-agent skriver og validerer enhetstester automatisk

Slik fungerer research-plan-implement (RPI)-prosessen

Agenten følger en strukturert pipeline i stedet for å generere tester med én gang :

1. Lær fra kodebasen – Den skanner kodebasen for å oppdage språk, testrammeverk, eksisterende testmønstre og de riktige bygge- og testkommandoene .
2. Velg en utføringssti – Basert på oppgavens omfang velger den én av tre moduser :
   • Direkte – Les kode, skriv tester, valider resultat.
   • Enkelt gjennomløp – Research og planlegg én gang, deretter implementer.
   • Iterativ – Gjenta RPI-syklusen for store forespørsler eller dekningsmål.
3. Planlegg og skriv tester – Agenten starter med enkel kode, går videre til kode med flere avhengigheter, mapper hver oppførsel til en testfil, følger lokale konvensjoner og fikser kompilerings- eller påstandskontrollfeil underveis .
4. Valider testene – Før den er ferdig, kjører agenten en flertrinns kvalitetssjekk (se nedenfor) .

RPI-prosessen består av tre trinn: Research, Plan og Implement .

Valideringsprosess: enkel mutasjonstesting og kvalitetssikring

Agenten utfører en enkel form for mutasjonstesting og kvalitetssikring på hver genererte test :

• Vurderer små kodeendringer som burde få testene til å feile.
• Sjekker for svake eller manglende påstander (assertions).
• Verifiserer at alle forespurte scenarioer har en matchende test.
• Bygger hele arbeidsområdet og kjører hele testpakken.
• Bekrefter at depotets vanlige testkommando finner de nye testene.

Dette sikrer at en test som «består», faktisk er meningsfull og oppdages i CI . Agenten skriver enhetstester som isolerer koden som testes, og mock-er eksterne tjenester og andre avhengigheter .

Støttede språk og integreringer

Agenten leveres som dotnet-test-programtillegget i det MIT-lisensierte dotnet/skills-depotet på GitHub . Den fungerer med :

• Språk – .NET, Python, Go, TypeScript, Java og Rust.
• Utviklingsverktøy (IDEer) – GitHub Copilot CLI, Visual Studio Code og VS Code Insiders (via programtillegg som en forhåndsvisningsfunksjon).

Fordi den leveres som en agentdefinisjon snarere enn en skytjeneste, kjører den i det kodingsagenten teamet allerede bruker, og koden blir lokalt i stedet for å sendes til en ekstern tjeneste .

Nåværende begrensninger

• Testtyper – Kun enhetstester støttes. Integrasjonstester, ende-til-ende-tester, nettlesertester og ytelsestester er uttrykkelig utelatt .
• Ingen endringer i produksjonskode – Agenten endrer aldri produksjonskoden under testgenereringen .
• Unngår flaky tester – Agenten unngår enhetstester som kaller eksterne URL-er, åpner nettverksporter eller er avhengige av nøyaktig timing .

Benchmark-ytelse

På Microsofts interne benchmark med 152 oppgaver fullførte code-testing-generatoren 140 av oppgavene (92,1 %) mot 120 oppgaver (78,9 %) for standard GitHub Copilot . Dette gapet i ytelse viser fordelen med en spesialisert agent som undersøker kodebasen før den genererer tester, i stedet for å stole på et generisk spørsmål .