Microsoftin avoimen lähdekoodin tekoälyagentti kirjoittaa ja vahvistaa yksikkötestit – suorituskykyluvut puhuvat puolestaan

Miten research-plan-implement (RPI) -putkisto toimii

Agentti noudattaa jäsenneltyä putkistoa sen sijaan, että se tuottaisi testejä heti :

1. Oppii repositoriosta – Se skannaa koodikannan tunnistaakseen kielen, testauskehyksen, olemassa olevat testauskäytännöt sekä oikeat rakennus- ja testauskomennot .
2. Valitsee suorituspolun – Tehtävän laajuuden perusteella se valitsee yhden kolmesta tilasta :
   • Direct – Lukee koodia, kirjoittaa testejä, validoi tuloksen.
   • Single pass – Tutkii ja suunnittelee kerran, sitten toteuttaa.
   • Iterative – Toistaa research-plan-implement -sykliä suurille pyynnöille tai kattavuustavoitteille.
3. Suunnittelee ja kirjoittaa testit – Agentti aloittaa yksinkertaisesta koodista, siirtyy monimutkaisempaan, kartoittaa jokaisen toiminnon testitiedostoon, noudattaa paikallisia käytäntöjä ja korjaa käännös- tai assertointivirheitä matkan varrella .
4. Validoi testit – Ennen valmistumista agentti suorittaa monivaiheisen laadunvarmistuksen (ks. alla) .

RPI-prosessi koostuu kolmesta vaiheesta: Research, Plan ja Implement .

Validointiprosessi: kevyt mutaatiotestaus ja laadunvarmistus

Agentti suorittaa kevyen mutaatiotestauksen ja laadunvarmistuksen jokaiselle tuottamalleen testille :

• Harkitsee pieniä koodimuutoksia, joiden pitäisi saada testit epäonnistumaan.
• Tarkistaa heikot tai puuttuvat assertoinnit.
• Varmistaa, että jokaiselle pyydetylle skenaariolle on oma testi.
• Rakentaa koko työtilan ja suorittaa koko testipaketin.
• Varmistaa, että repositorion normaali testauskomento löytää uudet testit.

Tämä takaa, että "läpäisevä" testi on todella merkityksellinen ja löydettävissä CI-putkessa . Agentti kirjoittaa yksikkötestejä, jotka eristävät testattavan koodin ja mockaavat ulkoisia palveluita ja muita riippuvuuksia .

Tuetut kielet ja kehitysympäristöt

Agentti toimitetaan dotnet-test -lisäosana MIT-lisensoidussa dotnet/skills -repositoriossa GitHubissa . Se toimii seuraavien kanssa :

• Kielet – .NET, Python, Go, TypeScript, Java ja Rust.
• Kehitysympäristöt/työkalut – GitHub Copilot CLI, Visual Studio Code ja VS Code Insiders (lisäosatukena esikatseluominaisuutena).

Koska agentti toimitetaan agenttimäärittelynä eikä isännöitynä palveluna, se toimii minkä tahansa tiimin käyttämän koodausagentin sisällä, ja koodi pysyy paikallisena sen sijaan, että se kiertäisi ulkoisen palvelun kautta .

Nykyiset rajoitukset

• Testityypit – Vain yksikkötestit ovat tuettuja. Integraatiotestit, päästä-päähän-testit, selaintestit ja suorituskykytestit ovat nimenomaisesti soveltamisalan ulkopuolella .
• Ei tuotantokoodin muutoksia – Agentti ei koskaan muokkaa tuotantokoodia testien luonnin aikana .
• Välttää epävakaita testejä – Se välttää yksikkötestejä, jotka kutsuvat ulkoisia URL-osoitteita, avaavat verkkoportteja tai riippuvat tarkasta ajoituksesta .

Suorituskyky vertailussa

Microsoftin sisäisessä 152 tehtävän vertailussa code-testing-generator -agentti suoritti 140 tehtävää (92,1 %) onnistuneesti, kun taas tavallinen GitHub Copilot selviytyi 120 tehtävästä (78,9 %) . Tämä suorituskykyero korostaa erikoistuneen agentin etua, joka tutkii koodikannan ennen testien luontia, sen sijaan että se luottaisi yleiskäyttöiseen promptiin .