Microsoft udostępnia otwarte narzędzie AI do automatycznego pisania testów jednostkowych

Jak działa potok research-plan-implement (RPI)

Agent nie generuje testów od razu – zamiast tego stosuje ustrukturyzowany potok :

1. Poznaje repozytorium – skanuje bazę kodu, aby wykryć język, framework testowy, istniejące wzorce testów oraz poprawne polecenia budowania i testowania .
2. Wybiera ścieżkę wykonania – w zależności od zakresu zadania wybiera jeden z trzech trybów :
   • Direct – czyta kod, pisze testy, waliduje wynik.
   • Single pass – raz bada i planuje, potem implementuje.
   • Iterative – powtarza cykl badanie-plan-implementacja dla dużych żądań lub celów pokrycia.
3. Planuje i pisze testy – zaczyna od prostego kodu, przechodzi do kodu z większą liczbą zależności, mapuje każde zachowanie do pliku testowego, stosuje lokalne konwencje i na bieżąco naprawia błędy kompilacji lub asercji .
4. Waliduje testy – przed zakończeniem wykonuje wieloetapową kontrolę jakości (patrz niżej) .

Proces RPI składa się z trzech kroków: Research (badanie), Plan (planowanie) i Implement (implementacja) .

Walidacja: lekkie testowanie mutacyjne i zapewnienie jakości

Agent wykonuje lekką formę testowania mutacyjnego i kontroli jakości nad każdym wygenerowanym testem :

• Rozważa małe zmiany w kodzie, które powinny spowodować niepowodzenie testów.
• Sprawdza słabe lub brakujące asercje.
• Weryfikuje, czy każde wymagane zachowanie ma odpowiadający mu test.
• Buduje cały workspace i uruchamia pełen zestaw testów.
• Potwierdza, że standardowe polecenie testowe repozytorium znajduje nowe testy.

Dzięki temu test, który „przechodzi”, jest faktycznie znaczący i wykrywalny w CI . Agent pisze testy jednostkowe, które izolują testowany kod i mockują usługi zewnętrzne oraz inne zależności .

Obsługiwane języki i integracje z IDE

Agent jest dostarczany jako wtyczka dotnet-test w repozytorium dotnet/skills na GitHubie, udostępnionym na licencji MIT . Działa z :

• Językami: .NET, Python, Go, TypeScript, Java i Rust.
• IDE/narzędziami: GitHub Copilot CLI, Visual Studio Code i VS Code Insiders (przez obsługę wtyczek jako funkcję podglądową).

Ponieważ jest dostarczany jako definicja agenta, a nie usługa hostowana, działa wewnątrz dowolnego agenta kodującego, którego zespół już używa, a kod pozostaje lokalny, zamiast być przesyłany do zewnętrznej usługi .

Obecne ograniczenia

• Rodzaje testów – Obsługiwane są tylko testy jednostkowe. Testy integracyjne, end-to-end, przeglądarkowe i wydajnościowe są wyraźnie wykluczone .
• Brak modyfikacji kodu produkcyjnego – Agent nigdy nie modyfikuje kodu produkcyjnego podczas generowania testów .
• Unikanie niestabilnych testów – Unika testów jednostkowych, które wywołują zewnętrzne URL-e, otwierają porty sieciowe lub zależą od dokładnego czasu .

Wyniki testów porównawczych

W wewnętrznym teście Microsoftu na 152 zadaniach, agent code-testing-generator ukończył 140 zadań (92,1%), podczas gdy standardowy GitHub Copilot wykonał 120 zadań (78,9%) . Ta różnica w wydajności podkreśla przewagę wyspecjalizowanego agenta, który bada bazę kodu przed wygenerowaniem testów, zamiast polegać na ogólnym prompcie .