Celý proces je postaven na pipeline research–plan–implement (RPI), tedy výzkum, plánování a implementace. Agent testy nejen vytvoří, ale také je ihned validuje v několika krocích . Podporuje šest hlavních programovacích jazyků a tři vývojová prostředí . Microsoft na interním benchmarku se 152 úkoly dosáhl úspěšnosti 92,1 % – standardní prompt v GitHub Copilotu zvládnul jen 78,9 % úkolů . Aktuálně agent umí psát výhradně unit testy. Integrační, end-to-end, browser nebo výkonnostní testy zatím nepodporuje .

Jak funguje pipeline research–plan–implement (RPI)

Agent nezahájí generování testů hned, ale postupuje podle strukturovaného postupu :

1. Průzkum repozitáře – Prohledá kód a zjistí jazyk, testovací framework, existující testovací vzory a správné příkazy pro sestavení a testování .
2. Výběr režimu provádění – Podle rozsahu úkolu zvolí jednu ze tří cest :
   • Přímý režim – Přečte kód, napíše testy, zvaliduje výsledek.
   • Jednoprůchodový režim – Jeden cyklus výzkumu a plánování, následuje implementace.
   • Iterativní režim – Cyklus výzkum–plán–implementace opakuje, což se hodí u rozsáhlých požadavků nebo při cílení na pokrytí kódu.
3. Plánování a psaní testů – Začíná u jednoduchého kódu, postupně přidává závislosti, pro každé chování vytvoří odpovídající testovací soubor, dodržuje lokální konvence a průběžně opravuje chyby kompilace nebo asercí .
4. Validace testů – Před dokončením provede několikakrokovou kontrolu kvality (viz níže) .

Proces RPI se skládá ze tří fází: Research (výzkum), Plan (plánování) a Implement (implementace) .

Validace: lehké mutační testování a kontrola kvality

Na každém vygenerovaném testu provádí agent lehkou formu mutačního testování a kontroly kvality :

• Zkouší malé změny v kódu, které by měly způsobit selhání testů.
• Kontroluje, zda testy neobsahují slabé nebo chybějící aserce.
• Ověřuje, že každý požadovaný scénář má odpovídající test.
• Sestaví celý projekt a spustí celou testovací sadu.
• Potvrdí, že standardní testovací příkaz repozitáře nově vytvořené testy najde.

Díky tomu je jisté, že „procházející“ test je skutečně smysluplný a v CI pipeline dohledatelný . Agent píše unit testy – izoluje testovaný kód a mockuje externí služby a další závislosti .

Podporované jazyky a integrace do IDE

Agent je distribuován jako plugin dotnet-test v MIT licencovaném repozitáři dotnet/skills na GitHubu . Funguje s :

• Jazyky – .NET, Python, Go, TypeScript, Java a Rust.
• IDEs/nástroje – GitHub Copilot CLI, Visual Studio Code a VS Code Insiders (podpora pluginů je zatím ve fázi náhledu).

Jelikož je dodáván jako definice agenta a ne jako hostovaná služba, běží přímo uvnitř kódovacího agenta, který tým už používá, a kód zůstává lokálně – neposílá se přes externí službu .

Současná omezení

• Typy testů – Podporovány jsou pouze unit testy. Integrační, end-to-end, browser a výkonnostní testy jsou výslovně mimo záběr .
• Žádné změny produkčního kódu – Agent během generování testů nikdy neupravuje produkční kód .
• Žádné flaky testy – Vyhýbá se unit testům, které volají externí URL, otevírají síťové porty nebo závisí na přesném načasování .

Výsledky benchmarku

Microsoft na svém interním benchmarku se 152 úkoly dosáhl s agentem code-testing-generator dokončení 140 úkolů (92,1 %), zatímco standardní GitHub Copilot zvládl 120 úkolů (78,9 %) . Tento rozdíl jasně ukazuje výhodu specializovaného agenta, který před generováním testů nejprve prozkoumá kódovou základnu – oproti obecnému promptu .

Celý proces je postaven na pipeline research–plan–implement (RPI), tedy výzkum, plánování a implementace. Agent testy nejen vytvoří, ale také je ihned validuje v několika krocích . Podporuje šest hlavních programovacích jazyků a tři vývojová prostředí . Microsoft na interním benchmarku se 152 úkoly dosáhl úspěšnosti 92,1 % – standardní prompt v GitHub Copilotu zvládnul jen 78,9 % úkolů . Aktuálně agent umí psát výhradně unit testy. Integrační, end-to-end, browser nebo výkonnostní testy zatím nepodporuje .

Jak funguje pipeline research–plan–implement (RPI)

Agent nezahájí generování testů hned, ale postupuje podle strukturovaného postupu :

1. Průzkum repozitáře – Prohledá kód a zjistí jazyk, testovací framework, existující testovací vzory a správné příkazy pro sestavení a testování .
2. Výběr režimu provádění – Podle rozsahu úkolu zvolí jednu ze tří cest :
   • Přímý režim – Přečte kód, napíše testy, zvaliduje výsledek.
   • Jednoprůchodový režim – Jeden cyklus výzkumu a plánování, následuje implementace.
   • Iterativní režim – Cyklus výzkum–plán–implementace opakuje, což se hodí u rozsáhlých požadavků nebo při cílení na pokrytí kódu.
3. Plánování a psaní testů – Začíná u jednoduchého kódu, postupně přidává závislosti, pro každé chování vytvoří odpovídající testovací soubor, dodržuje lokální konvence a průběžně opravuje chyby kompilace nebo asercí .
4. Validace testů – Před dokončením provede několikakrokovou kontrolu kvality (viz níže) .

Proces RPI se skládá ze tří fází: Research (výzkum), Plan (plánování) a Implement (implementace) .

Validace: lehké mutační testování a kontrola kvality

Na každém vygenerovaném testu provádí agent lehkou formu mutačního testování a kontroly kvality :

• Zkouší malé změny v kódu, které by měly způsobit selhání testů.
• Kontroluje, zda testy neobsahují slabé nebo chybějící aserce.
• Ověřuje, že každý požadovaný scénář má odpovídající test.
• Sestaví celý projekt a spustí celou testovací sadu.
• Potvrdí, že standardní testovací příkaz repozitáře nově vytvořené testy najde.

Díky tomu je jisté, že „procházející“ test je skutečně smysluplný a v CI pipeline dohledatelný . Agent píše unit testy – izoluje testovaný kód a mockuje externí služby a další závislosti .

Podporované jazyky a integrace do IDE

Agent je distribuován jako plugin dotnet-test v MIT licencovaném repozitáři dotnet/skills na GitHubu . Funguje s :

• Jazyky – .NET, Python, Go, TypeScript, Java a Rust.
• IDEs/nástroje – GitHub Copilot CLI, Visual Studio Code a VS Code Insiders (podpora pluginů je zatím ve fázi náhledu).

Jelikož je dodáván jako definice agenta a ne jako hostovaná služba, běží přímo uvnitř kódovacího agenta, který tým už používá, a kód zůstává lokálně – neposílá se přes externí službu .

Současná omezení

• Typy testů – Podporovány jsou pouze unit testy. Integrační, end-to-end, browser a výkonnostní testy jsou výslovně mimo záběr .
• Žádné změny produkčního kódu – Agent během generování testů nikdy neupravuje produkční kód .
• Žádné flaky testy – Vyhýbá se unit testům, které volají externí URL, otevírají síťové porty nebo závisí na přesném načasování .

Výsledky benchmarku

Microsoft na svém interním benchmarku se 152 úkoly dosáhl s agentem code-testing-generator dokončení 140 úkolů (92,1 %), zatímco standardní GitHub Copilot zvládl 120 úkolů (78,9 %) . Tento rozdíl jasně ukazuje výhodu specializovaného agenta, který před generováním testů nejprve prozkoumá kódovou základnu – oproti obecnému promptu .