Microsofts Open-Source-KI-Agent schreibt Unit-Tests selbstständig – und prüft sie auf Herz und Nieren

• Direkt – Code lesen, Tests schreiben, Ergebnis validieren.
• Einzeldurchlauf – Einmal recherchieren und planen, dann umsetzen.
• Iterativ – Den Research-Plan-Implement-Zyklus bei großen Anfragen oder für bestimmte Abdeckungsziele wiederholen.

Validierung: Leichtes Mutationstesten und Qualitätssicherung

Bevor der Agent seine Arbeit abschließt, führt er eine mehrstufige Qualitätskontrolle durch :

• Er prüft, ob kleine Codeänderungen, die den Test eigentlich zum Scheitern bringen sollten, auch wirklich fehlschlagen.
• Er erkennt schwache oder fehlende Assertions.
• Er stellt sicher, dass jedes angeforderte Szenario einen entsprechenden Test hat.
• Er baut den gesamten Workspace und führt die komplette Testsuite aus.
• Er bestätigt, dass der normale Testbefehl des Repositories die neuen Tests findet.

Dadurch wird gewährleistet, dass ein „bestandener“ Test tatsächlich aussagekräftig und in der CI auffindbar ist . Der Agent schreibt Unit-Tests, die den zu testenden Code isolieren und externe Dienste sowie andere Abhängigkeiten mocken .

Unterstützte Sprachen und IDE-Integrationen

Der Agent wird als dotnet-test-Plugin im MIT-lizenzierten dotnet/skills-Repository auf GitHub bereitgestellt . Er funktioniert mit :

• Sprachen – .NET, Python, Go, TypeScript, Java und Rust.
• IDEs/Werkzeuge – GitHub Copilot CLI, Visual Studio Code und VS Code Insiders (Plugin-Unterstützung als Preview-Funktion).

Da der Agent als Agentendefinition und nicht als gehosteter Dienst ausgeliefert wird, läuft er in dem Coding-Agenten, den ein Team bereits verwendet. Der Code bleibt lokal und wird nicht über einen externen Dienst geleitet .

Aktuelle Einschränkungen

• Testarten – Es werden ausschließlich Unit-Tests unterstützt. Integrationstests, End-to-End-Tests, Browser-Tests und Performancetests sind explizit ausgeschlossen .
• Keine Änderungen am Produktivcode – Der Agent verändert während der Testgenerierung niemals den Produktivcode .
• Vermeidung von flaky Tests – Der Agent vermeidet Unit-Tests, die externe URLs aufrufen, Netzwerkports öffnen oder von genauen Timings abhängen .

Benchmark-Ergebnisse

In einem internen Benchmark von Microsoft mit 152 Aufgaben erledigte der code-testing-generator 140 Aufgaben (92,1 %) – gegenüber 120 Aufgaben (78,9 %) mit dem Standard-GitHub-Copilot . Diese Leistungslücke verdeutlicht den Vorteil eines spezialisierten Agenten, der vor der Testgenerierung die Codebasis erforscht, anstatt sich auf eine allgemeine Eingabeaufforderung zu verlassen .