Microsoft випустив open-source AI-агент для автоматичного створення модульних тестів: досягнуто 92,1% успішності

Як працює конвеєр «дослідження-план-реалізація» (RPI)

Замість негайної генерації тестів агент використовує структурований конвеєр :

1. Навчання з репозиторію — сканує код для визначення мови, тестового фреймворку, існуючих шаблонів тестування та правильних команд збірки й тестування .
2. Вибір шляху виконання — залежно від обсягу завдання обирає один із трьох режимів :
   • Прямий — прочитати код, написати тести, перевірити результат.
   • Однопрохідний — дослідити та спланувати один раз, потім реалізувати.
   • Ітеративний — повторювати цикл дослідження-плану-реалізації для великих запитів чи цілей покриття.
3. Планування та написання тестів — агент починає з простого коду, переходить до коду з більшою кількістю залежностей, зіставляє кожну поведінку з тестовим файлом, дотримується локальних конвенцій та виправляє помилки компіляції чи тверджень у процесі .
4. Перевірка тестів — перед завершенням агент виконує багатоетапну перевірку якості (див. нижче) .

Процес RPI складається з трьох кроків: Дослідження, План, Реалізація .

Процес перевірки: легка мутаційна перевірка та забезпечення якості

Агент виконує легку форму мутаційного тестування та забезпечення якості для кожного створеного тесту :

• Розглядає невеликі зміни в коді, які повинні викликати збій тестів.
• Перевіряє на слабкі або відсутні твердження (assertions).
• Підтверджує, що кожен запитаний сценарій має відповідний тест.
• Збирає повне робоче середовище (workspace) та запускає весь тестовий набір.
• Підтверджує, що звичайна команда тестування репозиторію може знайти нові тести.

Це гарантує, що тест, який «проходить», є значущим і виявляється в CI . Агент пише модульні тести, які ізолюють код, що тестується, та імітують зовнішні сервіси й інші зовнішні залежності .

Підтримувані мови та інтеграції з IDE

Агент постачається як плагін dotnet-test у межах репозиторію dotnet/skills на GitHub під ліцензією MIT . Він працює з :

• Мови — .NET, Python, Go, TypeScript, Java та Rust.
• IDE/інструменти — GitHub Copilot CLI, Visual Studio Code та VS Code Insiders (через підтримку плагінів у режимі попереднього перегляду).

Оскільки він постачається як визначення агента, а не хостингова служба, він працює всередині того кодувального агента, який команда вже використовує, причому код залишається локальним, а не передається через зовнішній сервіс .

Поточні обмеження

• Типи тестів — підтримуються лише модульні тести (юніт-тести). Інтеграційні тести, наскрізні тести (end-to-end), браузерні тести та тести продуктивності наразі поза межами .
• Без змін продуктивного коду — агент ніколи не змінює продуктивний код під час генерації тестів .
• Уникнення нестабільних тестів — агент уникає юніт-тестів, які викликають зовнішні URL-адреси, відкривають мережеві порти або залежать від точного часу .

Результати тестування

У внутрішньому тестуванні Microsoft, що включало 152 завдання, агент code-testing-generator виконав 140 завдань (92,1%) проти 120 завдань (78,9%) для стандартного GitHub Copilot . Цей розрив у продуктивності підкреслює перевагу спеціалізованого агента, який досліджує код перед генерацією тестів, замість покладання на загальний запит .