Microsoft открыл код code-testing-generator: как ИИ-агент пишет и проверяет юнит-тесты

Как работает конвейер RPI (исследование — планирование — реализация)

Агент не генерирует тесты сразу, а следует структурированному процессу :

1. Изучение репозитория. Агент сканирует код, чтобы определить язык, фреймворк для тестов, существующие шаблоны и правильные команды сборки и тестирования .
2. Выбор пути выполнения. В зависимости от объёма задачи агент выбирает один из трёх режимов :
   • Прямой — прочитать код, написать тесты, проверить результат.
   • Однопроходный — один раз исследовать и спланировать, затем реализовать.
   • Итеративный — повторять цикл исследования, планирования и реализации для больших запросов или целей по покрытию.
3. Планирование и написание тестов. Агент начинает с простого кода, переходит к коду с большим количеством зависимостей, сопоставляет каждое поведение с файлом теста, следует локальным соглашениям и исправляет ошибки компиляции или утверждений по ходу работы .
4. Проверка тестов. Перед завершением агент запускает многоэтапную проверку качества (см. ниже) .

Процесс RPI состоит из трёх этапов: исследование, планирование и реализация .

Проверка: лёгкое мутационное тестирование и контроль качества

Агент проводит лёгкую форму мутационного тестирования и контроля качества для каждого сгенерированного теста :

• Учитывает небольшие изменения в коде, которые должны приводить к падению тестов.
• Проверяет на слабые или отсутствующие утверждения.
• Убеждается, что для каждого запрошенного сценария есть соответствующий тест.
• Собирает всё рабочее пространство и запускает полный набор тестов.
• Подтверждает, что стандартная команда тестирования репозитория может найти новые тесты.

Это гарантирует, что «проходящий» тест на самом деле значим и может быть обнаружен в CI . Агент пишет юнит-тесты, которые изолируют тестируемый код и имитируют внешние сервисы и другие внешние зависимости .

Поддерживаемые языки и интеграции со средами разработки

Агент поставляется в виде плагина dotnet-test в MIT-лицензированном репозитории dotnet/skills на GitHub . Он работает с :

• Языки: .NET, Python, Go, TypeScript, Java и Rust.
• Среды разработки/инструменты: GitHub Copilot CLI, Visual Studio Code и VS Code Insiders (через поддержку плагинов в режиме предварительного просмотра).

Поскольку агент поставляется как определение агента, а не как облачный сервис, он работает внутри того кодингового агента, который уже использует команда, а код остаётся локальным .

Текущие ограничения

• Типы тестов — поддерживаются только юнит-тесты. Интеграционные, сквозные, браузерные и нагрузочные тесты явно исключены .
• Без изменений рабочего кода — агент никогда не изменяет рабочий код во время генерации тестов .
• Избегает «flaky» тестов — агент не создаёт юнит-тесты, которые обращаются к внешним URL, открывают сетевые порты или зависят от точного времени .

Производительность в бенчмарках

На внутреннем бенчмарке Microsoft из 152 задач агент code-testing-generator успешно выполнил 140 задач (92,1%) против 120 задач (78,9%) у стандартного GitHub Copilot . Этот разрыв в производительности подчёркивает преимущество специализированного агента, который сначала изучает код, а затем генерирует тесты, вместо того чтобы полагаться на универсальный запрос .