MS, 오픈소스 AI 에이전트 'code-testing-generator' 공개… 유닛 테스트 자동 생성

연구-계획-구현(RPI) 파이프라인의 작동 방식

이 에이전트는 즉시 테스트를 생성하지 않고, 체계적인 파이프라인을 따릅니다 :

1. 저장소 학습 – 코드베이스를 스캔하여 언어, 테스트 프레임워크, 기존 테스트 패턴, 올바른 빌드 및 테스트 명령어를 감지합니다 .
2. 실행 경로 선택 – 작업 범위에 따라 다음 세 가지 모드 중 하나를 선택합니다 :
   • 직접(Direct) – 코드를 읽고, 테스트를 작성하고, 결과를 검증합니다.
   • 단일 패스(Single pass) – 한 번 연구하고 계획한 후 구현합니다.
   • 반복(Iterative) – 대규모 요청이나 커버리지 목표를 위해 연구-계획-구현 사이클을 반복합니다.
3. 테스트 계획 및 작성 – 단순한 코드부터 시작하여 의존성이 많은 코드로 넘어가며, 각 동작을 테스트 파일에 매핑하고, 로컬 관행을 따르며, 컴파일 오류나 어설션 오류를 수정해 나갑니다 .
4. 테스트 검증 – 완료 전에 다단계 품질 검증을 실행합니다 (아래 참조) .

RPI 프로세스는 연구(Research), 계획(Plan), 구현(Implement)의 세 단계로 구성됩니다 .

검증 프로세스: 가벼운 변이 테스트(Mutation Testing)와 품질 보증

에이전트는 생성된 모든 테스트에 대해 가벼운 형태의 변이 테스트와 품질 보증을 수행합니다 :

• 테스트를 실패하게 만들어야 하는 작은 코드 변경을 고려합니다.
• 약하거나 누락된 어설션(assertion)이 있는지 확인합니다.
• 요청된 모든 시나리오에 해당하는 테스트가 있는지 확인합니다.
• 전체 워크스페이스를 빌드하고 전체 테스트 스위트를 실행합니다.
• 저장소의 일반적인 테스트 명령어가 새로운 테스트를 찾을 수 있는지 확인합니다.

이를 통해 "통과"하는 테스트가 실제로 의미 있고 CI(지속적 통합)에서 발견 가능하도록 보장합니다 . 에이전트는 테스트 대상 코드를 격리하고 외부 서비스 및 기타 외부 의존성을 모의(mock) 처리하는 유닛 테스트를 작성합니다 .

지원 언어 및 IDE 통합

이 에이전트는 GitHub의 MIT 라이선스 저장소인 dotnet/skills 내 dotnet-test 플러그인으로 제공됩니다 . 지원 범위는 다음과 같습니다 :

• 언어 – .NET, Python, Go, TypeScript, Java, Rust.
• IDE/도구 – GitHub Copilot CLI, Visual Studio Code, VS Code Insiders (플러그인 지원을 통해 프리뷰 기능으로 제공).

호스티드 서비스 형태가 아닌 에이전트 정의로 제공되기 때문에, 팀이 이미 사용 중인 코딩 에이전트 내에서 실행되며, 코드가 외부 서비스를 거치지 않고 로컬에 머무릅니다 .

현재 한계점

• 테스트 유형 – 유닛 테스트만 지원합니다. 통합 테스트, 종단간(E2E) 테스트, 브라우저 테스트, 성능 테스트는 명시적으로 범위 밖입니다 .
• 프로덕션 코드 변경 없음 – 에이전트는 테스트 생성 과정에서 프로덕션 코드를 절대 수정하지 않습니다 .
• 불안정한 테스트(Flaky Test) 회피 – 외부 URL을 호출하거나, 네트워크 포트를 열거나, 정확한 타이밍에 의존하는 유닛 테스트는 작성하지 않습니다 .

벤치마크 성능

마이크로소프트의 내부 벤치마크(152개 과제)에서 code-testing-generator 에이전트는 140개 과제(92.1%)를 완료한 반면, 기본 GitHub Copilot은 120개 과제(78.9%)를 완료했습니다 . 이 성능 차이는 일반적인 범용 프롬프트에 의존하기보다, 코드베이스를 먼저 조사한 후 테스트를 생성하는 특화된 에이전트의 장점을 잘 보여줍니다 .