Microsoft code-testing-generator: o agente open-source de IA que cria e valida testes unitários sozinho

Como funciona o pipeline pesquisa-planejamento-implantação (RPI)

O agente segue um pipeline estruturado em vez de sair gerando testes de imediato :

1. Aprende com o repositório – Examina o código para detectar a linguagem, o framework de testes, os padrões existentes e os comandos corretos de build e teste .
2. Escolhe um caminho de execução – Com base no escopo da tarefa, ele seleciona um de três modos :
   • Direto – Lê o código, escreve os testes e valida o resultado.
   • Passagem única – Pesquisa e planeja uma vez, depois implementa.
   • Iterativo – Repete o ciclo pesquisa-planejamento-implantação para solicitações grandes ou metas de cobertura.
3. Planeja e escreve os testes – O agente começa com código simples, avança para código com mais dependências, mapeia cada comportamento para um arquivo de teste, segue as convenções locais e corrige erros de compilação ou asserção conforme avança .
4. Valida os testes – Antes de finalizar, o agente executa uma verificação de qualidade em várias etapas (veja abaixo) .

O processo RPI tem três etapas: Pesquisa, Planejamento e Implementação .

Processo de validação: teste de mutação leve e garantia de qualidade

O agente realiza uma forma leve de teste de mutação e garantia de qualidade em cada teste gerado :

• Considera pequenas alterações no código que deveriam fazer os testes falharem.
• Verifica se há asserções fracas ou ausentes.
• Confirma que cada cenário solicitado tem um teste correspondente.
• Compila todo o workspace e executa a suíte de testes completa.
• Garante que o comando de teste normal do repositório consegue encontrar os novos testes.

Isso assegura que um teste "aprovado" seja realmente significativo e detectável na esteira de CI . O agente escreve testes unitários que isolam o código sob teste e simulam (mockam) serviços externos e outras dependências .

Linguagens e IDEs compatíveis

O agente é distribuído como o plugin dotnet-test dentro do repositório dotnet/skills no GitHub, sob licença MIT . Ele funciona com :

• Linguagens – .NET, Python, Go, TypeScript, Java e Rust.
• IDEs/ferramentas – GitHub Copilot CLI, Visual Studio Code e VS Code Insiders (com suporte a plugin como recurso em pré-visualização).

Por ser distribuído como uma definição de agente e não como um serviço hospedado, ele roda dentro do agente de codificação que a equipe já utiliza, mantendo o código local e sem precisar enviá-lo a um serviço externo .

Limitações atuais

• Tipos de teste – Apenas testes unitários são suportados. Testes de integração, ponta a ponta, de navegador e de desempenho estão explicitamente fora do escopo .
• Sem alterações no código de produção – O agente nunca modifica o código de produção durante a geração de testes .
• Evita testes instáveis (flaky) – Ele não gera testes unitários que chamem URLs externas, abram portas de rede ou dependam de tempo preciso .

Desempenho em benchmark

No benchmark interno da Microsoft com 152 tarefas, o agente code-testing-generator concluiu 140 tarefas (92,1%) contra 120 tarefas (78,9%) do GitHub Copilot padrão . Essa diferença de desempenho destaca a vantagem de um agente especializado que pesquisa o código antes de gerar testes, em vez de depender de um prompt genérico .