OpenAI abandona os dois benchmarks de codificação que criou: o colapso do SWE-bench

A conclusão da OpenAI foi inequívoca: "Melhorias no SWE-bench Verified não refletem mais melhorias significativas nas capacidades reais de desenvolvimento de software dos modelos. Elas refletem cada vez mais o quanto o modelo foi exposto ao benchmark durante o treinamento" .

A OpenAI recomendou explicitamente o SWE-bench Pro — um benchmark maior construído pela Scale AI a partir de repositórios privados e com licenças copyleft — como substituto .

Fase 2: A retirada da recomendação do SWE-bench Pro (julho de 2026)

Em 8 de julho de 2026, a OpenAI reportou os resultados de uma auditoria detalhada do SWE-bench Pro — exatamente o benchmark que havia promovido como mais robusto. As descobertas foram devastadoras :

• Cerca de 30% das tarefas estão fundamentalmente quebradas. A OpenAI usou tanto um pipeline automatizado quanto a classificação humana para auditar o SWE-bench Pro. O pipeline automatizado sinalizou 27,4% das tarefas como inválidas; revisores humanos sinalizaram 34,1%. A OpenAI estima que aproximadamente 30% das tarefas do SWE-bench Pro não são viáveis como itens de avaliação .
• Causa raiz. O relatório observou que issues e pull requests do GitHub foram projetados para colaboração humana, não como tarefas de avaliação limpas e independentes que possam medir a capacidade da IA de forma isolada .

Isso forçou a OpenAI a retirar sua recomendação do SWE-bench Pro, deixando a indústria sem um benchmark sucessor confiável .

Uma crise mais ampla na medição de codificação por IA

A retirada em duas etapas da OpenAI não é um incidente isolado. É parte de uma crise sistêmica na forma como o campo da IA avalia a capacidade de programação:

• Falta de validade ecológica. Pesquisadores do Stanford HAI, de revisões do arXiv e de grupos independentes documentam uma desconexão fundamental: modelos com pontuações de 70–80% ou mais no SWE-bench Verified mostram confiabilidade muito menor no mundo real, especialmente em tarefas complexas, de múltiplas etapas ou ambíguas . Uma análise é direta: "Os benchmarks atuais para avaliar agentes de codificação de IA sofrem de uma crise fundamental de validade ecológica. Enquanto os modelos alcançam pontuações impressionantes no SWE-bench (70%+) e no HumanEval (90%+), essas métricas falham em prever a utilidade no mundo real" .
• Vazamento entre treino e teste é endêmico. Como o SWE-bench se baseia em dados públicos do GitHub que podem aparecer em corpora de treinamento, as pontuações dos benchmarks refletem cada vez mais memorização, e não raciocínio . O Stanford AI Index 2026 descreve o ritmo de melhoria no SWE-bench Verified como um sinal de contaminação, e não de crescimento real de capacidade .
• Crise de medição mais ampla. O Stanford AI Index 2026 alerta que o campo da IA está "construindo mais rápido do que conseguimos medir", com avaliações de modelos em vários domínios se tornando não confiáveis à medida que os benchmarks saturam e vazam . A revisão do arXiv "Benchmarking AI Models in Software Engineering" aponta conhecimento fragmentado, falta de padronização e falhas fundamentais de design como problemas em toda a indústria .

O que isso significa

A retirada em sequência da OpenAI — primeiro abandonando seu próprio benchmark, depois desaconselhando o substituto — deixou o cenário de avaliação de codificação de IA sem um líder confiável. A comunidade reconhece cada vez mais que pontuações altas em benchmarks não preveem mais de forma confiável se um agente de codificação de IA pode lidar com tarefas reais de engenharia de software . Novas metodologias de avaliação — como benchmarks específicos para tarefas, adversariais ou continuamente atualizados — são urgentemente necessárias, mas ainda não estão maduras .

Por enquanto, qualquer pessoa tentando avaliar um agente de codificação de IA não tem um padrão único em que confiar. O colapso do SWE-bench Verified e do SWE-bench Pro não é apenas a história de dois testes falhos. É a história de uma indústria que construiu mais rápido do que conseguiu medir.