OpenAI abandonne ses deux benchmarks de codage : l'effondrement de SWE-bench expliqué

• Des cas de test défectueux. Un audit interne des 138 problèmes les plus difficiles que le modèle o3 n'avait pas résolus (soit 27,6% du total) a révélé qu'au moins 59,4% d'entre eux avaient des tests qui rejetaient des correctifs fonctionnellement corrects — autrement dit, les modèles étaient pénalisés pour avoir résolu le problème correctement .
• Une contamination généralisée. Tous les modèles de pointe testés — GPT-5.2, Claude Opus 4.5, Gemini 3 Flash — pouvaient reproduire textuellement le "correctif de référence" humain pour certaines tâches. C'était la preuve que l'ensemble de 500 tâches avait fuité dans les données d'entraînement .
• La saturation. Les scores étaient passés d'environ 60% de la référence humaine en 2024 à près de 100% en une seule année, rendant le benchmark inutile pour différencier les modèles de pointe . Selon le Stanford AI Index 2026, "les performances sont passées d'environ 60% en 2024 à près de 100% en 2025" .

La conclusion d'OpenAI était sans appel : "Les améliorations sur SWE-bench Verified ne reflètent plus d'améliorations significatives dans les capacités réelles de développement logiciel des modèles. Elles reflètent de plus en plus à quel point le modèle a été exposé au benchmark lors de l'entraînement" .

OpenAI a alors explicitement recommandé SWE-bench Pro — un benchmark plus vaste construit par Scale AI à partir de référentiels privés et sous licence copyleft — comme remplacement .

Phase 2 : le retrait de la recommandation pour SWE-bench Pro (juillet 2026)

Le 8 juillet 2026, OpenAI a publié les résultats d'un audit détaillé de SWE-bench Pro — le benchmark qu'elle venait tout juste de promouvoir comme plus robuste. Les conclusions étaient accablantes :

• Environ 30% des tâches sont fondamentalement cassées. OpenAI a utilisé à la fois un pipeline automatisé et une classification humaine pour auditer SWE-bench Pro. Le pipeline automatisé a signalé 27,4% des tâches comme invalides ; les réviseurs humains en ont signalé 34,1%. OpenAI estime qu'environ 30% des tâches de SWE-bench Pro ne sont pas viables en tant qu'éléments d'évaluation .
• La cause racine. Le rapport indique que les issues et les pull requests GitHub ont été conçues pour la collaboration humaine, et non comme des tâches d'évaluation indépendantes et propres pouvant mesurer de manière fiable la capacité de l'IA de manière isolée .

Cela a contraint OpenAI à retirer sa recommandation de SWE-bench Pro, laissant l'industrie sans successeur fiable .

Une crise plus large dans la mesure du codage par l'IA

Ce double reniement d'OpenAI n'est pas un incident isolé. Il s'inscrit dans une crise systémique de la manière dont le domaine de l'IA évalue la capacité de codage :

• Le fossé de la validité écologique. Des chercheurs de Stanford HAI, des revues arXiv et des groupes indépendants documentent un décalage fondamental : les modèles qui obtiennent 70 à 80% ou plus sur SWE-bench Verified montrent une fiabilité bien moindre dans le monde réel, en particulier sur des tâches complexes, multi-étapes ou ambiguës . Une analyse le dit sans ambages : "Les benchmarks actuels pour évaluer les agents de codage IA souffrent d'une crise fondamentale de validité écologique. Alors que les modèles atteignent des scores impressionnants sur SWE-bench (70%+) et HumanEval (90%+), ces mesures ne parviennent pas à prédire l'utilité dans le monde réel" .
• La fuite entre entraînement et test est endémique. Parce que SWE-bench puise dans des données GitHub publiques qui peuvent apparaître dans les corpus d'entraînement, les scores des benchmarks reflètent de plus en plus la mémorisation plutôt que le raisonnement . Le Stanford AI Index 2026 décrit le rythme d'amélioration sur SWE-bench Verified comme un signal de contamination, et non d'une réelle croissance des capacités .
• Une crise de mesure plus large. Le Stanford AI Index 2026 prévient que le domaine de l'IA "construit plus vite qu'il ne peut mesurer", les évaluations de modèles dans tous les domaines devenant peu fiables à mesure que les benchmarks saturent et fuient . La revue arXiv "Benchmarking AI Models in Software Engineering" pointe du doigt la fragmentation des connaissances, le manque de standardisation et les défauts de conception fondamentaux comme des problèmes à l'échelle de l'industrie .

Ce que cela signifie

Ce double reniement d'OpenAI — d'abord abandonner son propre benchmark, puis désavouer le remplacement — a laissé le paysage de l'évaluation du codage IA sans leader de confiance. La communauté reconnaît de plus en plus que des scores élevés sur les benchmarks ne prédisent plus de manière fiable si un agent de codage IA peut gérer des tâches réelles de génie logiciel . De nouvelles méthodologies d'évaluation — telles que des benchmarks spécifiques à des tâches, adversaires ou continuellement mis à jour — sont urgemment nécessaires mais ne sont pas encore matures .

Pour l'instant, quiconque tente d'évaluer un agent de codage IA n'a aucun standard unique auquel se fier. L'effondrement de SWE-bench Verified et de SWE-bench Pro n'est pas seulement l'histoire de deux tests défectueux. C'est l'histoire d'une industrie qui a construit plus vite qu'elle n'a pu mesurer.