OpenAI abandona sus dos benchmarks de programación: el colapso de SWE-bench explicado

En solo siete meses, OpenAI abandonó ambos benchmarks de programación que había defendido. Primero llegó la retirada de SWE-bench Verified en febrero de 2026, un benchmark co-creado por OpenAI que se había convertido en el estándar de la industria. Luego, en julio de 2026, OpenAI retiró su propia recomendación del sustituto previsto, SWE-bench Pro. Este doble repliegue es más que un problema logístico para los evaluadores de modelos: es una señal de que la forma en que la industria de la IA mide la capacidad de programación está fundamentalmente rota.

Fase 1: El abandono de SWE-bench Verified (febrero de 2026)

SWE-bench Verified se lanzó en agosto de 2024 como un subconjunto validado por humanos del SWE-bench original de Princeton, que consta de 500 tareas de Python extraídas de issues reales de GitHub . Durante aproximadamente 18 meses, sirvió como el principal indicador de qué tan bien los agentes de codificación de IA podían resolver problemas de software del mundo real .

El 23 de febrero de 2026, el equipo Frontier Evals de OpenAI dio de baja formalmente el benchmark . Las razones fueron contundentes:

• Casos de prueba defectuosos. Una auditoría interna de los 138 problemas más difíciles que el modelo o3 no logró resolver (un subconjunto del 27,6%) encontró que al menos el 59,4% tenía pruebas que rechazaban parches funcionalmente correctos, lo que significa que los modelos eran marcados como incorrectos por resolver el problema correctamente .
• Contaminación generalizada. Cada modelo fronteriza probada (GPT-5.2, Claude Opus 4.5, Gemini 3 Flash) podía reproducir textualmente el 'parche de oro' escrito por humanos en algunas tareas, una señal clara de que el conjunto de 500 tareas se había filtrado en los datos de entrenamiento .
• Saturación. Las puntuaciones habían pasado de aproximadamente el 60% de la línea base humana en 2024 a casi el 100% en un solo año, lo que hacía que el benchmark fuera inútil para diferenciar entre modelos fronterizas . Según el Stanford AI Index 2026, 'el rendimiento aumentó de aproximadamente el 60% en 2024 a cerca del 100% en 2025' .

La conclusión de OpenAI fue inequívoca: 'Las mejoras en SWE-bench Verified ya no reflejan mejoras significativas en las capacidades reales de desarrollo de software de los modelos. Reflejan cada vez más cuánto estuvo expuesto el modelo al benchmark durante el entrenamiento' .

OpenAI recomendó explícitamente SWE-bench Pro, un benchmark más grande construido por Scale AI a partir de repositorios privados y con copyleft, como sustituto .

Fase 2: La retirada de la recomendación de SWE-bench Pro (julio de 2026)

El 8 de julio de 2026, OpenAI informó los resultados de una auditoría detallada de SWE-bench Pro (el mismo benchmark que acababa de promocionar como más robusto). Los hallazgos fueron devastadores :

• ~30% de las tareas están fundamentalmente rotas. OpenAI utilizó tanto un pipeline automatizado como la clasificación humana para auditar SWE-bench Pro. El pipeline automatizado marcó el 27,4% de las tareas como inválidas; los revisores humanos marcaron el 34,1%. OpenAI estima que aproximadamente el 30% de las tareas de SWE-bench Pro no son viables como elementos de evaluación .
• Causa raíz. El informe señaló que los issues y pull requests de GitHub fueron diseñados para la colaboración humana, no como tareas de evaluación independientes y limpias que puedan medir de manera confiable la capacidad de la IA de forma aislada .

Esto obligó a OpenAI a retirar su recomendación de SWE-bench Pro, dejando a la industria sin un benchmark sucesor de confianza .

Una crisis más amplia en la medición de la codificación de IA

El doble repliegue de OpenAI no es un percance aislado. Es parte de una crisis sistémica en la forma en que el campo de la IA evalúa la capacidad de programación:

• Brecha de validez ecológica. Investigadores de Stanford HAI, revisiones de arXiv y grupos independientes documentan una desconexión fundamental: los modelos que obtienen puntuaciones del 70-80% o más en SWE-bench Verified muestran una fiabilidad mucho menor en el mundo real, especialmente en tareas complejas, de múltiples pasos o ambiguas . Un análisis lo dice sin rodeos: 'Los benchmarks actuales para evaluar agentes de codificación de IA sufren una crisis fundamental de validez ecológica. Mientras que los modelos logran puntuaciones impresionantes en SWE-bench (70%+) y HumanEval (90%+), estas métricas no logran predecir la utilidad en el mundo real' .
• La filtración entrenamiento-prueba es endémica. Debido a que SWE-bench se basa en datos públicos de GitHub que pueden aparecer en los corpus de entrenamiento, las puntuaciones de los benchmarks reflejan cada vez más la memorización en lugar del razonamiento . El Stanford AI Index 2026 describe el ritmo de mejora en SWE-bench Verified como una señal de contaminación, no de un crecimiento genuino de la capacidad .
• Crisis de medición más amplia. El Stanford AI Index 2026 advierte que el campo de la IA está 'construyendo más rápido de lo que podemos medir', y las evaluaciones de modelos en todos los dominios se están volviendo poco fiables a medida que los benchmarks se saturan y filtran . La revisión de arXiv 'Benchmarking AI Models in Software Engineering' señala el conocimiento fragmentado, la falta de estandarización y los defectos de diseño fundamentales como problemas de toda la industria .

Lo que esto significa

El doble repliegue de OpenAI (primero abandonando su propio benchmark, luego repudiando el sustituto) ha dejado el panorama de la evaluación de codificación de IA sin un líder de confianza. La comunidad reconoce cada vez más que las puntuaciones altas en los benchmarks ya no predicen de manera confiable si un agente de codificación de IA puede manejar tareas reales de ingeniería de software . Se necesitan con urgencia nuevas metodologías de evaluación (como benchmarks específicos de tareas, adversarios o actualizados continuamente), pero aún no están maduras .

Por ahora, cualquiera que intente evaluar un agente de codificación de IA no tiene un estándar único en el que confiar. El colapso de SWE-bench Verified y SWE-bench Pro no es solo la historia de dos pruebas defectuosas. Es la historia de una industria que construyó más rápido de lo que podía medir.