Benchmarks de Claude Opus 4.7: resultados clave y qué significa el 87.6% en SWE-bench Verified

Qué significa el 87.6% en SWE-bench Verified

Para equipos que comparan modelos como coding agents, SWE-bench Verified es el titular más claro de las fuentes disponibles: AWS reporta 87.6% para Claude Opus 4.7 ^[7]. En términos prácticos, eso coloca el foco del modelo en tareas de ingeniería de software y resolución de problemas de código, coherente con la descripción de Anthropic de Opus 4.7 como un modelo fuerte en razonamiento complejo y coding agéntico ^[1].

Pero ese porcentaje no debe interpretarse como un rendimiento general del modelo en cualquier tarea. SWE-bench Verified evalúa un tipo concreto de capacidad; no sustituye benchmarks de terminal, finanzas, visión, trabajo largo o investigación. Por eso, para una decisión técnica, conviene mirar al menos SWE-bench Pro y Terminal-Bench 2.0 junto al score principal ^[6][7].

Por qué aparecen cifras distintas

No todas las fuentes publican el mismo número. Una fuente secundaria reporta 82.4% en SWE-bench Verified, mientras que AWS reporta 87.6% para Claude Opus 4.7 ^[2][7]. Esa diferencia importa: no basta con copiar un porcentaje sin explicar de dónde sale.

La lectura más prudente es citar siempre el nombre exacto del benchmark, el score y la fuente. Además, AWS señala que Opus 4.7 puede requerir cambios de prompting y ajustes de harness para obtener mejores resultados, lo que refuerza que la configuración de evaluación puede influir en el rendimiento observado ^[7].

Qué benchmark mirar según el caso de uso

Si el caso de uso principal es programación, empieza por SWE-bench Verified, pero no te quedes ahí. SWE-bench Pro y Terminal-Bench 2.0 ayudan a evaluar escenarios donde el modelo debe resolver tareas de software más complejas o interactuar con entornos y herramientas ^[6][7].

Si el objetivo es finanzas o investigación, los datos internos de Anthropic son más cercanos a ese tipo de flujo: en su benchmark interno de research-agent, Opus 4.7 obtuvo 0.715 de score general y 0.813 en General Finance, frente a 0.767 de Opus 4.6 en ese módulo ^[8]. Aun así, deben leerse como evaluaciones internas, no como una verificación independiente.

Si el interés está en workflows empresariales largos, la información pública apunta a mejoras en tareas de larga duración, seguimiento de instrucciones y trabajo bajo ambigüedad, según AWS citando a Anthropic ^[7]. En ese contexto, los benchmarks son una guía inicial, pero la prueba real debería replicar tu propio harness, tus herramientas y tus prompts.

Conclusión

El benchmark más fuerte y fácil de citar de Claude Opus 4.7 es 87.6% en SWE-bench Verified, especialmente relevante para coding agéntico ^[7]. La interpretación correcta, sin embargo, es más matizada: el modelo también reporta 64.3% en SWE-bench Pro, 69.4% en Terminal-Bench 2.0 y 64.4% en Finance Agent v1.1, mientras que Anthropic destaca mejoras internas en trabajo multi-step y finanzas ^[7][8].

La forma responsable de comparar Claude Opus 4.7 no es preguntar por un único benchmark, sino elegir el benchmark que se parece a tu flujo real y verificar la configuración usada. Para desarrollo de software, SWE-bench Verified es el punto de partida; para agentes, terminal, finanzas o research, los resultados complementarios cuentan igual o más.

Gemini en Google Maps para CarPlay: lo que revela el código de la app de iOS