Tableau comparatif des benchmarks disponibles

Le tiret « — » signifie que les sources utilisées ici ne donnent pas de chiffre exploitable. Cela ne veut pas dire que le modèle est incapable de traiter ce type de tâche. Cela signifie simplement qu’il manque une mesure publiquement vérifiable dans le même cadre.

Les benchmarks qui comptent vraiment

SWE-Bench Pro : avantage Claude Opus 4.7 sur GPT-5.5

Sur SWE-Bench Pro, la comparaison la plus solide est celle de la table OpenAI : Claude Opus 4.7 atteint 64,3 %, contre 58,6 % pour GPT-5.5. C’est l’un des rares points de comparaison vraiment propres, parce que les deux modèles sont évalués dans le même tableau publié.

Ce score est particulièrement pertinent si votre cas d’usage ressemble à la résolution de problèmes logiciels réels, par exemple des tickets GitHub ou des corrections multi-fichiers. Vellum présente d’ailleurs cet écart dans le contexte de la résolution de vrais problèmes GitHub.

Kimi K2.6 est aussi crédité de 58,6 % sur SWE-Bench Pro dans un article de Kilo AI. Le chiffre le place apparemment au niveau de GPT-5.5 sur ce benchmark, mais il ne figure pas dans la même table officielle que GPT-5.5 et Claude Opus 4.7. Il faut donc le lire comme un signal intéressant, pas comme une égalité démontrée à protocole strictement identique.

Terminal-Bench 2.0 : avantage GPT-5.5

Sur Terminal-Bench 2.0, la même table OpenAI donne un résultat inverse : GPT-5.5 atteint 82,7 %, contre 69,4 % pour Claude Opus 4.7. Si votre produit ressemble davantage à un agent qui travaille dans un terminal, lance des commandes, enchaîne des étapes techniques ou opère dans un environnement de développement automatisé, GPT-5.5 mérite donc d’être testé en priorité.

La limite est importante : les sources disponibles ne donnent pas de score Terminal-Bench 2.0 comparable pour Kimi K2.6 ou DeepSeek V4. On peut donc comparer GPT-5.5 et Claude Opus 4.7 sur ce point, mais pas établir un classement complet des quatre modèles.

SWE-Bench Verified : utile, mais pas parfaitement aligné

Claude Opus 4.7 est crédité de 87,6 % sur SWE-Bench Verified dans des synthèses tierces ; Verdent précise que ce score est présenté comme une évaluation menée par Anthropic, avec des filtres de mémorisation appliqués. Kimi K2.6, de son côté, est crédité de 80,2 % sur SWE-Bench Verified par Kilo AI.

Ces deux chiffres sont utiles pour orienter une présélection. En revanche, ils ne sont pas aussi faciles à opposer que les scores SWE-Bench Pro et Terminal-Bench 2.0 de la table OpenAI. Sources différentes, protocoles potentiellement différents, objectifs différents : la comparaison doit rester prudente.

Expert-SWE : un signal, pas une base de classement

GPT-5.5 obtient 73,1 % sur Expert-SWE, mais OpenAI qualifie cette évaluation d’interne et indique que d’autres laboratoires ont relevé des indices de mémorisation sur ce test. Ce résultat peut donc donner une indication sur les capacités observées par OpenAI, mais il ne devrait pas servir de pilier pour classer les quatre modèles.

Quel modèle tester selon votre besoin ?

Pour la résolution de bugs complexes et de tickets proches de GitHub, commencez par Claude Opus 4.7. Dans la comparaison directe la plus fiable disponible ici, Claude Opus 4.7 devance GPT-5.5 sur SWE-Bench Pro, 64,3 % contre 58,6 %. C’est le meilleur argument chiffré en sa faveur pour les équipes qui construisent des agents de développement logiciel.

Pour les workflows très orientés terminal, mettez GPT-5.5 en haut de la liste. Son score Terminal-Bench 2.0 de 82,7 % dépasse nettement les 69,4 % de Claude Opus 4.7 dans la table OpenAI. Cela ne signifie pas que GPT-5.5 est meilleur dans toutes les tâches de code, mais que ce benchmark précis lui est favorable.

Pour un candidat open source, Kimi K2.6 est à considérer, mais à retester. Hugging Face le décrit comme un modèle agentique multimodal open source, et Kilo AI lui attribue 58,6 % sur SWE-Bench Pro ainsi que 80,2 % sur SWE-Bench Verified. Ces chiffres sont compétitifs, mais leur niveau de preuve est moins fort que celui d’une comparaison publiée dans une même table. Avant un choix produit, mieux vaut le tester sur vos propres dépôts, vos langages et vos contraintes d’exécution.

Pour DeepSeek V4, le plus sûr est d’attendre ou de mesurer soi-même. Les sources disponibles ne fournissent pas de score benchmark vérifiable. L’intégrer de force à un tableau chiffré donnerait une impression de précision que les données ne justifient pas.

Pourquoi il n’y a pas de champion unique

Le bon réflexe n’est pas de chercher un podium global, mais de classer les preuves. On peut distinguer trois niveaux :

1. Les benchmarks partagés dans une même table. C’est le cas de GPT-5.5 et Claude Opus 4.7 sur SWE-Bench Pro et Terminal-Bench 2.0 dans la publication OpenAI. Ce sont les comparaisons les plus nettes de ce dossier.
2. Les évaluations fournisseur ou partenaire reprises par des tiers. Les scores SWE-Bench Verified et CursorBench de Claude Opus 4.7 entrent dans cette catégorie : ils sont utiles, mais demandent de regarder l’origine et le protocole.
3. Les données sans validation croisée complète ou les absences de chiffres. Kimi K2.6 dispose de chiffres SWE-Bench intéressants, mais surtout via un article tiers ; DeepSeek V4 ne dispose pas, dans les sources utilisées ici, de chiffres suffisants pour une comparaison sérieuse.

La conclusion est donc nuancée, mais claire : Claude Opus 4.7 mène face à GPT-5.5 sur SWE-Bench Pro, GPT-5.5 mène face à Claude Opus 4.7 sur Terminal-Bench 2.0, Kimi K2.6 semble compétitif sur les benchmarks SWE-Bench mais avec un niveau de preuve plus limité, et DeepSeek V4 doit rester hors classement faute de données vérifiables.

Pour une équipe produit, ce tableau doit servir de point de départ, pas de verdict. Le vrai test consiste à reprendre vos propres tâches : types de dépôts, langages, tests unitaires, accès aux outils, latence, coût, reprise après échec et qualité des correctifs. C’est seulement à cette étape qu’un benchmark devient une décision d’architecture.

Tableau comparatif des benchmarks disponibles

Le tiret « — » signifie que les sources utilisées ici ne donnent pas de chiffre exploitable. Cela ne veut pas dire que le modèle est incapable de traiter ce type de tâche. Cela signifie simplement qu’il manque une mesure publiquement vérifiable dans le même cadre.

Les benchmarks qui comptent vraiment

SWE-Bench Pro : avantage Claude Opus 4.7 sur GPT-5.5

Sur SWE-Bench Pro, la comparaison la plus solide est celle de la table OpenAI : Claude Opus 4.7 atteint 64,3 %, contre 58,6 % pour GPT-5.5. C’est l’un des rares points de comparaison vraiment propres, parce que les deux modèles sont évalués dans le même tableau publié.

Ce score est particulièrement pertinent si votre cas d’usage ressemble à la résolution de problèmes logiciels réels, par exemple des tickets GitHub ou des corrections multi-fichiers. Vellum présente d’ailleurs cet écart dans le contexte de la résolution de vrais problèmes GitHub.

Kimi K2.6 est aussi crédité de 58,6 % sur SWE-Bench Pro dans un article de Kilo AI. Le chiffre le place apparemment au niveau de GPT-5.5 sur ce benchmark, mais il ne figure pas dans la même table officielle que GPT-5.5 et Claude Opus 4.7. Il faut donc le lire comme un signal intéressant, pas comme une égalité démontrée à protocole strictement identique.

Terminal-Bench 2.0 : avantage GPT-5.5

Sur Terminal-Bench 2.0, la même table OpenAI donne un résultat inverse : GPT-5.5 atteint 82,7 %, contre 69,4 % pour Claude Opus 4.7. Si votre produit ressemble davantage à un agent qui travaille dans un terminal, lance des commandes, enchaîne des étapes techniques ou opère dans un environnement de développement automatisé, GPT-5.5 mérite donc d’être testé en priorité.

La limite est importante : les sources disponibles ne donnent pas de score Terminal-Bench 2.0 comparable pour Kimi K2.6 ou DeepSeek V4. On peut donc comparer GPT-5.5 et Claude Opus 4.7 sur ce point, mais pas établir un classement complet des quatre modèles.

SWE-Bench Verified : utile, mais pas parfaitement aligné

Claude Opus 4.7 est crédité de 87,6 % sur SWE-Bench Verified dans des synthèses tierces ; Verdent précise que ce score est présenté comme une évaluation menée par Anthropic, avec des filtres de mémorisation appliqués. Kimi K2.6, de son côté, est crédité de 80,2 % sur SWE-Bench Verified par Kilo AI.

Ces deux chiffres sont utiles pour orienter une présélection. En revanche, ils ne sont pas aussi faciles à opposer que les scores SWE-Bench Pro et Terminal-Bench 2.0 de la table OpenAI. Sources différentes, protocoles potentiellement différents, objectifs différents : la comparaison doit rester prudente.

Expert-SWE : un signal, pas une base de classement

GPT-5.5 obtient 73,1 % sur Expert-SWE, mais OpenAI qualifie cette évaluation d’interne et indique que d’autres laboratoires ont relevé des indices de mémorisation sur ce test. Ce résultat peut donc donner une indication sur les capacités observées par OpenAI, mais il ne devrait pas servir de pilier pour classer les quatre modèles.

Quel modèle tester selon votre besoin ?

Pour la résolution de bugs complexes et de tickets proches de GitHub, commencez par Claude Opus 4.7. Dans la comparaison directe la plus fiable disponible ici, Claude Opus 4.7 devance GPT-5.5 sur SWE-Bench Pro, 64,3 % contre 58,6 %. C’est le meilleur argument chiffré en sa faveur pour les équipes qui construisent des agents de développement logiciel.

Pour les workflows très orientés terminal, mettez GPT-5.5 en haut de la liste. Son score Terminal-Bench 2.0 de 82,7 % dépasse nettement les 69,4 % de Claude Opus 4.7 dans la table OpenAI. Cela ne signifie pas que GPT-5.5 est meilleur dans toutes les tâches de code, mais que ce benchmark précis lui est favorable.

Pour un candidat open source, Kimi K2.6 est à considérer, mais à retester. Hugging Face le décrit comme un modèle agentique multimodal open source, et Kilo AI lui attribue 58,6 % sur SWE-Bench Pro ainsi que 80,2 % sur SWE-Bench Verified. Ces chiffres sont compétitifs, mais leur niveau de preuve est moins fort que celui d’une comparaison publiée dans une même table. Avant un choix produit, mieux vaut le tester sur vos propres dépôts, vos langages et vos contraintes d’exécution.

Pour DeepSeek V4, le plus sûr est d’attendre ou de mesurer soi-même. Les sources disponibles ne fournissent pas de score benchmark vérifiable. L’intégrer de force à un tableau chiffré donnerait une impression de précision que les données ne justifient pas.

Pourquoi il n’y a pas de champion unique

Le bon réflexe n’est pas de chercher un podium global, mais de classer les preuves. On peut distinguer trois niveaux :

1. Les benchmarks partagés dans une même table. C’est le cas de GPT-5.5 et Claude Opus 4.7 sur SWE-Bench Pro et Terminal-Bench 2.0 dans la publication OpenAI. Ce sont les comparaisons les plus nettes de ce dossier.
2. Les évaluations fournisseur ou partenaire reprises par des tiers. Les scores SWE-Bench Verified et CursorBench de Claude Opus 4.7 entrent dans cette catégorie : ils sont utiles, mais demandent de regarder l’origine et le protocole.
3. Les données sans validation croisée complète ou les absences de chiffres. Kimi K2.6 dispose de chiffres SWE-Bench intéressants, mais surtout via un article tiers ; DeepSeek V4 ne dispose pas, dans les sources utilisées ici, de chiffres suffisants pour une comparaison sérieuse.

La conclusion est donc nuancée, mais claire : Claude Opus 4.7 mène face à GPT-5.5 sur SWE-Bench Pro, GPT-5.5 mène face à Claude Opus 4.7 sur Terminal-Bench 2.0, Kimi K2.6 semble compétitif sur les benchmarks SWE-Bench mais avec un niveau de preuve plus limité, et DeepSeek V4 doit rester hors classement faute de données vérifiables.

Pour une équipe produit, ce tableau doit servir de point de départ, pas de verdict. Le vrai test consiste à reprendre vos propres tâches : types de dépôts, langages, tests unitaires, accès aux outils, latence, coût, reprise après échec et qualité des correctifs. C’est seulement à cette étape qu’un benchmark devient une décision d’architecture.