Benchmarks de Claude Opus 4.7 : les chiffres clés et ce qu’ils valent

Ce tableau est volontairement conservateur. Il ne retient que les valeurs explicitement visibles dans les sources fournies. Pour un achat, une migration ou un choix de modèle en production, ces chiffres doivent servir de point de départ, pas de verdict définitif.

SWE-bench Verified : le score le plus robuste

Le score de 87,6 % sur SWE-bench Verified est l’ancrage le plus fiable pour évaluer Claude Opus 4.7 côté ingénierie logicielle. Un article de migration et de benchmarks ainsi que LLM-Stats citent tous deux cette même valeur.

LLM-Stats présente aussi ce résultat comme une progression de 6,8 points de pourcentage par rapport à Opus 4.6. ALM Corp décrit de son côté Opus 4.7 comme plus performant sur les workflows difficiles de codage et d’agents.

Pour une équipe de développement, cela donne un bon repère public. Mais le score ne dit pas tout : un modèle qui réussit bien un benchmark peut se comporter différemment sur votre dépôt, vos dépendances, vos conventions de revue de code, vos tests et vos critères d’acceptation.

GPQA : un signal fort, mais à confirmer

Le score de 94,2 % sur GPQA est clairement indiqué par LLM-Stats. En revanche, la source officielle Anthropic fournie ici sert surtout à confirmer que les développeurs peuvent utiliser claude-opus-4-7 via l’API Claude ; dans l’extrait disponible, elle ne présente pas de tableau GPQA complet directement exploitable.

La bonne lecture est donc prudente : GPQA est un indicateur intéressant pour le raisonnement général, mais il est moins solidement recoupé ici que SWE-bench Verified. Si ce score devient un critère de sélection important, mieux vaut le vérifier avec du matériel primaire plus complet ou avec ses propres évaluations.

SWE-bench Multilingual : prometteur pour les bases de code multilingues

Le score de 80,5 % sur SWE-bench Multilingual mérite l’attention des équipes qui travaillent sur des environnements techniques mêlant plusieurs langues, frameworks ou conventions. La source disponible indique aussi une comparaison avec 77,8 % pour Opus 4.6.

Mais c’est le chiffre à pondérer le plus fortement. Dans les sources fournies, il apparaît moins largement que le score SWE-bench Verified. Il peut donc orienter une présélection, mais ne devrait pas remplacer des tests sur des tickets réels, des dépôts réels et des consignes rédigées dans les langues effectivement utilisées par l’équipe.

Ce que les benchmarks ne montrent pas

Claude Opus 4.7 n’est pas seulement présenté comme une collection de scores. VentureBeat décrit sa sortie comme celle du grand modèle de langage le plus puissant publié jusque-là par Anthropic. ALM Corp le situe comme un modèle Opus généralement disponible pour des usages avancés : codage, tâches longues d’agents, raisonnement sur documents, vision haute résolution et workflows professionnels.

Plusieurs caractéristiques produit peuvent peser autant qu’un score isolé :

• Fenêtre de contexte : LLM-Stats mentionne un contexte de 1 million de tokens.
• Vision : LLM-Stats indique un traitement visuel à résolution 3,3 fois plus élevée.
• Niveau d’effort : LLM-Stats et ALM Corp citent un nouveau niveau xhigh.
• Tokeniseur : ALM Corp signale un tokeniseur mis à jour, susceptible d’augmenter le nombre de tokens pour un même input.

Ces points changent la réalité d’usage : coût prévisible, latence, qualité de réponse, capacité à traiter de longs documents ou de gros volumes de code. Le tokeniseur mérite une attention particulière avant migration, car une hausse du nombre de tokens pour les mêmes entrées peut modifier les hypothèses de budget et de capacité.

Comment s’en servir pour une décision de modèle

Pour le codage : commencez par SWE-bench Verified. Les 87,6 % constituent le point de comparaison public le mieux étayé dans ce corpus de sources.

Pour les workflows d’agents : ne regardez pas seulement les benchmarks. Tenez aussi compte de la mise en avant des tâches de codage difficiles, des agents de longue durée et du niveau d’effort xhigh.

Pour le raisonnement général : GPQA est pertinent, mais son score de 94,2 % est ici moins largement confirmé que celui de SWE-bench Verified.

Pour les bases de code multilingues : les 80,5 % sur SWE-bench Multilingual sont un indicateur utile, surtout si votre environnement n’est pas exclusivement anglophone. Mais ce chiffre doit être validé par des essais internes.

Pour une migration en production : testez les cas proches des benchmarks, mais aussi les longs contextes, l’appel d’outils, la vision, la consommation de tokens, la latence et les éventuels changements de comportement liés au nouveau tokeniseur. Les nouveautés sur le contexte, la vision, l’effort xhigh et la tokenisation peuvent influencer fortement l’expérience réelle.

À retenir

La lecture la plus solide est la suivante : Claude Opus 4.7 est publiquement associé à 87,6 % sur SWE-bench Verified, 94,2 % sur GPQA et 80,5 % sur SWE-bench Multilingual. Parmi ces chiffres, SWE-bench Verified est le plus robuste, car il est cité dans plusieurs sources disponibles.

Les deux autres scores complètent le tableau, mais avec davantage de prudence. Pour une décision sérieuse, les benchmarks doivent aider à faire une présélection ; l’évaluation décisive reste celle menée sur vos propres tâches, vos propres données et vos contraintes de production.