GPT‑5.5 vs Claude Opus 4.7 vs Gemini 3.5 Flash vs Grok 4.3 vs DeepSeek V4 : que disent vraiment les benchmarks ?

Chez Google DeepMind, Gemini 3.5 Flash attire l’attention car il se rapproche étonnamment des modèles haut de gamme malgré sa catégorie « rapide ». Dans le tableau comparatif publié par Google, il obtient :

• 76,2 % sur Terminal‑Bench 2.1

À titre de comparaison, GPT‑5.5 atteint 78,2 % et Claude Opus 4.7 66,1 % sur cette version du benchmark.

Les modèles Grok 4.3 et DeepSeek V4 sont plus difficiles à positionner précisément, en raison de méthodes d’évaluation moins uniformes ou de données publiques plus limitées.

Les benchmarks de programmation

La programmation est aujourd’hui l’un des domaines où les différences entre modèles sont les plus visibles.

Claude Opus 4.7 présente le signal le plus fort dans les benchmarks publics. Son score de 64,3 % sur SWE‑Bench Pro représente un bond important par rapport aux générations précédentes et montre une bonne capacité à résoudre de vrais tickets GitHub dans plusieurs langages.

GPT‑5.5, lui, obtient 58,6 % sur SWE‑Bench Pro, légèrement inférieur. En revanche, il excelle dans les workflows d’ingénierie plus larges, par exemple l’automatisation via terminal.

Le benchmark Terminal‑Bench 2.0, qui simule des tâches complexes en ligne de commande nécessitant planification et coordination d’outils, place GPT‑5.5 en tête avec 82,7 %.

Gemini 3.5 Flash atteint 55,1 % sur SWE‑Bench Pro, un score inférieur à Opus 4.7 mais notable pour un modèle conçu pour la rapidité.

Pour Grok 4.3, les données de programmation disponibles sont moins standardisées. Les métriques publiées incluent notamment 81 % sur IFBench et 98 % sur τ²‑Bench (télécom), mais ces benchmarks mesurent des capacités plus spécialisées et ne sont pas directement comparables avec SWE‑Bench ou Terminal‑Bench.

Concernant DeepSeek V4, les benchmarks de coding vérifiés publiquement restent rares. Plusieurs scores circulent mais proviennent d’évaluations internes ou de fuites non reproduites indépendamment, ce qui limite les comparaisons fiables.

Workflows agentiques et utilisation d’outils

Les benchmarks modernes évaluent de plus en plus la capacité des modèles à coordonner plusieurs outils ou logiciels.

Dans ce domaine, Gemini 3.5 Flash obtient de bons résultats selon les données publiées par Google :

• 83,6 % sur MCP Atlas
• 56,5 % sur Toolathlon

Ces benchmarks mesurent la capacité d’un modèle à orchestrer plusieurs outils dans des workflows complexes.

GPT‑5.5 performe également très bien sur les tâches de travail intellectuel. Le benchmark GDPval, qui évalue des tâches professionnelles dans plusieurs métiers, indique 84,9 % de victoires ou égalités face à d’autres modèles.

Claude Opus 4.7 reste aussi solide dans l’interaction avec les logiciels. Son score de 78,0 % sur OSWorld‑Verified reflète une bonne capacité à manipuler des interfaces informatiques et des applications.

Contexte, vitesse et coûts

Les benchmarks ne racontent pas toute l’histoire. Les caractéristiques pratiques d’un modèle comptent aussi.

Grok 4.3 met l’accent sur le contexte long et le coût réduit. La documentation xAI mentionne :

• une fenêtre de contexte de 1 million de tokens
• un prix d’environ 1,25 $ par million de tokens en entrée et 2,50 $ en sortie

Ces caractéristiques peuvent en faire une option intéressante pour l’analyse de documents très longs ou certaines applications à grande échelle.

Gemini 3.5 Flash, comme son nom l’indique, est optimisé pour la vitesse d’inférence. Google le décrit comme nettement plus rapide que de nombreux modèles de pointe tout en restant compétitif sur plusieurs benchmarks agentiques.

De son côté, DeepSeek se positionne souvent sur des stratégies open‑weights ou à faible coût, ce qui peut séduire les entreprises souhaitant déployer un modèle sur leur propre infrastructure.

L’évaluation indépendante de DeepSeek V4

L’évaluation indépendante la plus crédible de DeepSeek V4 provient du programme CAISI du National Institute of Standards and Technology (NIST) aux États‑Unis.

Selon cette analyse, DeepSeek V4 est le modèle chinois le plus performant testé dans plusieurs domaines, notamment l’ingénierie logicielle, la cybersécurité et les mathématiques.

Cependant, le rapport indique aussi que ses capacités restent environ huit mois derrière les modèles de pointe actuels.

Les chercheurs notent également que les résultats internes publiés par DeepSeek semblent plus élevés que ceux obtenus lors de l’évaluation indépendante, ce qui souligne l’importance des benchmarks neutres pour comparer les modèles.

Pourquoi les comparaisons restent imparfaites

Même avec des chiffres publics, comparer directement les modèles reste délicat pour plusieurs raisons :

• les benchmarks existent souvent en versions différentes (par exemple Terminal‑Bench 2.0 vs 2.1)
• certains résultats proviennent d’évaluations réalisées par les fournisseurs eux‑mêmes
• certains scores utilisent des indices Elo ou des métriques composites difficiles à comparer aux pourcentages

Pour ces raisons, un classement strict de tous les modèles doit toujours être interprété avec prudence.

Ce que suggèrent les données disponibles

En se basant sur les informations publiques les plus solides :

• GPT‑5.5 semble actuellement le modèle le plus polyvalent pour le raisonnement, le travail professionnel et les agents logiciels.
• Claude Opus 4.7 montre l’avantage le plus clair sur les benchmarks de programmation réels comme SWE‑Bench.
• Gemini 3.5 Flash est exceptionnellement puissant pour un modèle rapide et rivalise avec certains modèles haut de gamme sur plusieurs tests agentiques.
• Grok 4.3 se distingue par son contexte long et ses coûts, mais possède moins de benchmarks comparables aux leaders.
• DeepSeek V4 apparaît comme le modèle chinois le plus avancé évalué indépendamment, tout en restant derrière la frontière technologique actuelle selon le NIST.

Dans la pratique, le « meilleur » modèle dépend fortement du cas d’usage : agents de programmation, assistants de recherche, analyse de documents longs ou déploiement à faible coût peuvent chacun favoriser un modèle différent.