Claude Mythos Preview : que signifie vraiment 93,9 % sur SWE-bench ?

Le chiffre accrocheur associé à Claude Mythos Preview est 93,9 % sur SWE-bench. C’est aujourd’hui la donnée la plus reprise pour parler de ses performances en développement logiciel. Mais elle mérite d’être lue avec précision : SWE-bench évalue des tâches de code, pas l’ensemble des capacités possibles d’un modèle d’IA .

Autrement dit, ce score est important pour les développeurs, les équipes qui construisent des agents de programmation ou les responsables techniques qui comparent des modèles sur des dépôts de code. Il ne suffit pas, à lui seul, à dire qu’un modèle est “meilleur” dans tous les domaines.

Le chiffre à retenir : 93,9 % sur SWE-bench

Le résultat central rapporté pour Claude Mythos Preview est donc 93,9 % sur SWE-bench . Dans la pratique, ce benchmark sert surtout à comparer des modèles sur des tâches proches de l’ingénierie logicielle : comprendre un dépôt, modifier du code, corriger des erreurs et se rapprocher d’un flux de travail de type agent de code .

La nuance importante tient à la configuration. Les meilleurs scores sur SWE-bench sont souvent obtenus lorsque le modèle ne répond pas seulement à une question isolée, mais travaille comme un agent : il peut lire des fichiers, exécuter du code, examiner les résultats de tests et recommencer jusqu’à obtenir une solution plus solide .

Cela ne rend pas le score moins intéressant. Mais cela veut dire que les 93,9 % mesurent à la fois les capacités du modèle et l’environnement d’évaluation dans lequel il a été utilisé.

Ce que les 93,9 % ne disent pas

Le piège serait de transformer ce chiffre en note universelle. 93,9 % sur SWE-bench ne signifie pas 93,9 % de performance générale en IA. Le benchmark ne mesure pas, à lui seul, le raisonnement général, la sûreté, le coût d’exploitation, la disponibilité du modèle ou ses performances dans des tâches très éloignées du code .

Pour comparer sérieusement deux modèles, il faut donc regarder le même benchmark, dans des conditions comparables. Si un modèle dispose d’un environnement d’agent avec accès aux fichiers, exécution de code et plusieurs tentatives, tandis qu’un autre est évalué sans ces outils, la comparaison peut vite devenir trompeuse .

Les autres benchmarks cités pour Claude Mythos Preview

Domaine	Résultat rapporté	Comment le lire
Logiciel / SWE-bench	93,9 %	Le chiffre le plus clair pour les tâches de programmation et les agents de code .
Cybersécurité	83,1 % contre 66,6 % pour Claude Opus 4.6	Comparaison rapportée sur des benchmarks de capacités en cybersécurité ; elle ne mesure pas la même chose que SWE-bench .
Cybench	100 %	Chiffre issu d’une source secondaire sur des défis de cybersécurité, pas une évaluation générale du modèle .
Ensemble large de benchmarks	En tête sur 17 des 18 benchmarks mesurés	Affirmation agrégée à partir de données rapportées sur Anthropic ; il faut consulter le détail avant d’en faire un classement global .

Logiciel et cybersécurité : deux signaux à séparer

Les métriques de cybersécurité autour de Claude Mythos Preview appartiennent à une autre catégorie. Une source rapporte 83,1 % pour Mythos Preview contre 66,6 % pour Claude Opus 4.6 sur des benchmarks de capacité en cybersécurité . Une autre affirme que Mythos a atteint 100 % sur Cybench, présenté comme un benchmark de défis en cybersécurité .

Les pages d’Anthropic disponibles ici vont dans ce sens : l’équipe Red Team d’Anthropic a publié une évaluation des capacités de cybersécurité de Claude Mythos Preview, et Project Glasswing met en avant des travaux d’identification de vulnérabilités et d’exploits avec le modèle .

C’est potentiellement très pertinent pour des équipes sécurité. Mais il ne faut pas additionner ou mélanger ces résultats avec SWE-bench comme s’il s’agissait d’un seul et même score.

Comment utiliser ce score dans une vraie évaluation

Si votre cas d’usage consiste à construire un agent qui travaille sur des dépôts, corrige du code, lance des tests et itère, le 93,9 % sur SWE-bench est probablement le point de départ le plus utile .

Si votre sujet est plutôt l’analyse de vulnérabilités, la revue de sécurité ou la recherche d’exploits, les documents et métriques de cybersécurité constituent un contexte plus adapté .

La réponse courte est donc simple : le benchmark le plus cité pour Claude Mythos Preview est SWE-bench, avec un score rapporté de 93,9 % . La lecture rigoureuse est plus étroite : c’est un signal fort pour les tâches logicielles dans des conditions d’évaluation précises, pas une preuve automatique de supériorité générale dans tous les domaines.