Claude Mythos Preview : que signifie vraiment 93,9 % sur SWE-bench ?

La nuance importante tient à la configuration. Les meilleurs scores sur SWE-bench sont souvent obtenus lorsque le modèle ne répond pas seulement à une question isolée, mais travaille comme un agent : il peut lire des fichiers, exécuter du code, examiner les résultats de tests et recommencer jusqu’à obtenir une solution plus solide .

Cela ne rend pas le score moins intéressant. Mais cela veut dire que les 93,9 % mesurent à la fois les capacités du modèle et l’environnement d’évaluation dans lequel il a été utilisé.

Ce que les 93,9 % ne disent pas

Le piège serait de transformer ce chiffre en note universelle. 93,9 % sur SWE-bench ne signifie pas 93,9 % de performance générale en IA. Le benchmark ne mesure pas, à lui seul, le raisonnement général, la sûreté, le coût d’exploitation, la disponibilité du modèle ou ses performances dans des tâches très éloignées du code .

Pour comparer sérieusement deux modèles, il faut donc regarder le même benchmark, dans des conditions comparables. Si un modèle dispose d’un environnement d’agent avec accès aux fichiers, exécution de code et plusieurs tentatives, tandis qu’un autre est évalué sans ces outils, la comparaison peut vite devenir trompeuse .

Les autres benchmarks cités pour Claude Mythos Preview

Logiciel et cybersécurité : deux signaux à séparer

Les métriques de cybersécurité autour de Claude Mythos Preview appartiennent à une autre catégorie. Une source rapporte 83,1 % pour Mythos Preview contre 66,6 % pour Claude Opus 4.6 sur des benchmarks de capacité en cybersécurité . Une autre affirme que Mythos a atteint 100 % sur Cybench, présenté comme un benchmark de défis en cybersécurité .

Les pages d’Anthropic disponibles ici vont dans ce sens : l’équipe Red Team d’Anthropic a publié une évaluation des capacités de cybersécurité de Claude Mythos Preview, et Project Glasswing met en avant des travaux d’identification de vulnérabilités et d’exploits avec le modèle .

C’est potentiellement très pertinent pour des équipes sécurité. Mais il ne faut pas additionner ou mélanger ces résultats avec SWE-bench comme s’il s’agissait d’un seul et même score.

Comment utiliser ce score dans une vraie évaluation

Si votre cas d’usage consiste à construire un agent qui travaille sur des dépôts, corrige du code, lance des tests et itère, le 93,9 % sur SWE-bench est probablement le point de départ le plus utile .

Si votre sujet est plutôt l’analyse de vulnérabilités, la revue de sécurité ou la recherche d’exploits, les documents et métriques de cybersécurité constituent un contexte plus adapté .

La réponse courte est donc simple : le benchmark le plus cité pour Claude Mythos Preview est SWE-bench, avec un score rapporté de 93,9 % . La lecture rigoureuse est plus étroite : c’est un signal fort pour les tâches logicielles dans des conditions d’évaluation précises, pas une preuve automatique de supériorité générale dans tous les domaines.