Claude Mythos Preview : les benchmarks clés, et pourquoi ils sont difficiles à comparer
Claude Mythos Preview se distingue surtout par un score rapporté de 93,9 % sur SWE bench Verified, mais Anthropic le présente comme une préversion de recherche sur invitation liée à Project Glasswing, pas comme un mod... Parmi les autres chiffres cités : 87,3 % sur SWE bench Multilingual, 59,0 % dans une évaluation...
Claude Mythos Benchmarks: 93,9 % SWE-bench und was dahinterstecktSymbolbild: Die Debatte um Claude Mythos dreht sich weniger um einen einzelnen Score als um die Vergleichbarkeit der Evaluationsbedingungen.
Prompt IA
Create a landscape editorial hero image for this Studio Global article: Claude Mythos Benchmarks: 93,9 % SWE-bench und was dahintersteckt. Article summary: Claude Mythos Preview wird vor allem durch 93,9 % auf SWE bench Verified auffällig; weitere berichtete Werte sind 87,3 % auf SWE bench Multilingual und 59,0 % in einer internen multimodalen Evaluation.. Topic tags: ai, anthropic, claude, benchmarks, coding. Reference image context from search candidates: Reference image 1: visual subject "# Claude Mythos Preview Benchmarks – The AI That Scored 93.9% on SWE-bench and Still Won’t Be Released. On April 7, 2026, Anthropic quietly released something extraordinary — and t" source context "Claude Mythos Preview Benchmarks - The AI That Scored 93.9% on ..." Reference image 2: visual subject "A score of 93.9% means Claude Mythos correctly resolved approximately 470 of those 500 real-world GitH
openai.com
Claude Mythos Preview n’est pas simplement un nouveau modèle Claude à placer dans un classement public. Anthropic le décrit dans sa documentation API comme un modèle séparé, en préversion de recherche, destiné à des workflows de cybersécurité défensive dans le cadre de Project Glasswing ; l’accès se fait sur invitation et il n’existe pas d’inscription en libre-service.
C’est ce point qui change tout : les scores sont impressionnants, mais ils ne se lisent pas comme ceux d’un modèle largement disponible que n’importe quelle équipe pourrait tester immédiatement dans les mêmes conditions.
Les principaux scores rapportés
Les chiffres précis visibles dans les sources disponibles proviennent surtout de sources tierces qui renvoient à des données d’Anthropic, à la system card du modèle ou à leurs propres synthèses.
Domaine
Benchmark
Studio Global AI
Search, cite, and publish your own answer
Use this topic as a starting point for a fresh source-backed answer, then compare citations before you share it.
Câu trả lời ngắn gọn cho "Claude Mythos Preview : les benchmarks clés, et pourquoi ils sont difficiles à comparer" là gì?
Claude Mythos Preview se distingue surtout par un score rapporté de 93,9 % sur SWE bench Verified, mais Anthropic le présente comme une préversion de recherche sur invitation liée à Project Glasswing, pas comme un mod...
Những điểm chính cần xác nhận đầu tiên là gì?
Claude Mythos Preview se distingue surtout par un score rapporté de 93,9 % sur SWE bench Verified, mais Anthropic le présente comme une préversion de recherche sur invitation liée à Project Glasswing, pas comme un mod... Parmi les autres chiffres cités : 87,3 % sur SWE bench Multilingual, 59,0 % dans une évaluation multimodale interne, 0,83 sur CyberGym et pass@1 = 1,00 sur Cybench.
Tôi nên làm gì tiếp theo trong thực tế?
Ces scores sont des signaux forts pour le code, les agents et la cybersécurité défensive, mais ils doivent être lus avec prudence en raison de l’accès restreint, des sources tierces et des configurations de test spéci...
Weights & Biases indique aussi 80,8 % pour Claude Opus 4.6 sur ce même repère.
Code multilingue
SWE-bench Multilingual
87,3 %
Weights & Biases donne 77,8 % pour Claude Opus 4.6.
Multimodal
Évaluation multimodale interne
59,0 %
Weights & Biases présente ce chiffre comme issu d’une évaluation interne et cite 27,1 % pour Claude Opus 4.6.
Cybersécurité
Cybench
pass@1 = 1,00
Authmind décrit Cybench comme un benchmark public fondé sur 40 défis CTF et cite 0,89 pour Claude Opus 4.6.
Cybersécurité
CyberGym
0,83
Authmind décrit CyberGym comme une évaluation de reproduction ciblée de vulnérabilités sur 1 507 tâches réelles issues de projets open source, et cite 0,67 pour Claude Opus 4.6.
Raisonnement
GPQA Diamond
94,6 %
llm-stats donne 91,3 % pour Claude Opus 4.6.
Raisonnement
Humanity’s Last Exam, sans / avec outils
56,8 % / 64,7 %
llm-stats cite 40,0 % sans outils et 53,1 % avec outils pour Claude Opus 4.6.
Agents en terminal
Configuration Terminal-Bench
92,1 %
llm-stats rattache ce score au harness Terminus-2, à un effort maximal d’« adaptive thinking », à un budget d’un million de tokens par tâche, à des délais étendus à 4 heures et aux mises à jour de Terminal-Bench 2.1.
Connaissances multitâches
MMMLU
92,7
R&D World rapporte que ce score chevauche la fourchette de 92,6 à 93,6 attribuée à Gemini 3.1 Pro, présenté comme le seul cas à part dans une affirmation d’avance sur 17 benchmarks sur 18.
Ce qui est solidement établi par Anthropic
La donnée la plus nette côté officiel concerne le statut du modèle. Anthropic indique que Claude Mythos Preview est proposé séparément comme préversion de recherche pour des usages de cybersécurité défensive dans Project Glasswing, avec un accès uniquement sur invitation et sans inscription en libre-service.
Sur la page de Project Glasswing, Anthropic présente aussi Claude Mythos Preview comme un modèle frontière généraliste, particulièrement fort pour le code et les tâches agentiques. L’entreprise relie ses performances en cybersécurité à une capacité plus large : comprendre et modifier en profondeur des logiciels complexes, donc trouver et corriger des vulnérabilités.
La source de la system card fournie décrit de son côté Claude Mythos Preview comme un nouveau grand modèle de langage, ou modèle frontière, doté de capacités en génie logiciel, raisonnement, usage d’ordinateur, travail de connaissance et assistance à la recherche.
Autrement dit : les sources officielles confirment bien le positionnement et les domaines de capacité. Les chiffres détaillés du tableau, eux, sont surtout visibles ici via des sources tierces.
Pourquoi le 93,9 % sur SWE-bench attire autant l’attention
Le score le plus spectaculaire reste le 93,9 % sur SWE-bench Verified. Weights & Biases rapporte ce résultat pour Claude Mythos Preview et le compare à 80,8 % pour Claude Opus 4.6.
Pour une équipe de développement, c’est le chiffre le plus parlant : il touche directement aux tâches de programmation et de correction de code qui servent souvent à juger les modèles « agents » capables de travailler dans un dépôt logiciel.
Le signal ne se limite pas à un seul cadre anglophone. Sur SWE-bench Multilingual, Weights & Biases rapporte 87,3 % pour Mythos Preview, contre 77,8 % pour Opus 4.6.
Mais un bon score sur SWE-bench ne garantit pas le même comportement dans chaque dépôt, avec chaque pile technique, chaque outil interne ou chaque processus de revue. Et dans le cas de Claude Mythos Preview, il y a une limite supplémentaire : les équipes extérieures ne peuvent pas simplement l’essayer via un accès self-service, selon la documentation d’Anthropic.
Cybersécurité : des chiffres très forts, dans un cadre particulier
Les résultats en cybersécurité sont tout aussi frappants. Authmind rapporte pour Claude Mythos Preview un score parfait sur Cybench, avec pass@1 = 1,00 ; la source décrit Cybench comme un benchmark public composé de 40 défis de type CTF, pour « Capture the Flag ».
Sur CyberGym, Authmind cite un score de 0,83 et décrit l’évaluation comme une reproduction ciblée de vulnérabilités à travers 1 507 tâches réelles issues de logiciels open source.
Ces chiffres s’inscrivent dans la présentation officielle du modèle : Anthropic le rattache explicitement à des workflows de cybersécurité défensive dans Project Glasswing. La page Project Glasswing explique aussi que sa force en cybersécurité découle de sa capacité plus générale à comprendre, modifier, trouver et corriger des vulnérabilités dans des logiciels complexes.
La nuance est importante : des défis CTF ou des reproductions de vulnérabilités sont des environnements d’évaluation précis. Ils donnent un signal utile sur l’analyse de code et la sécurité, mais ils ne remplacent pas une validation menée dans les contraintes réelles d’une organisation : règles internes, outils autorisés, périmètre légal, audit humain et responsabilité opérationnelle.
Raisonnement, multimodalité et agents en terminal
Les benchmarks de raisonnement sont également élevés. llm-stats rapporte 94,6 % sur GPQA Diamond, ainsi que 56,8 % sur Humanity’s Last Exam sans outils et 64,7 % avec outils.
La séparation entre « avec outils » et « sans outils » n’est pas un détail. L’accès à des outils peut changer fortement la comparaison entre modèles : on ne mesure plus seulement la réponse brute du modèle, mais aussi sa capacité à s’appuyer sur un environnement externe.
Même logique pour Terminal-Bench. llm-stats rapporte 92,1 %, mais avec une configuration très précise : harness Terminus-2, effort maximal d’« adaptive thinking », budget d’un million de tokens par tâche, délais étendus à 4 heures et mises à jour de Terminal-Bench 2.1.
Dans les benchmarks d’agents, le temps disponible, le contexte, les outils et le budget de calcul font partie du résultat. Les ignorer revient à comparer des performances obtenues dans des conditions différentes.
Le score multimodal demande lui aussi de la prudence. Weights & Biases rapporte 59,0 % pour Mythos Preview dans une évaluation multimodale interne, contre 27,1 % pour Opus 4.6. llm-stats précise par ailleurs que SWE-bench Multimodal utilise une implémentation interne et que ses scores ne sont pas directement comparables aux résultats des classements publics.
Pourquoi ces scores ne fonctionnent pas comme un classement classique
Quatre limites ressortent clairement :
Accès restreint. Claude Mythos Preview est, selon Anthropic, une préversion de recherche accessible sur invitation, sans inscription en libre-service. Cela complique la reproduction indépendante par des équipes ordinaires.
Sources mélangées. Les sources officielles disponibles confirment surtout le statut du modèle, son positionnement et ses domaines de capacité. Beaucoup de chiffres précis sont ici visibles via des sources tierces.
Configurations internes ou spécialisées. Le score multimodal est présenté comme issu d’une évaluation interne. Terminal-Bench est rapporté avec un harness spécifique, un effort maximal, un très grand budget de tokens et des délais prolongés.
Portée limitée par le type de tâche. Cybench repose sur 40 défis CTF et CyberGym sur 1 507 tâches réelles de reproduction de vulnérabilités open source, selon Authmind. Ce sont des évaluations pertinentes, mais elles ne couvrent pas toutes les situations de cybersécurité ou de développement logiciel.
Le bon réflexe de lecture
Claude Mythos Preview apparaît exceptionnel dans les benchmarks rapportés : 93,9 % sur SWE-bench Verified, 87,3 % sur SWE-bench Multilingual, 59,0 % dans une évaluation multimodale interne, 0,83 sur CyberGym et pass@1 = 1,00 sur Cybench.
Mais le point central n’est pas seulement le niveau des scores. Claude Mythos Preview est décrit par Anthropic comme une préversion de recherche sur invitation liée à Project Glasswing, et non comme un modèle standard librement accessible.
Il faut donc lire ces résultats comme un signal de capacité très fort pour le code, les agents et la cybersécurité défensive — pas comme un classement public entièrement reproductible dans les mêmes conditions par n’importe quelle équipe.
