Résultats des benchmarks cybersécurité face aux rivaux américains

Le résultat le plus marquant de GLM-5.3 concerne CyberGym, un benchmark développé par la Responsible AI Development Initiative de l'UC Berkeley qui teste la capacité d'un modèle à identifier et valider des vulnérabilités réelles à partir de code source . GLM-5.3 y obtient un score de 84,5 %, devançant très légèrement Mythos 5 d'Anthropic (83,8 %) et GPT-5.6 Sol d'OpenAI (83,6 %) .

Le tableau est tout autre sur ExploitBench, un test qui exige un raisonnement plus profond sur la manière dont une vulnérabilité pourrait être exploitée concrètement, jusqu'à la production d'une preuve de concept fonctionnelle. GLM-5.3 a plus que doublé le score de son prédécesseur, passant de 24,4 % à 54,4 % . Cependant, Z.ai indique que Mythos 5 obtient 78 % sur ExploitBench et GPT-5.6 Sol 76,5 % — laissant GLM-5.3 loin derrière sur cette mesure plus difficile .

Sur ExploitGym, qui comptabilise le nombre de tâches d'exploitation qu'un modèle peut accomplir dans un budget de deux heures normalisé, GLM-5.3 réalise 105 tâches (contre 29 pour GLM-5.2) . Dans un budget de six heures, ce nombre passe à 130 tâches .

Sources :

Détection de vulnérabilités dans le monde réel

Au-delà des benchmarks, GLM-5.3 a été déployé dans des tests de sécurité réels avec des résultats impressionnants :

• 2 436 vulnérabilités confirmées découvertes dans 269 projets open source, répertoriées dans un registre public de divulgation de sécurité de Z.ai .
• Parmi celles-ci, 1 097 ont été classées comme critiques ou de haute sévérité .
• Le modèle a trouvé des bogues dans des logiciels datant d'environ 40 ans .
• Peu après son lancement, il a également identifié une vulnérabilité sérieuse dans Cursor, l'éditeur de code assisté par IA .

Principaux benchmarks de codage et généraux

GLM-5.3 affiche également des scores solides sur les benchmarks de codage et d'agents, ce qui en fait un modèle open-weight de premier plan pour les tâches de génie logiciel :

• Terminal-Bench 3.0 : score de 28,3 — le plus élevé parmi les modèles open-weight, se rapprochant du Claude Fable 5 d'Anthropic .
• DeepSWE v1.1 : bond de 46,2 à 66,9 .
• Code Bench interne de Z.ai (effort maximal) : 34,5 % (contre 23,4 % pour GLM-5.2), en utilisant environ 75 000 tokens de sortie par tâche contre 96 000 .
• Agents' Last Exam : première place parmi les modèles open-weight .
• Classement composite World of AI Benchmark : 6e au total avec un score composite de 81,3, juste derrière Kimi K3 (81,5) et devant GPT-5.6 Terra .
• FrontierSWE : atteint 78,1, contre 67,5 précédemment .
• SWE-Marathon : doublé, passant de 19,4 à 42,5 .

Pourquoi la publication des poids ouverts est retardée

Z.ai explique que la capacité du modèle en cybersécurité a « grandi plus vite que prévu » durant la phase de post-entraînement . Les 740 milliards de paramètres du modèle de base n'ont pas été ré-entraînés — toutes les améliorations proviennent de techniques de post-entraînement . Cette capacité étant apparue de manière inattendue, l'entreprise retient la publication des poids ouverts pendant deux semaines afin de renforcer les contrôles de sécurité . Le modèle est d'ores et déjà disponible via l'API de Z.ai et via des intégrations avec ZCode, Claude Code et OpenCode .

Précautions importantes

• Tous les scores de benchmark de GLM-5.3 sont communiqués par l'entreprise et n'ont pas encore été vérifiés de manière indépendante .
• L'avance sur CyberGym par rapport à Mythos 5 et GPT-5.6 Sol est infime — moins d'un point de pourcentage .
• Sur ExploitBench, GLM-5.3 accuse un retard important par rapport à ses rivaux américains (54,4 % contre 78 % pour Mythos 5 et 76,5 % pour GPT-5.6 Sol) .
• Pour contexte, un agrégateur de benchmarks cybersécurité plus large indique que GPT-5.6 Sol obtient 84,5 % sur CyberGym (à égalité avec GLM-5.3) et Mythos 5 83,8 %, tandis que les scores ExploitBench sont de 73,5 % pour Sol et 78 % pour Mythos 5 .

Résultats des benchmarks cybersécurité face aux rivaux américains

Le résultat le plus marquant de GLM-5.3 concerne CyberGym, un benchmark développé par la Responsible AI Development Initiative de l'UC Berkeley qui teste la capacité d'un modèle à identifier et valider des vulnérabilités réelles à partir de code source . GLM-5.3 y obtient un score de 84,5 %, devançant très légèrement Mythos 5 d'Anthropic (83,8 %) et GPT-5.6 Sol d'OpenAI (83,6 %) .

Le tableau est tout autre sur ExploitBench, un test qui exige un raisonnement plus profond sur la manière dont une vulnérabilité pourrait être exploitée concrètement, jusqu'à la production d'une preuve de concept fonctionnelle. GLM-5.3 a plus que doublé le score de son prédécesseur, passant de 24,4 % à 54,4 % . Cependant, Z.ai indique que Mythos 5 obtient 78 % sur ExploitBench et GPT-5.6 Sol 76,5 % — laissant GLM-5.3 loin derrière sur cette mesure plus difficile .

Sur ExploitGym, qui comptabilise le nombre de tâches d'exploitation qu'un modèle peut accomplir dans un budget de deux heures normalisé, GLM-5.3 réalise 105 tâches (contre 29 pour GLM-5.2) . Dans un budget de six heures, ce nombre passe à 130 tâches .

Sources :

Détection de vulnérabilités dans le monde réel

Au-delà des benchmarks, GLM-5.3 a été déployé dans des tests de sécurité réels avec des résultats impressionnants :

• 2 436 vulnérabilités confirmées découvertes dans 269 projets open source, répertoriées dans un registre public de divulgation de sécurité de Z.ai .
• Parmi celles-ci, 1 097 ont été classées comme critiques ou de haute sévérité .
• Le modèle a trouvé des bogues dans des logiciels datant d'environ 40 ans .
• Peu après son lancement, il a également identifié une vulnérabilité sérieuse dans Cursor, l'éditeur de code assisté par IA .

Principaux benchmarks de codage et généraux

GLM-5.3 affiche également des scores solides sur les benchmarks de codage et d'agents, ce qui en fait un modèle open-weight de premier plan pour les tâches de génie logiciel :

• Terminal-Bench 3.0 : score de 28,3 — le plus élevé parmi les modèles open-weight, se rapprochant du Claude Fable 5 d'Anthropic .
• DeepSWE v1.1 : bond de 46,2 à 66,9 .
• Code Bench interne de Z.ai (effort maximal) : 34,5 % (contre 23,4 % pour GLM-5.2), en utilisant environ 75 000 tokens de sortie par tâche contre 96 000 .
• Agents' Last Exam : première place parmi les modèles open-weight .
• Classement composite World of AI Benchmark : 6e au total avec un score composite de 81,3, juste derrière Kimi K3 (81,5) et devant GPT-5.6 Terra .
• FrontierSWE : atteint 78,1, contre 67,5 précédemment .
• SWE-Marathon : doublé, passant de 19,4 à 42,5 .

Pourquoi la publication des poids ouverts est retardée

Z.ai explique que la capacité du modèle en cybersécurité a « grandi plus vite que prévu » durant la phase de post-entraînement . Les 740 milliards de paramètres du modèle de base n'ont pas été ré-entraînés — toutes les améliorations proviennent de techniques de post-entraînement . Cette capacité étant apparue de manière inattendue, l'entreprise retient la publication des poids ouverts pendant deux semaines afin de renforcer les contrôles de sécurité . Le modèle est d'ores et déjà disponible via l'API de Z.ai et via des intégrations avec ZCode, Claude Code et OpenCode .

Précautions importantes

• Tous les scores de benchmark de GLM-5.3 sont communiqués par l'entreprise et n'ont pas encore été vérifiés de manière indépendante .
• L'avance sur CyberGym par rapport à Mythos 5 et GPT-5.6 Sol est infime — moins d'un point de pourcentage .
• Sur ExploitBench, GLM-5.3 accuse un retard important par rapport à ses rivaux américains (54,4 % contre 78 % pour Mythos 5 et 76,5 % pour GPT-5.6 Sol) .
• Pour contexte, un agrégateur de benchmarks cybersécurité plus large indique que GPT-5.6 Sol obtient 84,5 % sur CyberGym (à égalité avec GLM-5.3) et Mythos 5 83,8 %, tandis que les scores ExploitBench sont de 73,5 % pour Sol et 78 % pour Mythos 5 .