GLM-5.3 : le pari du post-entraînement pour des agents capables de coder

De nets progrès sur le codage de longue durée

Zhipu affirme que GLM-5.3 améliore ses performances en codage d’environ 50 % par rapport à GLM-5.2 sur Z.ai Code Bench. Les écarts les plus marqués apparaissent surtout dans les tests où le modèle doit conduire une tâche logicielle sur une période plus longue :

• Terminal-Bench 3.0 : 28,3 pour GLM-5.3, contre 4,6 pour GLM-5.2.
• DeepSWE 1.1 : 66,9, contre 46,2 pour le modèle précédent.
• Agents’ Last Exam (CLI) : 28,5, contre 23,8.

Terminal-Bench 3.0 est particulièrement pertinent pour évaluer le codage agentique : il ne s’agit pas seulement de répondre à une question statique, mais d’interagir avec un terminal et un shell pour faire avancer un travail logiciel. DeepSWE 1.1 porte plus directement sur des tâches d’ingénierie logicielle, ce qui en fait un indicateur du progrès accompli sur des workflows de développement plus complets.

Zhipu indique que le score de 28,3 à Terminal-Bench 3.0 était, au moment de l’annonce, le meilleur obtenu par un modèle à poids ouverts et qu’il devançait Kimi K3 de Moonshot AI. Il s’agit d’un classement communiqué par l’entreprise : les comparaisons doivent donc être interprétées en tenant compte de la version de chaque évaluation, des prompts utilisés et des conditions d’accès aux modèles.

L’objectif : passer de la génération de code à l’agent logiciel

La direction prise par GLM-5.3 est claire : ne plus se limiter à suggérer du code. Zhipu présente le modèle comme capable d’utiliser des outils, d’interagir avec des logiciels et de mener des séquences d’actions plus longues avec moins d’intervention humaine.

La différence est importante. Un assistant de programmation classique répond à une demande ciblée. Un agent logiciel peut, en théorie, inspecter un dépôt, exécuter des commandes, analyser une erreur, modifier des fichiers puis poursuivre son travail vers un objectif donné. Les progrès annoncés à Terminal-Bench et DeepSWE vont dans ce sens, sans toutefois prouver qu’un agent sera fiable dans n’importe quel environnement de production ou face à un projet qu’il ne connaît pas.

Zhipu affirme également que les performances de GLM-5.3 en codage et dans les tâches agentiques se rapprochent de celles de Claude Fable 5, tout en le présentant comme plus performant en pratique que les autres modèles chinois pour le développement logiciel réel. Ces éléments relèvent du positionnement de Zhipu et ne doivent pas être considérés comme un classement indépendant et définitif.

La cybersécurité entre aussi dans l’équation

L’annonce associe les progrès en raisonnement et en utilisation d’outils à des applications de cybersécurité, notamment la recherche de vulnérabilités. Parmi les résultats rapportés figure un score de 84,5 % à CyberGym, une évaluation portant sur la découverte et la validation de vulnérabilités.

Cette capacité est à double usage. Les mêmes facultés de raisonnement et d’opération sur des logiciels peuvent aider les défenseurs à repérer des failles, mais aussi rendre plus risqués certains comportements autonomes. Les éléments disponibles permettent de parler d’un domaine de capacité revendiqué autour de la découverte de vulnérabilités ; ils ne suffisent pas à faire de GLM-5.3 un auditeur de sécurité fiable, ni à démontrer qu’il peut mener des actions offensives de manière sûre et autonome.

Ce que cela change pour les développeurs

Le signal le plus intéressant de GLM-5.3 n’est donc pas uniquement son nombre de paramètres. C’est le choix de Zhipu de mettre en avant le post-entraînement et des évaluations qui mesurent la capacité d’un modèle à maintenir le cap sur une tâche logicielle comportant plusieurs étapes.

Pour évaluer le modèle, les développeurs devraient notamment vérifier :

1. La réalisation d’une tâche de bout en bout : tester des modifications de dépôt, du débogage et des workflows en ligne de commande, plutôt que la seule génération de fonctions isolées.
2. Le niveau de supervision nécessaire : mesurer la façon dont le modèle réagit aux commandes échouées, aux exigences ambiguës et aux erreurs d’outils.
3. La reproductibilité des gains : refaire les évaluations avec des prompts documentés et des conditions d’accès identiques pour chaque modèle.
4. Les limites de sécurité : encadrer les tests d’exécution de code, de gestion des secrets et de demandes liées à la sécurité dans un environnement contrôlé.
5. La portée réelle de l’expression « poids ouverts » : vérifier la disponibilité des poids, la licence et les conditions de déploiement avant de planifier une installation sur ses propres serveurs ou une personnalisation. Les informations publiées sur l’accès au modèle n’étaient pas totalement concordantes au moment de sa sortie.

En résumé

GLM-5.3 est un modèle de 743 milliards de paramètres dont Zhipu AI attribue une grande partie des progrès au post-entraînement plutôt qu’à une nouvelle base plus imposante. Le passage annoncé de 4,6 à 28,3 à Terminal-Bench 3.0 et de 46,2 à 66,9 à DeepSWE 1.1 résume bien son ambition : développer des agents de programmation capables de gérer des tâches logicielles plus longues.

Ces résultats justifient un examen attentif, en particulier pour le codage à base de modèles ouverts et les workflows agentiques. Mais ils restent des déclarations du fabricant. Entre un excellent score sur un benchmark et un fonctionnement autonome réellement fiable, l’écart devra encore être mesuré par des évaluations indépendantes.