Le benchmark interne de Databricks, mené sur sa base de code de plusieurs millions de lignes, révèle que les modèles open source comme le GLM 5.2 de Z.ai se hissent désormais sur la frontière de Pareto des tâches de c... Le prix par token est un indicateur trompeur du coût réel : des modèles plus volumineux peuvent...

Create a landscape editorial hero image for this Studio Global article: Search & fact-check with cited sources for What did Databricks' internal coding benchmark reveal about AI model performance and cost, and wh. Article summary: Databricks published results from an internal coding benchmark that evaluated agentic models on real engineering tasks from its multi-million-line codebase (Python, Go, TypeScript, Scala, SQL). The key findings and the c. Topic tags: general, documentation, general web, academic, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, w
Databricks, la société spécialisée dans les données et l'IA, a publié en juillet 2026 les résultats d'un benchmark interne de codage. Ce test évaluait des modèles d'IA agentiques sur des tâches d'ingénierie réelles, tirées de sa propre base de code de plusieurs millions de lignes (Python, Go, TypeScript, Scala et SQL). Les conclusions ont conduit l'entreprise à adopter le modèle open-source chinois GLM 5.2 de Z.ai (anciennement Zhipu AI) comme moteur de codage par défaut. Voici ce que le benchmark a révélé et pourquoi Databricks a opéré ce changement.
Databricks a conçu son propre test car elle estimait que les benchmarks publics comme SWE-bench peuvent être « sur-optimisés ». L'objectif était de mesurer quels agents pouvaient résoudre des tâches réelles de bout en bout, face à des suites de tests minutieusement élaborées . L'évaluation a réservé trois surprises majeures.
Les modèles open-source ont atteint la frontière. La frontière de Pareto pour les tâches de codage — c'est-à-dire le meilleur rapport qualité-prix — inclut désormais des modèles d'OpenAI, d'Anthropic et des fournisseurs open-source. Matei Zaharia, cofondateur de Databricks, a déclaré que « de nombreux modèles, y compris open-source, sont désormais vraiment compétitifs » . L'entreprise a conclu que les modèles ouverts, et GLM 5.2 en particulier, sont capables de gérer le plus haut niveau de difficulté testé
.
Le prix par token est un indicateur trompeur du coût. Le benchmark a montré que le prix par token d'un modèle ne prédit pas de manière fiable le coût total réel dans les flux de travail de codage agentique. Les modèles plus volumineux peuvent être bien plus efficaces en tokens, ce qui signifie qu'un modèle moins cher par token peut finir par coûter plus cher s'il nécessite davantage de tokens pour accomplir la même tâche. Cela a poussé Databricks à évaluer les modèles sur le coût réel de réalisation d'une tâche de bout en bout, plutôt que sur les tarifs bruts des API .
Le coût total de possession a favorisé GLM 5.2. Via l'API de Z.ai, GLM 5.2 est proposé à environ 1,40 $ par million de tokens d'entrée et 4,40 $ par million de tokens de sortie . Pour une équipe traitant 10 millions de tokens par mois avec une répartition 50/50 entrée/sortie, le total serait d'environ 29 $ par mois
. Des modèles concurrents comme Opus 4.8 d'Anthropic, à 5 $/25 $ par million de tokens, peuvent coûter 3 à 6 fois plus cher pour des scores de benchmark comparables ou légèrement meilleurs
. Sur une base par tâche, un test de Databricks a montré que GLM 5.2, utilisant l'agent Pi, atteignait un taux de réussite de 87,5 % pour 1,25 $ par tâche, tandis qu'Opus 4.8 en mode « high effort » avec Claude Code atteignait un taux comparable pour 2,00 $ par tâche
.
Des performances de pointe à un coût bien moindre. GLM 5.2 a obtenu un score de 62,1 sur SWE-bench Pro, surpassant GPT-5.5 (58,6) et se rapprochant à quelques points d'Opus 4.8 d'Anthropic . Sur FrontierSWE Dominance, il a atteint 74,4 %, presque à égalité avec les 75,1 % d'Opus 4.8
. Les tests internes de Databricks ont confirmé ces benchmarks publics : le modèle chinois ouvert a égalé ou approché les capacités des principaux modèles propriétaires sur les mêmes tâches d'ingénierie réelles
.
Flexibilité de déploiement grâce à la licence MIT et aux poids ouverts. GLM 5.2 étant sous licence MIT et entièrement open-weight, Databricks a pu le déployer en interne, le fine-tuner et l'intégrer étroitement à son flux de travail de codage agentique, sans licence par utilisateur ni dépendance vis-à-vis d'un fournisseur . Ce modèle de licence permet aux entreprises d'exécuter le modèle sur leur propre infrastructure, évitant ainsi les coûts récurrents d'API pour une utilisation à grand volume.
Adapté aux tâches multi-étapes et à long horizon. Le benchmark s'est concentré sur les modifications de code agentiques qui s'étendent sur de nombreux fichiers et étapes de raisonnement. GLM 5.2, avec sa fenêtre de contexte d'un million de tokens et son architecture de 744 milliards de paramètres (mélange d'experts), a été spécifiquement optimisé pour ce type de travail à l'échelle d'un dépôt, plutôt que pour l'autocomplétion d'un seul fichier . Sur Terminal-Bench 2.1, qui teste l'exécution de tâches en ligne de commande et agentiques, il a obtenu un score de 81,0, ce qui en fait le modèle open-source le plus performant, derrière seulement Claude Opus 4.8 (85,0)
.
Studio Global AI
Use this topic as a starting point for a fresh source-backed answer, then compare citations before you share it.
Le benchmark interne de Databricks, mené sur sa base de code de plusieurs millions de lignes, révèle que les modèles open source comme le GLM 5.2 de Z.ai se hissent désormais sur la frontière de Pareto des tâches de c...
Le benchmark interne de Databricks, mené sur sa base de code de plusieurs millions de lignes, révèle que les modèles open source comme le GLM 5.2 de Z.ai se hissent désormais sur la frontière de Pareto des tâches de c... Le prix par token est un indicateur trompeur du coût réel : des modèles plus volumineux peuvent être bien plus efficaces en tokens, ce qui réduit le coût total par tâche.
GLM 5.2 a été adopté comme moteur de codage par défaut de Databricks : il atteint des performances comparables à Opus 4.8 sur SWE bench Pro (62,1), Terminal Bench (81,0) et FrontierSWE (74,4 %), pour un coût jusqu'à s...