Databricks, milyonlarca satırlık kendi kod tabanında yaptığı dahili kıyaslama testinde, Çin yapımı açık kaynak model GLM 5.2'nin, OpenAI ve Anthropic'in en iyi modelleriyle kalite maliyet dengesinde aynı ligde olduğun... Kıyaslama, token başına fiyatın yanıltıcı bir maliyet göstergesi olduğunu; daha büyük ve verimli...

Create a landscape editorial hero image for this Studio Global article: Search & fact-check with cited sources for What did Databricks' internal coding benchmark reveal about AI model performance and cost, and wh. Article summary: Databricks published results from an internal coding benchmark that evaluated agentic models on real engineering tasks from its multi-million-line codebase (Python, Go, TypeScript, Scala, SQL). The key findings and the c. Topic tags: general, documentation, general web, academic, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, w
Databricks, Temmuz 2026'da yayınladığı bir blog yazısıyla, kendi milyonlarca satırlık kod tabanından (Python, Go, TypeScript, Scala ve SQL dillerini kapsayan) aldığı gerçek mühendislik görevleri üzerinde yaptığı dahili kodlama kıyaslamasının sonuçlarını paylaştı. Bu testin bulguları, şirketi Çin'in önde gelen yapay zeka laboratuvarlarından Z.ai'nin (eski adıyla Zhipu AI) açık kaynak modeli GLM 5.2'yi varsayılan kodlama motoru olarak benimsemeye yöneltti. İşte kıyaslamanın ortaya çıkardığı sürprizler ve Databricks'in bu stratejik kararının perde arkası.
Databricks, SWE-bench gibi kamuya açık kıyaslamaların zamanla aşırı optimize edilebildiğini düşündüğü için kendi testini geliştirdi. Amaç, hangi yapay zeka ajanlarının gerçek dünya görevlerini baştan sona çözebildiğini ölçmekti . Değerlendirme üç büyük sürprizi ortaya çıkardı.
Açık kaynak modeller sınırda. Kodlama görevlerinde Pareto sınırı (belirli bir maliyet için en iyi kalite) artık OpenAI, Anthropic ve açık kaynak sağlayıcıların modellerini içeriyor. Databricks'in kurucu ortağı Matei Zaharia, "artık açık kaynak olanlar da dahil birçok modelin gerçekten rekabetçi olduğunu" belirtti . Şirket, açık modellerin ve özellikle GLM 5.2'nin test ettikleri en yüksek zorluk seviyesindeki görevlerin üstesinden gelebildiği sonucuna vardı
.
Token fiyatı yanıltıcı bir maliyet göstergesi. Kıyaslama, bir modelin token başına fiyatının, ajan tabanlı kodlama iş akışlarında gerçek toplam maliyeti güvenilir bir şekilde tahmin etmediğini ortaya koydu. Daha büyük modeller token açısından çok daha verimli olabiliyor; bu da token başına daha ucuz bir modelin, aynı görevi tamamlamak için daha fazla tokena ihtiyaç duyması halinde toplamda daha pahalıya mal olabileceği anlamına geliyor. Bu durum, Databricks'i modelleri ham API fiyatları yerine gerçek, uçtan uca görev tamamlama maliyeti üzerinden değerlendirmeye yöneltti .
Toplam sahip olma maliyeti GLM 5.2'yi öne çıkardı. Z.ai'nin API'si üzerinden GLM 5.2'nin fiyatı milyon giriş tokeni başına yaklaşık 1,40 dolar ve milyon çıkış tokeni başına 4,40 dolar seviyesinde . Ayda 10 milyon token işleyen ve girdi-çıktı dağılımı %50-%50 olan bir ekip için toplam maliyet ayda yaklaşık 29 dolar oluyor
. Rakip modellerden Anthropic'in Opus 4.8'inin milyon token başına 5/25 dolar olan fiyatı, benzer veya biraz daha iyi kıyaslama puanları için 3 ila 6 kat daha fazla maliyete yol açabiliyor
. Görev bazında bir karşılaştırmada, Databricks testinde GLM 5.2, Pi ajanı ile kullanıldığında görev başına 1,25 dolar maliyetle %87,5 başarı oranına ulaşırken, Opus 4.8'in yüksek eforla Claude Code ile kullandığında görev başına 2 dolar maliyetle benzer bir başarı oranı yakaladığı görüldü
.
Çok daha düşük maliyetle sınır model performansı. GLM 5.2, SWE-bench Pro'da 62.1 puan alarak GPT-5.5'in (58.6) üzerinde bir performans sergiledi ve Anthropic'in Opus 4.8 modelinin sadece birkaç puan gerisinde kaldı . FrontierSWE Dominance testinde ise %74,4'e ulaşarak Opus 4.8'in %75,1'lik skoruna neredeyse yetişti
. Databricks'in kendi dahili testleri de bu kamuya açık kıyaslamaları doğruladı: Çin yapımı bu açık ağırlıklı model, aynı gerçek dünya mühendislik görevlerinde lider tescilli modellerin yeteneklerine ulaştı veya ona yaklaştı
.
Açık ağırlıklı ve MIT lisanslı dağıtım esnekliği. GLM 5.2, MIT lisansına sahip ve tamamen açık ağırlıklı olduğu için Databricks modeli kendi altyapısında çalıştırabildi, ince ayar yapabildi ve kullanıcı başına lisanslama veya satıcıya bağımlılık olmadan ajan tabanlı kodlama iş akışına sıkı bir şekilde entegre edebildi . Bu lisans modeli, işletmelerin yüksek hacimli kullanımda tekrarlanan API maliyetlerinden kaçınarak modeli kendi altyapılarında çalıştırmasına olanak tanıyor.
Uzun vadeli, çok adımlı görevler için ideal. Kıyaslama, birden fazla dosyayı ve akıl yürütme adımını kapsayan ajan tabanlı kodlama düzenlemelerine odaklandı. 1 milyon tokenlık bağlam penceresi ve 744 milyar parametreli uzman karışımı (MoE) mimarisiyle GLM 5.2, tek dosyalı otomatik tamamlama yerine tam da bu tür depo ölçekli, uzun soluklu çalışmalar için optimize edilmişti . Terminal-Bench 2.1'de 81.0 puan alarak en güçlü açık kaynak model olurken, sadece Claude Opus 4.8'in (85.0) gerisinde kaldı
.
Studio Global AI
Use this topic as a starting point for a fresh source-backed answer, then compare citations before you share it.
Databricks, milyonlarca satırlık kendi kod tabanında yaptığı dahili kıyaslama testinde, Çin yapımı açık kaynak model GLM 5.2'nin, OpenAI ve Anthropic'in en iyi modelleriyle kalite maliyet dengesinde aynı ligde olduğun...
Databricks, milyonlarca satırlık kendi kod tabanında yaptığı dahili kıyaslama testinde, Çin yapımı açık kaynak model GLM 5.2'nin, OpenAI ve Anthropic'in en iyi modelleriyle kalite maliyet dengesinde aynı ligde olduğun... Kıyaslama, token başına fiyatın yanıltıcı bir maliyet göstergesi olduğunu; daha büyük ve verimli modellerin toplamda daha düşük maliyetle aynı işi tamamlayabildiğini gösterdi.
GLM 5.2, SWE bench Pro'da 62.1 puan alarak GPT 5.5'i (58.6) geride bırakırken, Anthropic'in Opus 4.8 modeline çok yaklaştı.