उत्तरप्रकाशित3 दिन पहलेLast edited 3 दिन पहले23 स्रोत

Databricks ने GLM 5.2 को अपना डिफ़ॉल्ट कोडिंग इंजन बनाया: इंटरनल बेंचमार्क ने क्या साबित किया

Databricks के लाखों लाइनों वाले कोडबेस पर किए गए इंटरनल बेंचमार्क ने पाया कि Z.ai का GLM 5.2 जैसे ओपन सोर्स मॉडल अब कोडिंग एजेंट टास्क के लिए गुणवत्ता और लागत के मामले में फ्रंटियर पर पहुंच गए हैं [3]। बेंचमार्क ने तीन बड़े सरप्राइज दिए: ओपन सोर्स मॉडल अब फ्रंटियर पर हैं, टोकन की कीमत लागत का सही पैमाना नहीं है, और...

Studio Global AI के साथ खोजें और तथ्यों की जांच करें और ट्रेंडिंग पेज देखें

Conceptual visualization of AI coding models being benchmarked for performance and cost efficiency — Search & fact-check with cited sources for What did Databricks' internal coding benchmark reveal about AI model performance and cost, and whAI-generated editorial image representing the benchmarking of coding AI models
AI संकेत
Create a landscape editorial hero image for this Studio Global article: Search & fact-check with cited sources for What did Databricks' internal coding benchmark reveal about AI model performance and cost, and wh. Article summary: Databricks published results from an internal coding benchmark that evaluated agentic models on real engineering tasks from its multi-million-line codebase (Python, Go, TypeScript, Scala, SQL). The key findings and the c. Topic tags: general, documentation, general web, academic, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, w
openai.com

डेटा और AI कंपनी Databricks ने जुलाई 2026 में अपने इंटरनल कोडिंग बेंचमार्क के नतीजे जारी किए। इस बेंचमार्क में एजेंटिक AI मॉडल्स को कंपनी के अपने लाखों लाइनों वाले कोडबेस (Python, Go, TypeScript, Scala और SQL) के वास्तविक इंजीनियरिंग टास्क पर परखा गया। इस बेंचमार्क के निष्कर्षों के आधार पर, कंपनी ने Z.ai (पूर्व में Zhipu AI) के चीनी ओपन-सोर्स मॉडल GLM 5.2 को अपना डिफ़ॉल्ट कोडिंग इंजन बना लिया। आइए जानते हैं कि बेंचमार्क से क्या पता चला और Databricks ने यह बदलाव क्यों किया।

बेंचमार्क ने क्या खुलासा किया

Databricks ने अपना खुद का टेस्ट इसलिए बनाया क्योंकि उसे लगा कि SWE-bench जैसे पब्लिक बेंचमार्क पर ओवर-ट्यूनिंग की जा सकती है। कंपनी यह मापना चाहती थी कि कौन से एजेंट क्यूरेटेड टेस्ट सूट के खिलाफ वास्तविक टास्क को एंड-टू-एंड हल कर सकते हैं । इस मूल्यांकन ने तीन बड़े सरप्राइज दिए।

ओपन-सोर्स मॉडल फ्रंटियर पर पहुंच गए हैं। कोडिंग टास्क के लिए पेरेटो फ्रंटियर (एक निश्चित लागत पर सबसे अच्छी गुणवत्ता) में अब OpenAI, Anthropic और ओपन-सोर्स प्रदाताओं के मॉडल शामिल हैं। Databricks के सह-संस्थापक Matei Zaharia ने कहा कि "कई मॉडल, जिनमें ओपन-सोर्स भी शामिल हैं, अब वास्तव में प्रतिस्पर्धी हैं" । कंपनी ने निष्कर्ष निकाला कि ओपन मॉडल, और विशेष रूप से GLM 5.2, अब उच्चतम स्तर की कठिनाई वाले टास्क को संभालने में सक्षम हैं ।

टोकन की कीमत लागत का गलत पैमाना है। बेंचमार्क ने पाया कि एजेंटिक कोडिंग वर्कफ़्लो में मॉडल की प्रति-टोकन कीमत वास्तविक कुल लागत का विश्वसनीय अनुमान नहीं देती है। बड़े मॉडल टोकन के मामले में कहीं अधिक कुशल हो सकते हैं, जिसका मतलब है कि एक सस्ता प्रति-टोकन मॉडल अंततः अधिक खर्चीला साबित हो सकता है अगर उसे उसी काम को पूरा करने के लिए अधिक टोकन की आवश्यकता हो। इसने Databricks को कच्चे API रेट के बजाय वास्तविक, एंड-टू-एंड टास्क कम्पलीशन लागत पर मॉडल का मूल्यांकन करने के लिए प्रेरित किया ।

Studio Global AI

Search, cite, and publish your own answer

Use this topic as a starting point for a fresh source-backed answer, then compare citations before you share it.

Studio Global AI के साथ खोजें और तथ्यों की जांच करें

लोग पूछते भी हैं