Databricks פרסמה תוצאות מבנצ'מרק קידוד פנימי על מאגר קוד בן מיליוני שורות, שגילה כי מודלים בקוד פתוח כמו GLM 5.2 נמצאים כעת בחזית האיכות עלות עבור משימות קידוד אייג'נטיות GLM 5.2 השיג ציון 62.1 ב SWE bench Pro, עקף את GPT 5.5 (58.6) והתקרב ל Claude Opus 4.8, בעלות של כ 1.40 דולר למיליון טוקני קלט ו 4.40 דולר למיליון...

Create a landscape editorial hero image for this Studio Global article: Search & fact-check with cited sources for What did Databricks' internal coding benchmark reveal about AI model performance and cost, and wh. Article summary: Databricks published results from an internal coding benchmark that evaluated agentic models on real engineering tasks from its multi-million-line codebase (Python, Go, TypeScript, Scala, SQL). The key findings and the c. Topic tags: general, documentation, general web, academic, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, w
Databricks, חברת הנתונים וה-AI, פרסמה תוצאות מבנצ'מרק קידוד פנימי מיולי 2026 שהעריך מודלי AI אייג'נטיים על משימות הנדסה אמיתיות מתוך מאגר הקוד העצום שלה (הכולל Python, Go, TypeScript, Scala ו-SQL). ממצאי הבנצ'מרק הובילו את החברה לאמץ את המודל הסיני בקוד פתוח GLM 5.2 מ-Z.ai (לשעבר Zhipu AI) כמנוע הקידוד הברירת מחדל שלה. הנה מה שהבנצ'מרק חשף ומדוע Databricks ביצעה את השינוי.
Databricks בנתה בדיקה משלה משום שמצאה שבנצ'מרקים ציבוריים כמו SWE-bench ניתנים לכיוונון יתר, ורצתה למדוד אילו אייג'נטים יכולים לפתור משימות אמיתיות מקצה לקצה מול חבילות בדיקה מותאמות . ההערכה הניבה שלוש הפתעות עיקריות.
מודלים בקוד פתוח הגיעו לחזית. גבול פארטו למשימות קידוד — כלומר האיכות הטובה ביותר בעלות נתונה — כולל כעת מודלים מ-OpenAI, Anthropic וספקי קוד פתוח. מייסד שותף של Databricks, Matei Zaharia, הצהיר כי "מודלים רבים, כולל אלו בקוד פתוח, באמת תחרותיים כעת" . החברה הגיעה למסקנה שמודלים פתוחים, ובמיוחד GLM 5.2, מסוגלים כעת להתמודד עם רמת הקושי הגבוהה ביותר שנבדקה
.
מחיר לטוקן הוא מדד עלות מטעה. הבנצ'מרק מצא כי מחיר לטוקן של מודל אינו מנבא באופן אמין את העלות הכוללת בפועל בזרימות עבודה אייג'נטיות. מודלים גדולים יותר יכולים להיות יעילים הרבה יותר בטוקנים, מה שאומר שמודל זול יותר לטוקן עלול לעלות יותר בסופו של דבר אם הוא דורש יותר טוקנים להשלמת אותה משימה. זה הוביל את Databricks להעריך מודלים לפי עלות השלמת משימה אמיתית מקצה לקצה, ולא לפי תעריפי API גולמיים .
עלות כוללת (TCO) העדיפה את GLM 5.2. ב-API של Z.ai, GLM 5.2 מתומחר בכ-1.40 דולר למיליון טוקני קלט ו-4.40 דולר למיליון טוקני פלט . עבור צוות המעבד 10 מיליון טוקנים בחודש עם חלוקה של 50/50 בין קלט לפלט, העלות הכוללת תהיה כ-29 דולר לחודש
. מודלים מתחרים כמו Opus 4.8 של Anthropic ב-5/25 דולר למיליון טוקנים יכולים לעלות פי 3 עד 6 עבור ציוני בנצ'מרק דומים או מעט טובים יותר
. על בסיס עלות למשימה, בדיקה אחת של Databricks הראתה ש-GLM 5.2 באמצעות האייג'נט Pi השיג אחוז מעבר של 87.5% בעלות של 1.25 דולר למשימה, בעוד Opus 4.8 במאמץ גבוה באמצעות Claude Code השיג אחוז מעבר דומה בעלות של 2.00 דולר למשימה
.
ביצועים זהים למודלי חזית בעלות נמוכה בהרבה. GLM 5.2 קיבל ציון 62.1 ב-SWE-bench Pro, עקף את GPT-5.5 (58.6) והתקרב בטווח של נקודות בודדות ל-Claude Opus 4.8 . ב-FrontierSWE Dominance הוא הגיע ל-74.4%, כמעט שוויון עם Opus 4.8 (75.1%)
. הבדיקות הפנימיות של Databricks הדהדו את הבנצ'מרקים הציבוריים: המודל הסיני בעל המשקלים הפתוחים השתווה או התקרב ליכולות של מודלים קנייניים מובילים באותן משימות הנדסה אמיתיות
.
גמישות פריסה עם רישיון MIT ומשקלים פתוחים. מכיוון ש-GLM 5.2 הוא ברישיון MIT ובעל משקלים פתוחים לחלוטין, Databricks יכלה לפרוס אותו בבית, לבצע כיוונון עדין (fine-tuning), ולשלב אותו היטב בזרימת העבודה האייג'נטית שלה ללא עלויות רישוי לפי משתמש או נעילה לספק מסוים . מודל רישוי זה מאפשר לארגונים להריץ את המודל על התשתית שלהם, תוך הימנעות מעלויות API חוזרות עבור שימוש בהיקף גבוה.
התאמה למשימות מרובות שלבים וארוכות טווח. הבנצ'מרק התמקד בעריכות קידוד אייג'נטיות המשתרעות על פני קבצים רבים ושלבי חשיבה מרובים. GLM 5.2, עם חלון הקשר של מיליון טוקנים וארכיטקטורת MoE בת 744 מיליארד פרמטרים, עבר אופטימיזציה ספציפית עבור סוג זה של עבודה בקנה מידה של מאגר קוד וארוכת טווח, ולא להשלמה אוטומטית של קובץ בודד . ב-Terminal-Bench 2.1, שבוחן ביצוע משימות משורת הפקודה ומשימות אייג'נטיות, הוא קיבל ציון 81.0, מה שהופך אותו למודל בקוד פתוח החזק ביותר, בפיגור קטן אחרי Claude Opus 4.8 (85.0)
.
Studio Global AI
Use this topic as a starting point for a fresh source-backed answer, then compare citations before you share it.
Databricks פרסמה תוצאות מבנצ'מרק קידוד פנימי על מאגר קוד בן מיליוני שורות, שגילה כי מודלים בקוד פתוח כמו GLM 5.2 נמצאים כעת בחזית האיכות עלות עבור משימות קידוד אייג'נטיות
Databricks פרסמה תוצאות מבנצ'מרק קידוד פנימי על מאגר קוד בן מיליוני שורות, שגילה כי מודלים בקוד פתוח כמו GLM 5.2 נמצאים כעת בחזית האיכות עלות עבור משימות קידוד אייג'נטיות GLM 5.2 השיג ציון 62.1 ב SWE bench Pro, עקף את GPT 5.5 (58.6) והתקרב ל Claude Opus 4.8, בעלות של כ 1.40 דולר למיליון טוקני קלט ו 4.40 דולר למיליון טוקני פלט
הבנצ'מרק חשף כי מחיר לטוקן הוא מדד מטעה לעלות הכוללת, וכי מודלים גדולים יותר יכולים להיות יעילים יותר בטוקנים ובעלות כוללת נמוכה יותר