תוצאות מבחני אמת מידה באבטחת סייבר לעומת המתחרים האמריקאים

ההישג הבולט של GLM-5.3 הוא במבחן CyberGym, מבחן מבית היוזמה לפיתוח AI אחראי של אוניברסיטת ברקלי, הבודק אם מודל יכול לזהות ולאמת פרצות אבטחה אמיתיות מתוך קוד מקור . שם, GLM-5.3 משיג ציון של 84.5%, עוקף בפער זעום את Mythos 5 של אנתרופיק (83.8%) ואת GPT-5.6 Sol של OpenAI (83.6%) .

התמונה משתנה במבחן ExploitBench, הדורש חשיבה מעמיקה יותר לגבי האופן שבו ניתן לנצל פרצה בפועל ודורש פיתוח ניצול (exploit) עובד. GLM-5.3 יותר מכפיל את ציון קודמו, מ-24.4% ל-54.4% . עם זאת, Z.ai מדווחת כי Mythos 5 משיג 78% ב-ExploitBench ו-GPT-5.6 Sol משיג 76.5% - כך ש-GLM-5.3 נותר הרחק מאחור במדד הקשה יותר הזה .

ב-ExploitGym, המודד כמה משימות ניצול מודל מסוגל להשלים תחת תקציב זמן מתוקנן של שעתיים, GLM-5.3 מסיים 105 משימות (לעומת 29 עבור GLM-5.2) . במסגרת תקציב של שש שעות, המספר עולה ל-130 משימות .

מקורות:

זיהוי פרצות אבטחה בעולם האמיתי

מעבר למבחנים מבוקרים, GLM-5.3 נפרס בבדיקות אבטחה בעולם האמיתי עם תוצאות מרשימות:

• 2,436 פרצות אבטחה מאומתות נמצאו ב-269 פרויקטי קוד פתוח, כשהתוצאות מנוטרות בפנקס גילוי אבטחה ציבורי של Z.ai .
• מתוכן, 1,097 סווגו כקריטיות או בעלות חומרה גבוהה .
• המודל מצא באגים בתוכנות שגילן מוערך בכ-40 שנה .
• זמן קצר לאחר ההשקה, המודל זיהה גם פרצה חמורה ב-Cursor, עורך הקוד המופעל על ידי AI .

מבחני קוד ואמת מידה כלליים מרכזיים

GLM-5.3 מפרסם גם מספרים חזקים במבחני קוד וסוכנים (agents), המציבים אותו כמודל מוביל בקטגוריית הקוד הפתוח למחצה למשימות הנדסת תוכנה:

• Terminal-Bench 3.0: ציון 28.3 - הגבוה ביותר מבין מודלי קוד פתוח ומתקרב ל-Claude Fable 5 של אנתרופיק .
• DeepSWE v1.1: זינוק מ-46.2 ל-66.9 .
• Z.ai Code Bench פנימי (מאמץ מירבי): 34.5% (לעומת 23.4% ב-GLM-5.2), תוך שימוש בכ-75,000 טוקני פלט למשימה לעומת 96,000 .
• Agents' Last Exam: מקום ראשון מבין מודלי קוד פתוח .
• World of AI Benchmark composite: מדורג #6 כללי עם ציון מורכב של 81.3, מיד אחרי Kimi K3 (81.5) ולפני GPT-5.6 Terra .
• FrontierSWE: הגיע ל-78.1, עלייה מ-67.5 .
• SWE-Marathon: הכפלה מ-19.4 ל-42.5 .

מדוע שחרור משקלי המודל מתעכב

Z.ai מסבירה כי יכולת אבטחת הסייבר של המודל "צמחה מהר יותר מהצפוי" במהלך שלב הפוסט-טריינינג (אימון נוסף לאחר האימון הראשוני) . 740 מיליארד הפרמטרים של מודל הבסיס לא אומנו מחדש - כל השיפורים הגיעו משיפורים בשלב הפוסט-טריינינג . מכיוון שיכולת זו הייתה הפתעה מתעוררת, החברה מעכבת את שחרור משקלי המודל לציבור בשבועיים כדי לחזק את בקרות הבטיחות והאבטחה . המודל כבר זמין דרך ה-API של Z.ai ובאמצעות אינטגרציות עם ZCode, Claude Code ו-OpenCode .

הסתייגויות חשובות

• כל ציוני מבחני אמת המידה של GLM-5.3 מדווחים על ידי החברה וטרם אומתו באופן בלתי תלוי .
• היתרון ב-CyberGym על פני Mythos 5 ו-GPT-5.6 Sol הוא זעום - פחות מאחוז אחד .
• ב-ExploitBench, GLM-5.3 מפגר הרחק מאחורי המתחרים האמריקאים בפער משמעותי (54.4% לעומת 78% ל-Mythos 5 ו-76.5% ל-GPT-5.6 Sol) .
• להקשר, מצרן מבחני אמת מידה רחב יותר מציין את GPT-5.6 Sol עם 84.5% ב-CyberGym (התאמה ל-GLM-5.3) ואת Mythos 5 עם 83.8%, תוך הצגת ציון ExploitBench של 73.5% עבור Sol ו-78% עבור Mythos 5 .

תוצאות מבחני אמת מידה באבטחת סייבר לעומת המתחרים האמריקאים

ההישג הבולט של GLM-5.3 הוא במבחן CyberGym, מבחן מבית היוזמה לפיתוח AI אחראי של אוניברסיטת ברקלי, הבודק אם מודל יכול לזהות ולאמת פרצות אבטחה אמיתיות מתוך קוד מקור . שם, GLM-5.3 משיג ציון של 84.5%, עוקף בפער זעום את Mythos 5 של אנתרופיק (83.8%) ואת GPT-5.6 Sol של OpenAI (83.6%) .

התמונה משתנה במבחן ExploitBench, הדורש חשיבה מעמיקה יותר לגבי האופן שבו ניתן לנצל פרצה בפועל ודורש פיתוח ניצול (exploit) עובד. GLM-5.3 יותר מכפיל את ציון קודמו, מ-24.4% ל-54.4% . עם זאת, Z.ai מדווחת כי Mythos 5 משיג 78% ב-ExploitBench ו-GPT-5.6 Sol משיג 76.5% - כך ש-GLM-5.3 נותר הרחק מאחור במדד הקשה יותר הזה .

ב-ExploitGym, המודד כמה משימות ניצול מודל מסוגל להשלים תחת תקציב זמן מתוקנן של שעתיים, GLM-5.3 מסיים 105 משימות (לעומת 29 עבור GLM-5.2) . במסגרת תקציב של שש שעות, המספר עולה ל-130 משימות .

מקורות:

זיהוי פרצות אבטחה בעולם האמיתי

מעבר למבחנים מבוקרים, GLM-5.3 נפרס בבדיקות אבטחה בעולם האמיתי עם תוצאות מרשימות:

• 2,436 פרצות אבטחה מאומתות נמצאו ב-269 פרויקטי קוד פתוח, כשהתוצאות מנוטרות בפנקס גילוי אבטחה ציבורי של Z.ai .
• מתוכן, 1,097 סווגו כקריטיות או בעלות חומרה גבוהה .
• המודל מצא באגים בתוכנות שגילן מוערך בכ-40 שנה .
• זמן קצר לאחר ההשקה, המודל זיהה גם פרצה חמורה ב-Cursor, עורך הקוד המופעל על ידי AI .

מבחני קוד ואמת מידה כלליים מרכזיים

GLM-5.3 מפרסם גם מספרים חזקים במבחני קוד וסוכנים (agents), המציבים אותו כמודל מוביל בקטגוריית הקוד הפתוח למחצה למשימות הנדסת תוכנה:

• Terminal-Bench 3.0: ציון 28.3 - הגבוה ביותר מבין מודלי קוד פתוח ומתקרב ל-Claude Fable 5 של אנתרופיק .
• DeepSWE v1.1: זינוק מ-46.2 ל-66.9 .
• Z.ai Code Bench פנימי (מאמץ מירבי): 34.5% (לעומת 23.4% ב-GLM-5.2), תוך שימוש בכ-75,000 טוקני פלט למשימה לעומת 96,000 .
• Agents' Last Exam: מקום ראשון מבין מודלי קוד פתוח .
• World of AI Benchmark composite: מדורג #6 כללי עם ציון מורכב של 81.3, מיד אחרי Kimi K3 (81.5) ולפני GPT-5.6 Terra .
• FrontierSWE: הגיע ל-78.1, עלייה מ-67.5 .
• SWE-Marathon: הכפלה מ-19.4 ל-42.5 .

מדוע שחרור משקלי המודל מתעכב

Z.ai מסבירה כי יכולת אבטחת הסייבר של המודל "צמחה מהר יותר מהצפוי" במהלך שלב הפוסט-טריינינג (אימון נוסף לאחר האימון הראשוני) . 740 מיליארד הפרמטרים של מודל הבסיס לא אומנו מחדש - כל השיפורים הגיעו משיפורים בשלב הפוסט-טריינינג . מכיוון שיכולת זו הייתה הפתעה מתעוררת, החברה מעכבת את שחרור משקלי המודל לציבור בשבועיים כדי לחזק את בקרות הבטיחות והאבטחה . המודל כבר זמין דרך ה-API של Z.ai ובאמצעות אינטגרציות עם ZCode, Claude Code ו-OpenCode .

הסתייגויות חשובות

• כל ציוני מבחני אמת המידה של GLM-5.3 מדווחים על ידי החברה וטרם אומתו באופן בלתי תלוי .
• היתרון ב-CyberGym על פני Mythos 5 ו-GPT-5.6 Sol הוא זעום - פחות מאחוז אחד .
• ב-ExploitBench, GLM-5.3 מפגר הרחק מאחורי המתחרים האמריקאים בפער משמעותי (54.4% לעומת 78% ל-Mythos 5 ו-76.5% ל-GPT-5.6 Sol) .
• להקשר, מצרן מבחני אמת מידה רחב יותר מציין את GPT-5.6 Sol עם 84.5% ב-CyberGym (התאמה ל-GLM-5.3) ואת Mythos 5 עם 83.8%, תוך הצגת ציון ExploitBench של 73.5% עבור Sol ו-78% עבור Mythos 5 .