साइबर सुरक्षा बेंचमार्क परिणाम: अमेरिकी प्रतिद्वंद्वियों से मुकाबला

GLM-5.3 का सबसे चर्चित प्रदर्शन CyberGym परीक्षण में रहा। यह बेंचमार्क UC बर्कले की 'रिस्पॉन्सिबल AI डेवलपमेंट इनिशिएटिव' द्वारा विकसित किया गया है और यह जांचता है कि कोई मॉडल व्हाइट-बॉक्स सोर्स कोड से वास्तविक कमजोरियों (वल्नरेबिलिटीज़) की पहचान और पुष्टि कर सकता है या नहीं । इस परीक्षण में GLM-5.3 ने 84.5% स्कोर किया, जो Anthropic के Mythos 5 (83.8%) और OpenAI के GPT-5.6 Sol (83.6%) से थोड़ा अधिक है ।

हालांकि, तस्वीर ExploitBench पर पूरी तरह बदल जाती है। यह परीक्षण किसी कमजोरी का वास्तविक शोषण करने के लिए आवश्यक गहन तर्क (डीप रीज़निंग) की जांच करता है और एक कार्यशील एक्सप्लॉइट की मांग करता है। GLM-5.3 ने अपने पूर्ववर्ती की तुलना में अपने स्कोर को दोगुने से अधिक करते हुए 24.4% से 54.4% तक की छलांग लगाई । लेकिन Z.ai की रिपोर्ट के अनुसार, इस कठिन परीक्षण में Mythos 5 का स्कोर 78% और GPT-5.6 Sol का 76.5% है, जो GLM-5.3 को काफी पीछे छोड़ देता है ।

ExploitGym परीक्षण में, जो सामान्यीकृत दो घंटे के बजट में पूरे किए गए शोषण कार्यों की गणना करता है, GLM-5.3 ने GLM-5.2 के 29 कार्यों के मुकाबले 105 कार्य पूरे किए । छह घंटे के बजट में यह संख्या बढ़कर 130 कार्य हो जाती है ।

स्रोत:

वास्तविक दुनिया में कमजोरियों का पता लगाना

बेंचमार्क से परे, GLM-5.3 को वास्तविक दुनिया के सुरक्षा परीक्षणों में भी तैनात किया गया है, जहां इसने प्रभावशाली परिणाम दिए हैं:

• 269 ओपन-सोर्स प्रोजेक्ट्स में 2,436 पुष्टि की गई कमजोरियां पाई गईं, जिनके परिणाम एक सार्वजनिक Z.ai सिक्योरिटी डिस्क्लोज़र लेज़र में ट्रैक किए गए हैं ।
• इनमें से 1,097 को गंभीर या उच्च-गंभीरता के रूप में वर्गीकृत किया गया ।
• मॉडल ने लगभग 40 वर्ष पुराने सॉफ्टवेयर में भी बग्स का पता लगाया ।
• लॉन्च के कुछ ही समय बाद, इसने AI-संचालित कोड एडिटर Cursor में एक गंभीर कमजोरी की भी पहचान की ।

मुख्य कोडिंग और सामान्य बेंचमार्क

GLM-5.3 ने कोडिंग और एजेंटिक बेंचमार्क पर भी मजबूत प्रदर्शन किया है, जो इसे सॉफ्टवेयर इंजीनियरिंग कार्यों के लिए एक अग्रणी ओपन-वेट मॉडल के रूप में स्थापित करता है:

• Terminal-Bench 3.0: 28.3 का स्कोर — ओपन-वेट मॉडल्स में सबसे अधिक और Anthropic के Claude Fable 5 के करीब ।
• DeepSWE v1.1: 46.2 से छलांग लगाकर 66.9 हो गया ।
• Z.ai आंतरिक कोड बेंच (अधिकतम प्रयास): 34.5% (GLM-5.2 के 23.4% की तुलना में), लगभग 96,000 टोकन की तुलना में प्रति कार्य लगभग 75,000 आउटपुट टोकन का उपयोग करते हुए ।
• Agents' Last Exam: ओपन-वेट मॉडल्स में प्रथम स्थान ।
• World of AI Benchmark कम्पोजिट: 81.3 कम्पोजिट स्कोर के साथ कुल मिलाकर #6 स्थान पर, Kimi K3 (81.5) से ठीक पीछे और GPT-5.6 Terra से आगे ।
• FrontierSWE: 67.5 से बढ़कर 78.1 तक पहुंच गया ।
• SWE-Marathon: 19.4 से दोगुना होकर 42.5 हो गया ।

ओपन वेट्स में देरी क्यों?

Z.ai का कहना है कि पोस्ट-ट्रेनिंग के दौरान मॉडल की साइबर सुरक्षा क्षमता 'उम्मीद से अधिक तेजी से बढ़ी' । आधार मॉडल के 740 अरब पैरामीटर को दोबारा प्रशिक्षित नहीं किया गया — सभी सुधार पोस्ट-ट्रेनिंग से आए । चूंकि यह क्षमता एक अप्रत्याशित चीज (इमर्जेंट) थी, इसलिए कंपनी सुरक्षा और सुरक्षा नियंत्रणों को मजबूत करने के लिए ओपन-वेट रिलीज़ को दो सप्ताह के लिए रोक रही है । मॉडल पहले से ही Z.ai API और ZCode, Claude Code और OpenCode के साथ एकीकरण के माध्यम से उपलब्ध है ।

महत्वपूर्ण बातें

• सभी GLM-5.3 बेंचमार्क स्कोर कंपनी द्वारा रिपोर्ट किए गए हैं और अभी तक स्वतंत्र रूप से सत्यापित नहीं हुए हैं ।
• Mythos 5 और GPT-5.6 Sol पर CyberGym का लाभ बहुत कम है — एक प्रतिशत अंक से भी कम ।
• ExploitBench पर, GLM-5.3 अमेरिकी प्रतिद्वंद्वियों से काफी पीछे है (54.4% बनाम Mythos 5 का 78% और GPT-5.6 Sol का 76.5%) ।
• संदर्भ के लिए, एक व्यापक साइबर सुरक्षा बेंचमार्क एग्रीगेटर CyberGym पर GPT-5.6 Sol को 84.5% (GLM-5.3 के बराबर) और Mythos 5 को 83.8% पर सूचीबद्ध करता है, जबकि ExploitBench पर Sol के लिए 73.5% और Mythos 5 के लिए 78% दिखाता है ।

साइबर सुरक्षा बेंचमार्क परिणाम: अमेरिकी प्रतिद्वंद्वियों से मुकाबला

GLM-5.3 का सबसे चर्चित प्रदर्शन CyberGym परीक्षण में रहा। यह बेंचमार्क UC बर्कले की 'रिस्पॉन्सिबल AI डेवलपमेंट इनिशिएटिव' द्वारा विकसित किया गया है और यह जांचता है कि कोई मॉडल व्हाइट-बॉक्स सोर्स कोड से वास्तविक कमजोरियों (वल्नरेबिलिटीज़) की पहचान और पुष्टि कर सकता है या नहीं । इस परीक्षण में GLM-5.3 ने 84.5% स्कोर किया, जो Anthropic के Mythos 5 (83.8%) और OpenAI के GPT-5.6 Sol (83.6%) से थोड़ा अधिक है ।

हालांकि, तस्वीर ExploitBench पर पूरी तरह बदल जाती है। यह परीक्षण किसी कमजोरी का वास्तविक शोषण करने के लिए आवश्यक गहन तर्क (डीप रीज़निंग) की जांच करता है और एक कार्यशील एक्सप्लॉइट की मांग करता है। GLM-5.3 ने अपने पूर्ववर्ती की तुलना में अपने स्कोर को दोगुने से अधिक करते हुए 24.4% से 54.4% तक की छलांग लगाई । लेकिन Z.ai की रिपोर्ट के अनुसार, इस कठिन परीक्षण में Mythos 5 का स्कोर 78% और GPT-5.6 Sol का 76.5% है, जो GLM-5.3 को काफी पीछे छोड़ देता है ।

ExploitGym परीक्षण में, जो सामान्यीकृत दो घंटे के बजट में पूरे किए गए शोषण कार्यों की गणना करता है, GLM-5.3 ने GLM-5.2 के 29 कार्यों के मुकाबले 105 कार्य पूरे किए । छह घंटे के बजट में यह संख्या बढ़कर 130 कार्य हो जाती है ।

स्रोत:

वास्तविक दुनिया में कमजोरियों का पता लगाना

बेंचमार्क से परे, GLM-5.3 को वास्तविक दुनिया के सुरक्षा परीक्षणों में भी तैनात किया गया है, जहां इसने प्रभावशाली परिणाम दिए हैं:

• 269 ओपन-सोर्स प्रोजेक्ट्स में 2,436 पुष्टि की गई कमजोरियां पाई गईं, जिनके परिणाम एक सार्वजनिक Z.ai सिक्योरिटी डिस्क्लोज़र लेज़र में ट्रैक किए गए हैं ।
• इनमें से 1,097 को गंभीर या उच्च-गंभीरता के रूप में वर्गीकृत किया गया ।
• मॉडल ने लगभग 40 वर्ष पुराने सॉफ्टवेयर में भी बग्स का पता लगाया ।
• लॉन्च के कुछ ही समय बाद, इसने AI-संचालित कोड एडिटर Cursor में एक गंभीर कमजोरी की भी पहचान की ।

मुख्य कोडिंग और सामान्य बेंचमार्क

GLM-5.3 ने कोडिंग और एजेंटिक बेंचमार्क पर भी मजबूत प्रदर्शन किया है, जो इसे सॉफ्टवेयर इंजीनियरिंग कार्यों के लिए एक अग्रणी ओपन-वेट मॉडल के रूप में स्थापित करता है:

• Terminal-Bench 3.0: 28.3 का स्कोर — ओपन-वेट मॉडल्स में सबसे अधिक और Anthropic के Claude Fable 5 के करीब ।
• DeepSWE v1.1: 46.2 से छलांग लगाकर 66.9 हो गया ।
• Z.ai आंतरिक कोड बेंच (अधिकतम प्रयास): 34.5% (GLM-5.2 के 23.4% की तुलना में), लगभग 96,000 टोकन की तुलना में प्रति कार्य लगभग 75,000 आउटपुट टोकन का उपयोग करते हुए ।
• Agents' Last Exam: ओपन-वेट मॉडल्स में प्रथम स्थान ।
• World of AI Benchmark कम्पोजिट: 81.3 कम्पोजिट स्कोर के साथ कुल मिलाकर #6 स्थान पर, Kimi K3 (81.5) से ठीक पीछे और GPT-5.6 Terra से आगे ।
• FrontierSWE: 67.5 से बढ़कर 78.1 तक पहुंच गया ।
• SWE-Marathon: 19.4 से दोगुना होकर 42.5 हो गया ।

ओपन वेट्स में देरी क्यों?

Z.ai का कहना है कि पोस्ट-ट्रेनिंग के दौरान मॉडल की साइबर सुरक्षा क्षमता 'उम्मीद से अधिक तेजी से बढ़ी' । आधार मॉडल के 740 अरब पैरामीटर को दोबारा प्रशिक्षित नहीं किया गया — सभी सुधार पोस्ट-ट्रेनिंग से आए । चूंकि यह क्षमता एक अप्रत्याशित चीज (इमर्जेंट) थी, इसलिए कंपनी सुरक्षा और सुरक्षा नियंत्रणों को मजबूत करने के लिए ओपन-वेट रिलीज़ को दो सप्ताह के लिए रोक रही है । मॉडल पहले से ही Z.ai API और ZCode, Claude Code और OpenCode के साथ एकीकरण के माध्यम से उपलब्ध है ।

महत्वपूर्ण बातें

• सभी GLM-5.3 बेंचमार्क स्कोर कंपनी द्वारा रिपोर्ट किए गए हैं और अभी तक स्वतंत्र रूप से सत्यापित नहीं हुए हैं ।
• Mythos 5 और GPT-5.6 Sol पर CyberGym का लाभ बहुत कम है — एक प्रतिशत अंक से भी कम ।
• ExploitBench पर, GLM-5.3 अमेरिकी प्रतिद्वंद्वियों से काफी पीछे है (54.4% बनाम Mythos 5 का 78% और GPT-5.6 Sol का 76.5%) ।
• संदर्भ के लिए, एक व्यापक साइबर सुरक्षा बेंचमार्क एग्रीगेटर CyberGym पर GPT-5.6 Sol को 84.5% (GLM-5.3 के बराबर) और Mythos 5 को 83.8% पर सूचीबद्ध करता है, जबकि ExploitBench पर Sol के लिए 73.5% और Mythos 5 के लिए 78% दिखाता है ।