Результати кібербезпекових бенчмарків: перемога з нюансами

Головний результат GLM-5.3 — це тест CyberGym, розроблений Ініціативою з відповідального розвитку ШІ Каліфорнійського університету в Берклі . Він перевіряє здатність моделі знаходити та підтверджувати реальні вразливості у вихідному коді. Тут GLM-5.3 набрала 84,5%, незначно випередивши Mythos 5 від Anthropic (83,8%) та GPT-5.6 Sol від OpenAI (83,6%) .

Однак картина змінюється на тесті ExploitBench, який вимагає глибшого розуміння того, як вразливість можна реально експлуатувати, і створення робочого експлойта. Тут GLM-5.3 хоча й більш ніж подвоїла свій результат порівняно з GLM-5.2 (з 24,4% до 54,4%), але все ще значно відстає від Mythos 5 (78%) та GPT-5.6 Sol (76,5%) .

Ще один тест, ExploitGym, вимірює, скільки завдань з експлуатації модель може виконати за нормований бюджет часу. GLM-5.3 впоралася з 105 завданнями за дві години (проти 29 у GLM-5.2) і зі 130 за шість годин .

Джерела:

Реальне виявлення вразливостей

Поза межами бенчмарків, GLM-5.3 вже застосовується на практиці з вражаючими результатами:

• 2436 підтверджених вразливостей знайдено в 269 проєктах з відкритим кодом .
• З них 1097 класифіковано як критичні або високого рівня небезпеки .
• Модель виявила помилки в програмному забезпеченні віком до 40 років .
• Невдовзі після запуску вона також ідентифікувала серйозну вразливість у Cursor — популярному AI-редакторі коду .

Ключові показники в кодуванні та загальних тестах

GLM-5.3 демонструє сильні результати не лише в кібербезпеці, а й у завданнях з програмування, позиціонуючи себе як провідну модель з відкритою вагою для розробників:

• Terminal-Bench 3.0: 28.3 — найвищий результат серед моделей з відкритою вагою .
• DeepSWE v1.1: стрибок з 46.2 до 66.9 .
• Z.ai internal Code Bench (Max effort): 34.5% (проти 23.4% у GLM-5.2) .
• Agents' Last Exam: перше місце серед open-weight моделей .
• World of AI Benchmark composite: #6 із загальним балом 81.3 .
• FrontierSWE: досягнуто 78.1 (було 67.5) .
• SWE-Marathon: подвоєння з 19.4 до 42.5 .

Чому відклали реліз відкритих ваг

У Z.ai пояснюють, що кіберспроможності моделі "зросли швидше, ніж очікувалося" під phase пост-тренування . Базова модель з 740 мільярдами параметрів не перенавчалася — усі покращення були досягнуті саме завдяки пост-тренуванню . Оскільки ця здатність виявилася несподіваною, компанія затримує випуск відкритих ваг на два тижні для посилення заходів безпеки . Наразі модель доступна через API Z.ai та інтеграції з ZCode, Claude Code і OpenCode .

Важливі застереження

• Усі результати тестів GLM-5.3 є власними звітами компанії і ще не були незалежно підтверджені .
• Перевага в CyberGym над Mythos 5 і GPT-5.6 Sol є мінімальною — менше одного відсоткового пункту .
• На ExploitBench GLM-5.3 значно відстає від американських конкурентів (54.4% проти 78% у Mythos 5 і 76.5% у GPT-5.6 Sol) .
• Для контексту, агрегатор бенчмарків benchlm.ai вказує для GPT-5.6 Sol результат 84.5% на CyberGym (що дорівнює показнику GLM-5.3) та 73.5% на ExploitBench .

Результати кібербезпекових бенчмарків: перемога з нюансами

Головний результат GLM-5.3 — це тест CyberGym, розроблений Ініціативою з відповідального розвитку ШІ Каліфорнійського університету в Берклі . Він перевіряє здатність моделі знаходити та підтверджувати реальні вразливості у вихідному коді. Тут GLM-5.3 набрала 84,5%, незначно випередивши Mythos 5 від Anthropic (83,8%) та GPT-5.6 Sol від OpenAI (83,6%) .

Однак картина змінюється на тесті ExploitBench, який вимагає глибшого розуміння того, як вразливість можна реально експлуатувати, і створення робочого експлойта. Тут GLM-5.3 хоча й більш ніж подвоїла свій результат порівняно з GLM-5.2 (з 24,4% до 54,4%), але все ще значно відстає від Mythos 5 (78%) та GPT-5.6 Sol (76,5%) .

Ще один тест, ExploitGym, вимірює, скільки завдань з експлуатації модель може виконати за нормований бюджет часу. GLM-5.3 впоралася з 105 завданнями за дві години (проти 29 у GLM-5.2) і зі 130 за шість годин .

Джерела:

Реальне виявлення вразливостей

Поза межами бенчмарків, GLM-5.3 вже застосовується на практиці з вражаючими результатами:

• 2436 підтверджених вразливостей знайдено в 269 проєктах з відкритим кодом .
• З них 1097 класифіковано як критичні або високого рівня небезпеки .
• Модель виявила помилки в програмному забезпеченні віком до 40 років .
• Невдовзі після запуску вона також ідентифікувала серйозну вразливість у Cursor — популярному AI-редакторі коду .

Ключові показники в кодуванні та загальних тестах

GLM-5.3 демонструє сильні результати не лише в кібербезпеці, а й у завданнях з програмування, позиціонуючи себе як провідну модель з відкритою вагою для розробників:

• Terminal-Bench 3.0: 28.3 — найвищий результат серед моделей з відкритою вагою .
• DeepSWE v1.1: стрибок з 46.2 до 66.9 .
• Z.ai internal Code Bench (Max effort): 34.5% (проти 23.4% у GLM-5.2) .
• Agents' Last Exam: перше місце серед open-weight моделей .
• World of AI Benchmark composite: #6 із загальним балом 81.3 .
• FrontierSWE: досягнуто 78.1 (було 67.5) .
• SWE-Marathon: подвоєння з 19.4 до 42.5 .

Чому відклали реліз відкритих ваг

У Z.ai пояснюють, що кіберспроможності моделі "зросли швидше, ніж очікувалося" під phase пост-тренування . Базова модель з 740 мільярдами параметрів не перенавчалася — усі покращення були досягнуті саме завдяки пост-тренуванню . Оскільки ця здатність виявилася несподіваною, компанія затримує випуск відкритих ваг на два тижні для посилення заходів безпеки . Наразі модель доступна через API Z.ai та інтеграції з ZCode, Claude Code і OpenCode .

Важливі застереження

• Усі результати тестів GLM-5.3 є власними звітами компанії і ще не були незалежно підтверджені .
• Перевага в CyberGym над Mythos 5 і GPT-5.6 Sol є мінімальною — менше одного відсоткового пункту .
• На ExploitBench GLM-5.3 значно відстає від американських конкурентів (54.4% проти 78% у Mythos 5 і 76.5% у GPT-5.6 Sol) .
• Для контексту, агрегатор бенчмарків benchlm.ai вказує для GPT-5.6 Sol результат 84.5% на CyberGym (що дорівнює показнику GLM-5.3) та 73.5% на ExploitBench .