Результаты тестов кибербезопасности в сравнении с американскими конкурентами

Главный результат GLM-5.3 — это тест CyberGym, разработанный Инициативой по ответственному развитию ИИ Калифорнийского университета в Беркли. Он проверяет, может ли модель выявлять и подтверждать реальные уязвимости на основе исходного кода . На этом тесте GLM-5.3 набрала 84,5%, немного опередив Mythos 5 от Anthropic (83,8%) и GPT-5.6 Sol от OpenAI (83,6%) .

Картина меняется на тесте ExploitBench, который требует более глубокого анализа того, как можно реально использовать уязвимость, и предполагает создание рабочего эксплойта. GLM-5.3 более чем вдвое улучшила результат своего предшественника, поднявшись с 24,4% до 54,4% . Однако, по данным Z.ai, Mythos 5 набирает 78% на ExploitBench, а GPT-5.6 Sol — 76,5%, что оставляет GLM-5.3 далеко позади по этому более сложному показателю .

На тесте ExploitGym, который оценивает, сколько задач по эксплуатации модель может выполнить за нормированный двухчасовой период, GLM-5.3 завершает 105 задач (по сравнению с 29 у GLM-5.2) . При бюджете в шесть часов этот показатель возрастает до 130 задач .

Источники:

Обнаружение уязвимостей в реальном мире

Помимо тестов, GLM-5.3 была развернута для реального тестирования безопасности и показала впечатляющие результаты:

• 2436 подтвержденных уязвимостей найдено в 269 проектах с открытым исходным кодом; результаты отслеживаются в публичном реестре Z.ai Security Disclosure Ledger .
• Из них 1097 были классифицированы как критические или высокой степени серьезности .
• Модель находила ошибки в программном обеспечении, датируемом примерно 40 годами .
• Вскоре после запуска она также выявила серьезную уязвимость в Cursor — редакторе кода на базе ИИ .

Ключевые результаты в программировании и общие бенчмарки

GLM-5.3 также показывает высокие результаты в области программирования и агентских задачах, позиционируя себя как ведущую модель с открытыми весами для задач разработки программного обеспечения:

• Terminal-Bench 3.0: набрала 28,3 — самый высокий результат среди моделей с открытыми весами, приближающийся к показателю Claude Fable 5 от Anthropic .
• DeepSWE v1.1: улучшение с 46,2 до 66,9 .
• Внутренний Z.ai Code Bench (максимальное усилие): 34,5% (по сравнению с 23,4% у GLM-5.2), используя примерно 75 000 выходных токенов на задачу против 96 000 .
• Agents' Last Exam: первое место среди моделей с открытыми весами .
• World of AI Benchmark composite: #6 в общем зачете с композитным баллом 81,3, сразу за Kimi K3 (81,5) и опережая GPT-5.6 Terra .
• FrontierSWE: достигла 78,1, улучшившись с 67,5 .
• SWE-Marathon: удвоение с 19,4 до 42,5 .

Почему задерживается выпуск открытых весов

В Z.ai заявляют, что способности модели в области кибербезопасности "выросли быстрее, чем ожидалось" в ходе пост-обучения . Базовая модель с 740 миллиардами параметров не переобучалась — все улучшения были достигнуты за счет пост-обучения . Поскольку эта способность возникла неожиданно, компания задерживает выпуск открытых весов на две недели для усиления контроля безопасности . Модель уже доступна через Z.ai API и интеграции с ZCode, Claude Code и OpenCode .

Важные оговорки

• Все показатели GLM-5.3 являются данными, предоставленными компанией, и еще не были независимо проверены .
• Преимущество в CyberGym перед Mythos 5 и GPT-5.6 Sol минимально — менее одного процентного пункта .
• На ExploitBench GLM-5.3 значительно уступает американским конкурентам (54,4% против 78% у Mythos 5 и 76,5% у GPT-5.6 Sol) .
• Для контекста, агрегатор бенчмарков кибербезопасности показывает GPT-5.6 Sol на уровне 84,5% на CyberGym (сравнимо с GLM-5.3) и Mythos 5 на уровне 83,8%, а на ExploitBench — 73,5% для Sol и 78% для Mythos 5 .

Результаты тестов кибербезопасности в сравнении с американскими конкурентами

Главный результат GLM-5.3 — это тест CyberGym, разработанный Инициативой по ответственному развитию ИИ Калифорнийского университета в Беркли. Он проверяет, может ли модель выявлять и подтверждать реальные уязвимости на основе исходного кода . На этом тесте GLM-5.3 набрала 84,5%, немного опередив Mythos 5 от Anthropic (83,8%) и GPT-5.6 Sol от OpenAI (83,6%) .

Картина меняется на тесте ExploitBench, который требует более глубокого анализа того, как можно реально использовать уязвимость, и предполагает создание рабочего эксплойта. GLM-5.3 более чем вдвое улучшила результат своего предшественника, поднявшись с 24,4% до 54,4% . Однако, по данным Z.ai, Mythos 5 набирает 78% на ExploitBench, а GPT-5.6 Sol — 76,5%, что оставляет GLM-5.3 далеко позади по этому более сложному показателю .

На тесте ExploitGym, который оценивает, сколько задач по эксплуатации модель может выполнить за нормированный двухчасовой период, GLM-5.3 завершает 105 задач (по сравнению с 29 у GLM-5.2) . При бюджете в шесть часов этот показатель возрастает до 130 задач .

Источники:

Обнаружение уязвимостей в реальном мире

Помимо тестов, GLM-5.3 была развернута для реального тестирования безопасности и показала впечатляющие результаты:

• 2436 подтвержденных уязвимостей найдено в 269 проектах с открытым исходным кодом; результаты отслеживаются в публичном реестре Z.ai Security Disclosure Ledger .
• Из них 1097 были классифицированы как критические или высокой степени серьезности .
• Модель находила ошибки в программном обеспечении, датируемом примерно 40 годами .
• Вскоре после запуска она также выявила серьезную уязвимость в Cursor — редакторе кода на базе ИИ .

Ключевые результаты в программировании и общие бенчмарки

GLM-5.3 также показывает высокие результаты в области программирования и агентских задачах, позиционируя себя как ведущую модель с открытыми весами для задач разработки программного обеспечения:

• Terminal-Bench 3.0: набрала 28,3 — самый высокий результат среди моделей с открытыми весами, приближающийся к показателю Claude Fable 5 от Anthropic .
• DeepSWE v1.1: улучшение с 46,2 до 66,9 .
• Внутренний Z.ai Code Bench (максимальное усилие): 34,5% (по сравнению с 23,4% у GLM-5.2), используя примерно 75 000 выходных токенов на задачу против 96 000 .
• Agents' Last Exam: первое место среди моделей с открытыми весами .
• World of AI Benchmark composite: #6 в общем зачете с композитным баллом 81,3, сразу за Kimi K3 (81,5) и опережая GPT-5.6 Terra .
• FrontierSWE: достигла 78,1, улучшившись с 67,5 .
• SWE-Marathon: удвоение с 19,4 до 42,5 .

Почему задерживается выпуск открытых весов

В Z.ai заявляют, что способности модели в области кибербезопасности "выросли быстрее, чем ожидалось" в ходе пост-обучения . Базовая модель с 740 миллиардами параметров не переобучалась — все улучшения были достигнуты за счет пост-обучения . Поскольку эта способность возникла неожиданно, компания задерживает выпуск открытых весов на две недели для усиления контроля безопасности . Модель уже доступна через Z.ai API и интеграции с ZCode, Claude Code и OpenCode .

Важные оговорки

• Все показатели GLM-5.3 являются данными, предоставленными компанией, и еще не были независимо проверены .
• Преимущество в CyberGym перед Mythos 5 и GPT-5.6 Sol минимально — менее одного процентного пункта .
• На ExploitBench GLM-5.3 значительно уступает американским конкурентам (54,4% против 78% у Mythos 5 и 76,5% у GPT-5.6 Sol) .
• Для контекста, агрегатор бенчмарков кибербезопасности показывает GPT-5.6 Sol на уровне 84,5% на CyberGym (сравнимо с GLM-5.3) и Mythos 5 на уровне 83,8%, а на ExploitBench — 73,5% для Sol и 78% для Mythos 5 .