GLM-5.3 da Z.ai supera rivais dos EUA em benchmark de cibersegurança, mas fica atrás em teste mais desafiador

O cenário muda no ExploitBench, que exige um raciocínio mais profundo sobre como uma vulnerabilidade real poderia ser explorada e demanda um exploit funcional. O GLM-5.3 mais que dobrou a pontuação de seu antecessor, subindo de 24,4% para 54,4% . No entanto, a Z.ai reporta que o Mythos 5 marca 78% no ExploitBench e o GPT-5.6 Sol, 76,5% — deixando o GLM-5.3 bem atrás nesta métrica mais desafiadora .

No ExploitGym, que conta quantas tarefas de exploração um modelo consegue completar em um orçamento normalizado de duas horas, o GLM-5.3 finalizou 105 tarefas (ante 29 do GLM-5.2) . Em um orçamento de seis horas, esse número sobe para 130 tarefas .

Fontes:

Detecção de Vulnerabilidades no Mundo Real

Além dos benchmarks, o GLM-5.3 foi implantado em testes de segurança reais com resultados impressionantes:

• 2.436 vulnerabilidades confirmadas encontradas em 269 projetos de código aberto, com resultados registrados em um Registro Público de Divulgação de Segurança (Z.ai Security Disclosure Ledger) .
• Desses, 1.097 foram classificados como críticos ou de alta gravidade .
• O modelo encontrou bugs em softwares com até cerca de 40 anos de idade .
• Pouco após o lançamento, também identificou uma vulnerabilidade grave no Cursor, o editor de código com inteligência artificial .

Principais Benchmarks de Código e Gerais

O GLM-5.3 também apresenta números fortes em benchmarks de codificação e agentes de IA, posicionando-se como um modelo líder de pesos abertos para tarefas de engenharia de software:

• Terminal-Bench 3.0: marcou 28,3 — o maior entre modelos de pesos abertos e se aproximando do Claude Fable 5 da Anthropic .
• DeepSWE v1.1: saltou de 46,2 para 66,9 .
• Z.ai internal Code Bench (esforço máximo): 34,5% (vs. 23,4% do GLM-5.2), usando aproximadamente 75.000 tokens de saída por tarefa, contra 96.000 .
• Agents' Last Exam: primeiro lugar entre modelos de pesos abertos .
• World of AI Benchmark (composto): classificado em #6 no geral com pontuação composta de 81,3, logo atrás do Kimi K3 (81,5) e à frente do GPT-5.6 Terra .
• FrontierSWE: alcançou 78,1, ante 67,5 .
• SWE-Marathon: dobrou de 19,4 para 42,5 .

Por que os Pesos Abertos Estão Atrasados

A Z.ai afirma que a capacidade de cibersegurança do modelo "cresceu mais rápido do que o previsto" durante o pós-treinamento . Os 740 bilhões de parâmetros do modelo base não foram retreinados — todos os ganhos vieram de melhorias no pós-treinamento . Como essa capacidade foi uma surpresa emergente, a empresa está segurando a liberação dos pesos abertos por duas semanas enquanto reforça os controles de segurança . O modelo já está disponível via API da Z.ai e por meio de integrações com ZCode, Claude Code e OpenCode .

Riscos e Considerações Importantes

• Todas as pontuações de benchmark do GLM-5.3 são autorrelatadas pela empresa e ainda não foram verificadas de forma independente .
• A vantagem no CyberGym sobre o Mythos 5 e o GPT-5.6 Sol é estreita — menos de um ponto percentual .
• No ExploitBench, o GLM-5.3 fica atrás dos rivais dos EUA por uma margem ampla (54,4% vs. 78% do Mythos 5 e 76,5% do GPT-5.6 Sol) .
• Para contexto, um agregador de benchmarks de cibersegurança lista o GPT-5.6 Sol com 84,5% no CyberGym (empatando com o GLM-5.3) e o Mythos 5 com 83,8%, enquanto mostra um ExploitBench de 73,5% para o Sol e 78% para o Mythos 5 .