미국 경쟁사와의 사이버 보안 벤치마크 결과

GLM-5.3의 가장 주목할 만한 성과는 CyberGym 벤치마크에서 나왔습니다. CyberGym은 UC 버클리의 책임 있는 AI 개발 이니셔티브(Responsible AI Development Initiative)에서 개발한 것으로, 모델이 소스 코드에서 실제 취약점을 식별하고 검증할 수 있는지를 테스트합니다 . GLM-5.3은 여기서 **84.5%**를 기록하며, Anthropic의 **Mythos 5(83.8%)**와 OpenAI의 **GPT-5.6 Sol(83.6%)**을 근소한 차이로 앞질렀습니다 .

하지만 더 까다로운 ExploitBench 벤치마크에서는 상황이 달라집니다. ExploitBench는 취약점의 근본 원인을 분석하고 실제로 작동하는 익스플로잇(exploit)을 개발할 수 있는 능력을 평가합니다. GLM-5.3은 전작(24.4%)보다 두 배 이상 향상된 **54.4%**를 기록했지만 , Mythos 5(78%)와 GPT-5.6 Sol(76.5%)에는 크게 뒤쳐지는 것으로 나타났습니다 .

ExploitGym 벤치마크는 정규화된 2시간 예산 내에 모델이 완료하는 익스플로잇 작업 수를 측정합니다. GLM-5.3은 105개의 작업을 완료했으며(GLM-5.2는 29개), 6시간 예산에서는 130개까지 증가했습니다 .

출처:

실제 취약점 탐지 성과

벤치마크를 넘어, GLM-5.3은 실제 보안 테스트에서도 인상적인 결과를 보여주었습니다.

• 269개의 오픈 소스 프로젝트에서 2,436개의 확인된 취약점을 발견했으며, 그 결과는 Z.ai 보안 공개 원장(Z.ai Security Disclosure Ledger)에 공개적으로 기록되었습니다 .
• 이 중 1,097개는 치명적 또는 높은 심각도로 분류되었습니다 .
• 발견된 버그 중에는 약 40년 된 소프트웨어의 취약점도 포함되어 있었습니다 .
• 출시 직후에는 AI 기반 코드 편집기인 Cursor에서 심각한 취약점을 찾아내기도 했습니다 .

주요 코딩 및 일반 벤치마크 결과

GLM-5.3은 코딩 및 에이전트 벤치마크에서도 강력한 성능을 보이며, 소프트웨어 엔지니어링 분야에서 선도적인 오픈 웨이트 모델로 자리매김했습니다.

• Terminal-Bench 3.0: 28.3점 기록. 오픈 웨이트 모델 중 가장 높은 점수이며, Anthropic의 Claude Fable 5에 근접한 수치입니다 .
• DeepSWE v1.1: 46.2에서 66.9로 크게 상승했습니다 .
• Z.ai 내부 코드 벤치마크 (최대 노력): GLM-5.2의 23.4%에서 **34.5%**로 향상되었으며, 작업당 약 75,000개의 출력 토큰을 사용했습니다 (GLM-5.2는 96,000개) .
• Agents' Last Exam: 오픈 웨이트 모델 중 1위를 차지했습니다 .
• World of AI Benchmark 종합: 81.3점으로 전체 6위를 기록하며, Kimi K3(81.5) 바로 아래, GPT-5.6 Terra(점수 미공개)보다 앞섰습니다 .
• FrontierSWE: 67.5에서 78.1로 상승했습니다 .
• SWE-Marathon: 19.4에서 42.5로 두 배 가까이 증가했습니다 .

오픈 웨이트 출시가 연기된 이유

Z.ai는 모델의 사이버 보안 능력이 후훈련(post-training) 과정에서 "예상보다 빠르게 성장했다"고 밝혔습니다 . 베이스 모델의 7400억 개 매개변수는 재훈련되지 않았으며, 모든 성능 향상은 후훈련 개선을 통해 이루어졌습니다 . 이 능력이 예상치 못하게 나타났기 때문에, 회사는 안전 및 보안 통제를 강화하기 위해 오픈 웨이트 출시를 2주간 보류하기로 결정했습니다 . 모델은 Z.ai API와 ZCode, Claude Code, OpenCode 통합을 통해 이미 사용할 수 있습니다 .

중요한 주의사항

• 모든 GLM-5.3 벤치마크 점수는 회사 자체 보고이며 아직 독립적으로 검증되지 않았습니다 .
• CyberGym에서 Mythos 5 및 GPT-5.6 Sol에 대한 우위는 미미합니다 (1% 포인트 미만) .
• ExploitBench에서 GLM-5.3은 미국 경쟁사들에 비해 상당히 뒤쳐집니다 (54.4% 대 Mythos 5의 78%, GPT-5.6 Sol의 76.5%) .
• 참고로, 종합 사이버 보안 벤치마크 집계 사이트에 따르면 GPT-5.6 Sol은 CyberGym에서 GLM-5.3과 동률인 84.5%를, Mythos 5는 83.8%를 기록했습니다. ExploitBench에서는 Sol이 73.5%, Mythos 5가 78%입니다 .

미국 경쟁사와의 사이버 보안 벤치마크 결과

GLM-5.3의 가장 주목할 만한 성과는 CyberGym 벤치마크에서 나왔습니다. CyberGym은 UC 버클리의 책임 있는 AI 개발 이니셔티브(Responsible AI Development Initiative)에서 개발한 것으로, 모델이 소스 코드에서 실제 취약점을 식별하고 검증할 수 있는지를 테스트합니다 . GLM-5.3은 여기서 **84.5%**를 기록하며, Anthropic의 **Mythos 5(83.8%)**와 OpenAI의 **GPT-5.6 Sol(83.6%)**을 근소한 차이로 앞질렀습니다 .

하지만 더 까다로운 ExploitBench 벤치마크에서는 상황이 달라집니다. ExploitBench는 취약점의 근본 원인을 분석하고 실제로 작동하는 익스플로잇(exploit)을 개발할 수 있는 능력을 평가합니다. GLM-5.3은 전작(24.4%)보다 두 배 이상 향상된 **54.4%**를 기록했지만 , Mythos 5(78%)와 GPT-5.6 Sol(76.5%)에는 크게 뒤쳐지는 것으로 나타났습니다 .

ExploitGym 벤치마크는 정규화된 2시간 예산 내에 모델이 완료하는 익스플로잇 작업 수를 측정합니다. GLM-5.3은 105개의 작업을 완료했으며(GLM-5.2는 29개), 6시간 예산에서는 130개까지 증가했습니다 .

출처:

실제 취약점 탐지 성과

벤치마크를 넘어, GLM-5.3은 실제 보안 테스트에서도 인상적인 결과를 보여주었습니다.

• 269개의 오픈 소스 프로젝트에서 2,436개의 확인된 취약점을 발견했으며, 그 결과는 Z.ai 보안 공개 원장(Z.ai Security Disclosure Ledger)에 공개적으로 기록되었습니다 .
• 이 중 1,097개는 치명적 또는 높은 심각도로 분류되었습니다 .
• 발견된 버그 중에는 약 40년 된 소프트웨어의 취약점도 포함되어 있었습니다 .
• 출시 직후에는 AI 기반 코드 편집기인 Cursor에서 심각한 취약점을 찾아내기도 했습니다 .

주요 코딩 및 일반 벤치마크 결과

GLM-5.3은 코딩 및 에이전트 벤치마크에서도 강력한 성능을 보이며, 소프트웨어 엔지니어링 분야에서 선도적인 오픈 웨이트 모델로 자리매김했습니다.

• Terminal-Bench 3.0: 28.3점 기록. 오픈 웨이트 모델 중 가장 높은 점수이며, Anthropic의 Claude Fable 5에 근접한 수치입니다 .
• DeepSWE v1.1: 46.2에서 66.9로 크게 상승했습니다 .
• Z.ai 내부 코드 벤치마크 (최대 노력): GLM-5.2의 23.4%에서 **34.5%**로 향상되었으며, 작업당 약 75,000개의 출력 토큰을 사용했습니다 (GLM-5.2는 96,000개) .
• Agents' Last Exam: 오픈 웨이트 모델 중 1위를 차지했습니다 .
• World of AI Benchmark 종합: 81.3점으로 전체 6위를 기록하며, Kimi K3(81.5) 바로 아래, GPT-5.6 Terra(점수 미공개)보다 앞섰습니다 .
• FrontierSWE: 67.5에서 78.1로 상승했습니다 .
• SWE-Marathon: 19.4에서 42.5로 두 배 가까이 증가했습니다 .

오픈 웨이트 출시가 연기된 이유

Z.ai는 모델의 사이버 보안 능력이 후훈련(post-training) 과정에서 "예상보다 빠르게 성장했다"고 밝혔습니다 . 베이스 모델의 7400억 개 매개변수는 재훈련되지 않았으며, 모든 성능 향상은 후훈련 개선을 통해 이루어졌습니다 . 이 능력이 예상치 못하게 나타났기 때문에, 회사는 안전 및 보안 통제를 강화하기 위해 오픈 웨이트 출시를 2주간 보류하기로 결정했습니다 . 모델은 Z.ai API와 ZCode, Claude Code, OpenCode 통합을 통해 이미 사용할 수 있습니다 .

중요한 주의사항

• 모든 GLM-5.3 벤치마크 점수는 회사 자체 보고이며 아직 독립적으로 검증되지 않았습니다 .
• CyberGym에서 Mythos 5 및 GPT-5.6 Sol에 대한 우위는 미미합니다 (1% 포인트 미만) .
• ExploitBench에서 GLM-5.3은 미국 경쟁사들에 비해 상당히 뒤쳐집니다 (54.4% 대 Mythos 5의 78%, GPT-5.6 Sol의 76.5%) .
• 참고로, 종합 사이버 보안 벤치마크 집계 사이트에 따르면 GPT-5.6 Sol은 CyberGym에서 GLM-5.3과 동률인 84.5%를, Mythos 5는 83.8%를 기록했습니다. ExploitBench에서는 Sol이 73.5%, Mythos 5가 78%입니다 .