Terminal-Bench 3.0은 정적인 코드 답변만 평가하는 것이 아니라 터미널과 셸 환경을 활용해 소프트웨어 작업을 수행하는 능력을 측정한다. DeepSWE 1.1 역시 보다 완결된 소프트웨어 엔지니어링 업무에 초점을 둔 평가다. 따라서 두 지표의 상승은 GLM-5.3이 단순 코드 자동완성보다 긴 작업 흐름을 처리하도록 설계됐다는 지푸 AI의 설명과 방향이 맞는다.
지푸 AI는 발표 당시 28.3점이 오픈소스 모델 가운데 가장 높은 결과였으며, 문샷 AI의 Kimi K3보다 앞섰다고 주장했다. 다만 이런 순위는 회사가 보고한 비교인 만큼 평가 버전, 프롬프트, 모델에 제공된 도구와 실행 조건을 함께 살펴봐야 한다.
GLM-5.3이 겨냥하는 제품 방향은 질문에 답하거나 코드 일부를 제안하는 보조 도구를 넘어선다. 지푸 AI는 이 모델이 소프트웨어를 조작하고 도구를 사용하며, 사람의 개입을 줄인 상태에서 긴 작업 순서를 완료할 수 있다고 설명한다.
실제 개발 과정으로 바꿔 말하면, 에이전트가 저장소를 점검하고 명령어를 실행한 뒤 오류 원인을 찾고 파일을 수정하며 목표를 향해 작업을 이어가는 방식이다. Terminal-Bench와 DeepSWE의 성능 향상은 이런 방향성과 일치하지만, 벤치마크 점수만으로 낯선 운영 환경에서도 에이전트가 안정적으로 행동한다고 단정할 수는 없다.
지푸 AI는 GLM-5.3의 코딩 및 에이전트 성능이 Claude Fable 5에 근접했으며, 실제 코딩 업무에서는 다른 중국계 모델보다 실용적인 강점을 보인다고도 주장했다. 이는 지푸 AI의 포지셔닝에 해당하며, 독립적으로 검증된 종합 순위로 받아들여서는 안 된다.
지푸 AI는 GLM-5.3의 추론 및 도구 사용 능력이 사이버보안 분야에도 활용될 수 있다고 설명했다. 공개적으로 보고된 평가 중에는 소프트웨어 취약점의 발견과 검증 작업을 다루는 CyberGym에서 84.5%를 기록했다는 내용이 포함돼 있다.
이 능력은 방어와 공격 양쪽에 쓰일 수 있는 이중 용도 기술이다. 방어자가 취약점을 찾아내는 데 도움이 되는 소프트웨어 분석 및 운영 능력이, 통제되지 않은 자율 행동에서는 더 큰 위험으로 이어질 가능성도 있다. 현재 근거로 말할 수 있는 것은 GLM-5.3이 취약점 탐지를 하나의 보고된 능력 영역으로 제시했다는 정도다. 신뢰할 수 있는 보안 감사 도구이거나 안전하게 자율적 공격을 수행할 수 있다는 증거는 아니다.
GLM-5.3에서 가장 중요한 신호는 파라미터 수 자체가 아니다. 같은 기반 모델 규모를 유지하면서 후속 학습을 통해 여러 단계의 소프트웨어 작업 능력을 끌어올렸다는 점, 그리고 이를 장기 작업 중심의 평가로 보여주려 했다는 점이다.
실제로 도입을 검토하는 개발자라면 다음 항목을 직접 확인할 필요가 있다.
GLM-5.3은 7430억 개 파라미터 규모를 유지하면서 후속 학습을 중심으로 성능을 개선했다고 지푸 AI가 발표한 모델이다. Terminal-Bench 3.0에서 4.6점에서 28.3점으로, DeepSWE 1.1에서 46.2점에서 66.9점으로 상승했다는 수치는 이 모델의 분명한 목표를 보여준다. 더 긴 소프트웨어 작업을 수행하고 터미널과 각종 도구를 활용하는 코딩 에이전트다.
오픈 모델 기반 코딩과 에이전트 개발을 지켜보는 사람이라면 추가 검증을 해볼 만한 결과다. 그러나 강력한 벤치마크 점수와 실제 운영 환경에서 신뢰할 수 있는 자율 실행 능력 사이에는 여전히 간극이 있다. GLM-5.3의 진정한 경쟁력은 독립 평가와 실제 프로젝트에서의 반복 테스트를 거친 뒤에야 판단할 수 있다.