데이터브릭스가 자체 다중 언어 코드베이스(수백만 줄 규모)를 기반으로 AI 코딩 에이전트를 평가한 내부 벤치마크 결과를 공개 벤치마크 결과, 오픈소스 모델인 Z.ai(전 지푸 AI)의 GLM 5.2가 비용 대비 성능에서 최고 수준의 경쟁력을 갖춘 것으로 나타남 토큰당 가격만으로 실제 총비용을 예측할 수 없으며, GLM 5.2는 유사한 성능 대비 경쟁사 모델보다 3 6배 저렴한 총소유비용(TCO)을 기록

Create a landscape editorial hero image for this Studio Global article: Search & fact-check with cited sources for What did Databricks' internal coding benchmark reveal about AI model performance and cost, and wh. Article summary: Databricks published results from an internal coding benchmark that evaluated agentic models on real engineering tasks from its multi-million-line codebase (Python, Go, TypeScript, Scala, SQL). The key findings and the c. Topic tags: general, documentation, general web, academic, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, w
데이터브릭스(Databricks)는 2026년 7월, 자체 수백만 줄 규모의 코드베이스(Python, Go, TypeScript, Scala, SQL 등)를 활용해 실제 엔지니어링 작업을 수행하는 AI 코딩 에이전트들을 평가한 내부 벤치마크 결과를 발표했습니다 . 이 벤치마크의 주요 발견과 그 결과로 데이터브릭스가 왜 중국 오픈소스 모델인 GLM 5.2(Z.ai, 전 지푸 AI)를 기본 코딩 엔진으로 채택했는지 자세히 알아보겠습니다.
데이터브릭스는 공개 벤치마크인 SWE-bench 등이 특정 모델에 과적합될 수 있다고 판단, 자체 테스트를 구축했습니다. 실제 엔지니어링 작업과 큐레이션된 테스트 스위트를 활용해 어떤 에이전트가 실제 작업을 처음부터 끝까지(end-to-end) 해결할 수 있는지 측정했으며 , 그 결과 세 가지 주요한 사실이 드러났습니다.
1. 오픈소스 모델이 최전선에 도달했습니다. 코딩 작업을 위한 파레토 최적 경계(Pareto frontier) — 즉, 주어진 비용 대비 최고의 품질을 의미 — 에 이제 OpenAI, Anthropic, 그리고 오픈소스 제공업체의 모델이 모두 포함되었습니다. 데이터브릭스의 공동 창업자이자 엔지니어링 책임자인 마테이 자하리아(Matei Zaharia)는 "오픈소스 모델을 포함한 많은 모델이 이제 실제로 경쟁력을 갖추게 되었다"고 밝혔습니다 . 회사는 오픈 모델, 특히 GLM 5.2가 이제 테스트한 가장 높은 난이도의 작업까지 처리할 수 있다고 결론 내렸습니다
.
2. 토큰 가격은 비용을 가늠하는 잘못된 지표입니다. 벤치마크 결과, 모델의 토큰당 가격이 에이전트 코딩 워크플로우에서 발생하는 실제 총비용을 신뢰성 있게 예측하지 못하는 것으로 나타났습니다. 더 큰 모델이 토큰 효율성이 훨씬 높을 수 있기 때문에, 토큰당 가격이 저렴한 모델이 동일한 작업을 완료하는 데 더 많은 토큰을 소비해 결과적으로 전체 비용이 더 높아질 수 있습니다. 이에 데이터브릭스는 원시 API 요금 대신 실제 엔드투엔드 작업 완료 비용을 기준으로 모델을 평가하게 되었습니다 .
3. GLM 5.2의 총소유비용(TCO)이 가장 유리했습니다. Z.ai의 API 기준, GLM 5.2의 가격은 입력 토큰 100만 개당 약 1.40달러, 출력 토큰 100만 개당 약 4.40달러입니다 . 예를 들어, 한 팀이 월 1,000만 개의 토큰을 50:50 입출력 비율로 처리한다면, 월 총비용은 약 29달러에 불과합니다
. 경쟁 모델인 Anthropic의 Opus 4.8(입력 100만 개당 5달러, 출력 100만 개당 25달러)은 비슷하거나 약간 더 나은 벤치마크 점수를 위해 3~6배 더 높은 비용이 발생합니다
. 데이터브릭스의 한 테스트에서 GLM 5.2(Pi 에이전트 사용)는 작업당 1.25달러에 87.5%의 통과율을 기록한 반면, Opus 4.8 high-effort(Claude Code 사용)는 작업당 2.00달러에 비슷한 통과율을 보였습니다
.
획기적인 비용으로 최고 수준의 성능 구현: GLM 5.2는 SWE-bench Pro에서 62.1점을 기록하며 GPT-5.5(58.6점)를 능가하고, Anthropic의 Opus 4.8에 불과 몇 점 차이로 근접했습니다 . FrontierSWE Dominance에서는 74.4%를 기록, Opus 4.8의 75.1%와 거의 동률을 이뤘습니다
. 데이터브릭스의 내부 테스트 역시 이러한 공개 벤치마크 결과와 일치했습니다. 중국산 오픈웨이트 모델이 동일한 실제 엔지니어링 작업에서 최고 수준의 독점 모델과 능력이 비슷하거나 근접한 것으로 나타난 것입니다
.
오픈웨이트, MIT 라이선스의 유연한 배포: GLM 5.2는 MIT 라이선스 하에 완전한 오픈웨이트 모델이기 때문에, 데이터브릭스는 이를 사내에 배포하고, 미세 조정(fine-tuning)하며, 에이전트 코딩 워크플로우에 긴밀하게 통합할 수 있었습니다. 사용자당 라이선스 비용이나 벤더 종속(Vendor lock-in) 없이 말입니다 . 이 라이선스 모델은 기업이 자체 인프라에서 모델을 실행할 수 있게 해주어, 대규모 사용 시 반복되는 API 비용을 피할 수 있게 합니다.
장기적이고 다단계 작업에 최적화: 이 벤치마크는 여러 파일과 추론 단계에 걸친 에이전트 코딩 편집에 초점을 맞췄습니다. GLM 5.2는 100만 토큰 컨텍스트 윈도우와 7,440억 개의 파라미터를 가진 Mixture-of-Experts(MoE) 아키텍처를 갖추고 있어, 단일 파일 자동 완성이 아닌 이러한 저장소 규모의 장기 작업에 특화되어 있습니다 . 터미널 명령어 실행 및 에이전트 작업을 테스트하는 Terminal-Bench 2.1에서 GLM 5.2는 81.0점을 기록, 가장 강력한 오픈소스 모델로 자리매김했으며, Claude Opus 4.8(85.0점)에만 뒤졌습니다
.
Studio Global AI
Use this topic as a starting point for a fresh source-backed answer, then compare citations before you share it.
데이터브릭스가 자체 다중 언어 코드베이스(수백만 줄 규모)를 기반으로 AI 코딩 에이전트를 평가한 내부 벤치마크 결과를 공개
데이터브릭스가 자체 다중 언어 코드베이스(수백만 줄 규모)를 기반으로 AI 코딩 에이전트를 평가한 내부 벤치마크 결과를 공개 벤치마크 결과, 오픈소스 모델인 Z.ai(전 지푸 AI)의 GLM 5.2가 비용 대비 성능에서 최고 수준의 경쟁력을 갖춘 것으로 나타남
토큰당 가격만으로 실제 총비용을 예측할 수 없으며, GLM 5.2는 유사한 성능 대비 경쟁사 모델보다 3 6배 저렴한 총소유비용(TCO)을 기록