Databricksが自社の数百万行規模のコードベースを用いた独自の内部ベンチマークを実施。公開ベンチマークの限界を指摘し、現実のエンジニアリングタスクでAIエージェントの性能を測定した。 ベンチマークの結果、オープンソースモデル「GLM 5.2」(Z.ai)が品質とコストの両面で最前線(パレートフロンティア)に到達。OpenAIやAnthropicのプロプライエタリモデルと互角に渡り合えることが判明した。
研究の答え

Create a landscape editorial hero image for this Studio Global article: Search & fact-check with cited sources for What did Databricks' internal coding benchmark reveal about AI model performance and cost, and wh. Article summary: Databricks published results from an internal coding benchmark that evaluated agentic models on real engineering tasks from its multi-million-line codebase (Python, Go, TypeScript, Scala, SQL). The key findings and the c. Topic tags: general, documentation, general web, academic, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, w
データ・AI企業のDatabricksは、自社の数百万行に及ぶコードベース(Python、Go、TypeScript、Scala、SQL)を用いた内部コーディングベンチマークの結果を2026年7月に公開しました。このベンチマークは、エージェント型AIモデルを実際のエンジニアリングタスクで評価するために実施されたものです。その結果を受け、同社は中国のオープンソースモデルであるGLM 5.2(開発元はZ.ai、旧Zhipu AI)をデフォルトのコーディングエンジンとして採用することを決定しました。本稿では、ベンチマークが明らかにした驚きの事実と、Databricksがなぜこのモデルを選んだのかを詳しく解説します。
Databricksが独自のテストを構築したのには理由があります。同社のエンジニアリング共同創業者であるMatei Zaharia氏は、SWE-benchのような公開ベンチマークは過学習(over-tuning)のリスクがあると指摘。実際のエンジニアリング業務と厳選されたテストスイートを用いて、どのエージェントがタスクをエンドツーエンドで解決できるかを測定する必要があったのです 。その評価から、以下の3つの驚くべき発見がありました。
1. オープンソースモデルが「フロンティア」に到達
コーディングタスクにおけるパレートフロンティア(所定のコストに対する最高品質)には、OpenAI、Anthropic、そしてオープンソースプロバイダーのモデルが名を連ねています。Zaharia氏は「OpenAIやAnthropicのモデルだけでなく、オープンソースのものを含む多くのモデルが真に競争力を持つようになった」とX(旧Twitter)で述べています 。同社は、オープンモデル、特にGLM 5.2は、テストした中で最も難易度の高いタスクをも処理できると結論付けました
。
2. トークン単価は「誤解を招く」コスト指標
ベンチマークの結果、モデルのトークン単価は、エージェント型コーディングワークフローにおける実際の総コストを正確に予測できないことが判明しました。大きなモデルほどトークン効率が格段に高くなる場合があり、トークン単価が安いモデルでも、同じタスクを完了するためにより多くのトークンを消費するため、結果的に総コストが高くなるケースがあるのです。この発見により、DatabricksはAPIの単価ではなく、タスク完了までのエンドツーエンドの実コストでモデルを評価する方針に転換しました 。
3. 総所有コスト(TCO)でGLM 5.2が優位
Z.aiのAPIを通じたGLM 5.2の価格は、入力トークン100万トークンあたり約1.40ドル、出力トークン100万トークンあたり約4.40ドルです 。例えば、月間1000万トークンを処理し、入出力が50:50のチームの場合、月額コストは約29ドルとなります
。一方、競合モデルであるAnthropicのOpus 4.8は、入力5ドル/出力25ドル(100万トークンあたり)であり、ベンチマークスコアが同等かやや優れている程度であっても、コストは3〜6倍にもなります
。1タスクあたりのコストで見ると、Databricksのテストでは、GLM 5.2をPiエージェントで使用した場合、成功率87.5%を1タスクあたり1.25ドルで達成。一方、Opus 4.8をClaude Codeで使用した場合は、同等の成功率で1タスクあたり2.00ドルと、コスト差は歴然でした
。
1. フロンティアモデルに匹敵する性能を、はるかに低いコストで
GLM 5.2はSWE-bench Proで62.1を記録し、OpenAIのGPT-5.5(58.6)を上回り、AnthropicのOpus 4.8にわずか数ポイント差に迫りました 。FrontierSWE Dominanceでは74.4%を達成し、Opus 4.8の75.1%に肉薄しています
。Databricksの内部テストでも、この中国のオープンウェイトモデルが、同じ実世界のエンジニアリングタスクにおいて、主要なプロプライエタリモデルの能力に匹敵、または接近していることが確認されました
。
2. MITライセンスによる柔軟なデプロイ
GLM 5.2はMITライセンスの完全なオープンウェイトモデルです。これにより、Databricksは社内のインフラにデプロイし、ファインチューニングを行い、エージェント型コーディングワークフローに緊密に統合することが可能になりました。シート単位のライセンスやベンダーロックインの心配はありません 。このライセンス形態により、企業は高頻度利用においてもAPIコストを繰り返し支払うことなく、自社のインフラでモデルを稼働させることができます。
3. 長期間・多段階のタスクへの適合性
今回のベンチマークは、複数のファイルや推論ステップにまたがるエージェント型のコーディング編集に焦点を当てていました。GLM 5.2は、100万トークンのコンテキストウィンドウと7440億パラメータのMoE(Mixture-of-Experts)アーキテクチャを備え、単一ファイルのオートコンプリートではなく、リポジトリ規模の長期間にわたる作業向けに特別に最適化されています 。コマンドラインやエージェントタスクの実行をテストするTerminal-Bench 2.1では81.0を記録し、オープンソースモデルとして最強の座を獲得。Claude Opus 4.8(85.0)に次ぐ結果を残しました
。
Studio Global AI
このページにはソースに裏付けされた回答が含まれており、Studio Global 内で続行できます。
Databricksが自社の数百万行規模のコードベースを用いた独自の内部ベンチマークを実施。公開ベンチマークの限界を指摘し、現実のエンジニアリングタスクでAIエージェントの性能を測定した。
Databricksが自社の数百万行規模のコードベースを用いた独自の内部ベンチマークを実施。公開ベンチマークの限界を指摘し、現実のエンジニアリングタスクでAIエージェントの性能を測定した。 ベンチマークの結果、オープンソースモデル「GLM 5.2」(Z.ai)が品質とコストの両面で最前線(パレートフロンティア)に到達。OpenAIやAnthropicのプロプライエタリモデルと互角に渡り合えることが判明した。
トークン単価は実際の総コストの指標としては不適切であることが判明。大きなモデルほどトークン効率が高く、安いモデルが結果的に高コストになるケースがある。