Databricks 内部测试揭秘：为何中国开源模型 GLM 5.2 能成为其默认编程引擎

数据与 AI 公司 Databricks 近期发布了一项内部编程基准测试结果，该测试旨在评估各类 AI 编程智能体在其庞大的、包含数百万行代码的代码库（语言涵盖 Python、Go、TypeScript、Scala 和 SQL）上的真实工程任务表现。这项评测的最终结论，促使 Databricks 决定采用来自中国智谱 AI（现以 Z.ai 名义开展国际业务）的开源模型 GLM 5.2 作为其默认编程引擎。以下是该评测的关键发现以及 Databricks 做出这一选择的原因。

内部基准测试揭示了什么

Databricks 之所以构建自己的测试，是因为他们发现像 SWE-bench 这样的公开基准测试可能存在过度拟合的问题，因此他们希望衡量哪些智能体能真正端到端地解决实际问题。这项评测带来了三大令人意外的发现。

开源模型已触及前沿水平。 在编程任务的质量与成本前沿曲线上，现在不仅包括 OpenAI 和 Anthropic 的模型，开源模型也已占据一席之地。Databricks 联合创始人 Matei Zaharia 表示：“许多模型，包括开源模型，现在确实具备了真正的竞争力”。公司得出结论，开源模型，特别是 GLM 5.2，已经能够处理他们测试中难度最高的任务。

Token 价格是误导性的成本指标。 基准测试发现，模型每 token 的价格并不能可靠地预测其在智能编程工作流中的实际总成本。更大规模的模型在 token 利用效率上可能高得多，这意味着一个每 token 更便宜的模型，如果完成相同任务需要消耗更多 token，最终的成本反而可能更高。这促使 Databricks 根据真实的、端到端的任务完成成本来评估模型，而非只看 API 原始费率。

总拥有成本（TCO）倾向于 GLM 5.2。 通过 Z.ai 的 API，GLM 5.2 的定价约为每百万输入 token 1.40 美元，每百万输出 token 4.40 美元。对于一个每月处理 1000 万 token、输入输出比例为 50/50 的团队来说，总费用大约为每月 29 美元。相比之下，像 Anthropic 的 Opus 4.8 模型（每百万输入/输出 token 分别收费 5/25 美元），在取得相当或略优的基准分数时，成本可能是 GLM 5.2 的 3 到 6 倍。在单任务成本上，Databricks 的一项测试显示，使用 Pi 智能体的 GLM 5.2 以每任务 1.25 美元的成本达到了 87.5% 的通过率，而使用 Claude Code 的 Opus 4.8（高强度模式）在实现相近通过率时，每任务成本为 2.00 美元。