Databricks adota GLM 5.2 como motor de codificação padrão: o que o benchmark interno revelou sobre desempenho e custo de modelos de IA

A Databricks, empresa de dados e IA, publicou em julho de 2026 os resultados de um benchmark interno de codificação que avaliou modelos de IA agênticos em tarefas reais de engenharia extraídas de sua própria base de código, que tem milhões de linhas (Python, Go, TypeScript, Scala e SQL). As descobertas levaram a empresa a adotar o modelo chinês open-source GLM 5.2, da Z.ai (antiga Zhipu AI), como seu motor de codificação padrão. Veja o que o benchmark revelou e por que a Databricks fez a troca.

O que o benchmark revelou

A Databricks criou seu próprio teste porque considerou que benchmarks públicos como o SWE-bench podem ser "cozinhados" (over-tuned) e queria medir quais agentes conseguiam resolver tarefas reais de ponta a ponta, com suítes de teste curadas . A avaliação trouxe três grandes surpresas.

Modelos open-source chegaram à fronteira. A fronteira de Pareto para tarefas de codificação — ou seja, a melhor qualidade para um dado custo — agora inclui modelos da OpenAI, Anthropic e também de provedores open-source. Matei Zaharia, cofundador da Databricks, afirmou que "muitos modelos, inclusive open-source, são verdadeiramente competitivos agora" . A empresa concluiu que modelos abertos, e o GLM 5.2 em particular, são capazes de lidar com o mais alto nível de dificuldade das tarefas testadas .

Preço por token é uma métrica enganosa. O benchmark descobriu que o preço por token de um modelo não é um indicador confiável do custo total real em fluxos de trabalho de codificação agêntica. Modelos maiores podem ser muito mais eficientes em termos de tokens, o que significa que um modelo mais barato por token pode acabar saindo mais caro se precisar de mais tokens para completar a mesma tarefa. Isso levou a Databricks a avaliar os modelos pelo custo real de conclusão de tarefas, e não pelas taxas brutas de API .

Custo total de propriedade favoreceu o GLM 5.2. Pela API da Z.ai, o GLM 5.2 custa cerca de US$ 1,40 por milhão de tokens de entrada e US$ 4,40 por milhão de tokens de saída . Para uma equipe que processa 10 milhões de tokens por mês, com uma divisão de 50/50 entre entrada e saída, o total seria de aproximadamente US$ 29 por mês . Modelos concorrentes, como o Opus 4.8 da Anthropic (US$ 5/US$ 25 por milhão de tokens), podem custar de 3 a 6 vezes mais para obter pontuações de benchmark comparáveis ou ligeiramente melhores . Em uma base por tarefa, um teste da Databricks mostrou que o GLM 5.2, usando o agente Pi, alcançou uma taxa de aprovação de 87,5% a US$ 1,25 por tarefa, enquanto o Opus 4.8 de alto esforço, usando o Claude Code, atingiu uma taxa de aprovação comparável a US$ 2,00 por tarefa .

Por que a Databricks adotou o GLM 5.2

Desempenho de ponta a um custo muito menor. O GLM 5.2 marcou 62,1 no SWE-bench Pro, superando o GPT-5.5 (58,6) e ficando a poucos pontos do Opus 4.8 da Anthropic . No FrontierSWE Dominance, ele atingiu 74,4%, quase empatando com os 75,1% do Opus 4.8 . Os testes internos da Databricks ecoaram esses benchmarks públicos: o modelo chinês de pesos abertos igualou ou se aproximou da capacidade dos principais modelos proprietários nas mesmas tarefas reais de engenharia .

Flexibilidade de implantação com licença MIT. Como o GLM 5.2 tem licença MIT e é totalmente open-weight, a Databricks pôde implantá-lo internamente, ajustá-lo e integrá-lo firmemente ao seu fluxo de codificação agêntica sem taxas por licença de usuário ou dependência de fornecedor . Esse modelo de licenciamento permite que empresas rodem o modelo em sua própria infraestrutura, evitando custos recorrentes de API para uso em alto volume.

Ideal para tarefas de múltiplas etapas e longo prazo. O benchmark focou em edições de codificação agêntica que abrangem muitos arquivos e etapas de raciocínio. O GLM 5.2, com sua janela de contexto de 1 milhão de tokens e arquitetura mixture-of-experts de 744 bilhões de parâmetros, foi especificamente otimizado para esse tipo de trabalho em escala de repositório, e não para autocompletar arquivos únicos . No Terminal-Bench 2.1, que testa a execução de tarefas agênticas e de linha de comando, ele marcou 81,0, tornando-se o modelo open-source mais forte, atrás apenas do Claude Opus 4.8 (85,0) .