Databricks Resmi Jadikan Model Open-Source China GLM 5.2 sebagai Mesin Coding Default

Databricks, perusahaan data dan AI asal AS, baru saja mengumumkan hasil benchmark internal yang mengevaluasi model AI untuk tugas coding di basis kode internal mereka yang terdiri dari jutaan baris kode (mencakup Python, Go, TypeScript, Scala, dan SQL). Temuan dari benchmark ini mengejutkan banyak pihak dan mendorong Databricks untuk mengadopsi model open-source asal China, GLM 5.2 dari Z.ai (sebelumnya dikenal sebagai Zhipu AI), sebagai mesin coding default mereka. Berikut adalah detail temuan benchmark dan alasan di balik keputusan besar ini.

Apa yang Terungkap dari Benchmark Internal Databricks

Databricks membuat benchmark sendiri karena mereka menilai tolok ukur publik seperti SWE-bench sudah terlalu sering dijadikan target optimasi (over-tuned). Mereka ingin mengukur kemampuan agen AI dalam menyelesaikan tugas dunia nyata dari awal hingga akhir dengan pengujian berbasis suite tes internal . Hasil evaluasi ini menghasilkan tiga kejutan besar.

Model open-source kini setara dengan model frontier. Frontier Pareto untuk tugas coding—yang berarti kualitas terbaik untuk biaya tertentu—kini mencakup model dari OpenAI, Anthropic, dan penyedia open-source. Matei Zaharia, salah satu pendiri Databricks, menyatakan bahwa "banyak model, termasuk model open-source, kini benar-benar kompetitif" . Perusahaan menyimpulkan bahwa model terbuka, khususnya GLM 5.2, kini mampu menangani tingkat kesulitan tugas tertinggi yang mereka uji .

Harga per token adalah indikator biaya yang menyesatkan. Benchmark menemukan bahwa harga per token suatu model tidak dapat diandalkan untuk memprediksi total biaya aktual dalam alur kerja coding agentic. Model yang lebih besar bisa jauh lebih efisien dalam penggunaan token, yang berarti model yang lebih murah per token justru bisa lebih mahal secara keseluruhan jika membutuhkan lebih banyak token untuk menyelesaikan tugas yang sama. Hal ini mendorong Databricks untuk mengevaluasi model berdasarkan biaya penyelesaian tugas nyata dari awal hingga akhir, bukan hanya tarif API mentah .

Biaya kepemilikan total (Total Cost of Ownership) berpihak pada GLM 5.2. Melalui API Z.ai, GLM 5.2 dibanderol sekitar $1,40 per juta token input dan $4,40 per juta token output . Untuk sebuah tim yang memproses 10 juta token per bulan dengan rasio input-output 50/50, total biayanya hanya sekitar $29 per bulan . Sebagai perbandingan, model kompetitor seperti Opus 4.8 dari Anthropic dengan harga $5/$25 per juta token bisa memakan biaya 3 hingga 6 kali lebih mahal untuk skor benchmark yang sebanding atau sedikit lebih baik . Dalam satu pengujian berbasis tugas, GLM 5.2 yang menggunakan agen Pi mencapai tingkat kelulusan 87,5% dengan biaya $1,25 per tugas, sementara Opus 4.8 dengan effort tinggi yang menggunakan Claude Code mencapai tingkat kelulusan serupa dengan biaya $2,00 per tugas .

Mengapa Databricks Memilih GLM 5.2

Performa setara model frontier dengan biaya jauh lebih rendah. GLM 5.2 mencetak skor 62,1 di SWE-bench Pro, mengalahkan GPT-5.5 (58,6) dan hanya terpaut beberapa poin dari Opus 4.8 milik Anthropic . Di FrontierSWE Dominance, ia mencapai 74,4%, hampir menyamai Opus 4.8 yang meraih 75,1% . Pengujian internal Databricks mengonfirmasi hasil benchmark publik ini: model open-weight asal China ini mampu menyamai atau mendekati kemampuan model proprietary terdepan dalam tugas-tugas teknik dunia nyata yang sama .

Fleksibilitas penyebaran dengan lisensi MIT dan bobot terbuka. Karena GLM 5.2 dirilis di bawah lisensi MIT dan sepenuhnya open-weight, Databricks dapat menyebarkannya di server internal, melakukan fine-tuning, dan mengintegrasikannya secara erat ke dalam alur kerja coding agentic mereka tanpa harus membayar lisensi per kursi atau khawatir terikat vendor . Model lisensi ini memungkinkan perusahaan menjalankan model di infrastruktur mereka sendiri, menghindari biaya API berulang untuk penggunaan volume tinggi.

Cocok untuk tugas multi-langkah dengan cakupan luas. Benchmark berfokus pada tugas coding agentic yang melibatkan banyak file dan langkah penalaran. GLM 5.2, dengan jendela konteks 1 juta token dan arsitektur mixture-of-experts (MoE) 744 miliar parameter, dioptimalkan secara khusus untuk pekerjaan berskala repositori ini, bukan sekadar autocomplete file tunggal . Di Terminal-Bench 2.1, yang menguji eksekusi tugas dari command line dan agentic, ia meraih skor 81,0, menjadikannya model open-source terkuat dan hanya kalah dari Claude Opus 4.8 (85,0) .