Databricks Guna GLM 5.2 Sebagai Enjin Pengekodan Lalai: Apa yang Didedahkan oleh Penanda Aras Dalaman Tentang Prestasi dan Kos Model AI

Databricks, syarikat data dan AI, telah menerbitkan hasil penanda aras pengekodan dalaman pada Julai 2026 yang menilai model AI ejen pada tugasan kejuruteraan sebenar daripada pangkalan kodnya yang berjuta-juta baris (merangkumi Python, Go, TypeScript, Scala, dan SQL). Penemuan penanda aras ini mendorong syarikat itu menggunakan model sumber terbuka China, GLM 5.2 dari Z.ai (dahulunya Zhipu AI), sebagai enjin pengekodan lalainya. Berikut adalah apa yang didedahkan oleh penanda aras itu dan mengapa Databricks membuat pertukaran.

Apa yang Didedahkan oleh Penanda Aras

Databricks membina ujian sendiri kerana mendapati penanda aras awam seperti SWE-bench boleh dioptimumkan secara berlebihan, dan mahu mengukur ejen mana yang boleh menyelesaikan tugasan sebenar secara hujung ke hujung terhadap suite ujian yang dikurasi . Penilaian itu menghasilkan tiga kejutan utama.

Model sumber terbuka telah mencapai sempadan. Persempadanan Pareto untuk tugasan pengekodan — bermaksud kualiti terbaik untuk kos tertentu — kini merangkumi model dari OpenAI, Anthropic, dan penyedia sumber terbuka. Pengasas bersama Databricks, Matei Zaharia, menyatakan bahawa "banyak model termasuk sumber terbuka kini benar-benar kompetitif" . Syarikat itu membuat kesimpulan bahawa model terbuka, dan khususnya GLM 5.2, kini mampu mengendalikan tahap kesukaran tugas tertinggi yang mereka uji .

Harga token adalah proksi kos yang mengelirukan. Penanda aras mendapati bahawa harga setiap token model tidak meramalkan jumlah kos sebenar dalam aliran kerja pengekodan ejen dengan boleh dipercayai. Model yang lebih besar boleh menjadi lebih cekap token, bermakna model yang lebih murah setiap token boleh berakhir dengan kos yang lebih tinggi secara keseluruhan jika ia memerlukan lebih banyak token untuk menyelesaikan tugasan yang sama. Ini mendorong Databricks untuk menilai model berdasarkan kos penyelesaian tugas hujung ke hujung yang sebenar dan bukannya kadar API mentah .

Jumlah kos pemilikan memihak kepada GLM 5.2. Di seluruh API Z.ai, GLM 5.2 berharga kira-kira $1.40 setiap juta token input dan $4.40 setiap juta token output . Untuk pasukan yang memproses 10 juta token sebulan dengan pecahan input-output 50/50, jumlahnya ialah kira-kira $29 sebulan . Model pesaing seperti Opus 4.8 Anthropic pada $5/$25 setiap juta token boleh berharga 3 hingga 6 kali ganda lebih banyak untuk skor penanda aras yang setanding atau lebih baik sedikit . Pada asas setiap tugas, satu ujian Databricks menunjukkan GLM 5.2 menggunakan ejen Pi mencapai kadar lulus 87.5% pada $1.25 setiap tugas, manakala Opus 4.8 usaha tinggi menggunakan Claude Code mencapai kadar lulus setanding pada $2.00 setiap tugas .

Mengapa Databricks Mengguna Pakai GLM 5.2

Prestasi setanding model sempadan pada kos yang jauh lebih rendah. GLM 5.2 mendapat 62.1 pada SWE-bench Pro, mengatasi GPT-5.5 (58.6) dan hanya terpaut beberapa mata di belakang Opus 4.8 Anthropic . Pada FrontierSWE Dominance, ia mencapai 74.4%, hampir menyamai Opus 4.8 pada 75.1% . Ujian dalaman Databricks bergema dengan penanda aras awam ini: model sumber terbuka China itu menyamai atau menghampiri keupayaan model proprietari terkemuka pada tugasan kejuruteraan dunia sebenar yang sama .

Fleksibiliti penggunaan sumber terbuka berlesen MIT. Memandangkan GLM 5.2 dilesenkan MIT dan sepenuhnya sumber terbuka, Databricks boleh menggunakannya di dalam rumah, memperhalusinya, dan menyepadukannya sepenuhnya ke dalam aliran kerja pengekodan ejen tanpa pelesenan setiap tempat duduk atau penguncian vendor . Model pelesenan ini membolehkan perusahaan menjalankan model pada infrastruktur mereka sendiri, mengelakkan kos API berulang untuk penggunaan volum tinggi.

Sesuai untuk tugasan pelbagai langkah yang panjang. Penanda aras memberi tumpuan kepada suntingan pengekodan ejen yang merangkumi banyak fail dan langkah penaakulan. GLM 5.2, dengan tetingkap konteks 1 juta token dan seni bina campuran pakar 744 bilion parameter, telah dioptimumkan khusus untuk kerja peringkat repositori yang panjang ini dan bukannya autolengkap fail tunggal . Pada Terminal-Bench 2.1, yang menguji pelaksanaan tugas baris arahan dan ejen, ia mendapat 81.0, menjadikannya model sumber terbuka terkuat dan hanya berada di belakang Claude Opus 4.8 (85.0) .