Snowflake Siapkan Routing Model Dinamis untuk Menekan Biaya AI Tanpa Mengorbankan Kualitas

Snowflake mengumumkan fitur dynamic model routing untuk Cortex AI Gateway—kemampuan yang dirancang untuk memilih model AI yang telah disetujui bagi setiap tugas, alih-alih mengirim seluruh permintaan ke satu model frontier. Fitur ini diperkirakan segera memasuki tahap private preview, sehingga pengumuman tersebut belum berarti produknya telah tersedia secara umum.

Gagasan utamanya sederhana: gunakan model yang lebih murah dan efisien ketika model tersebut mampu menyelesaikan tugas, lalu arahkan pekerjaan yang membutuhkan penalaran lebih kompleks ke model yang lebih kuat. Snowflake menyebut pendekatan ini “intelligence efficiency”, yakni mengoptimalkan biaya untuk mencapai hasil bisnis yang selesai dan dapat diterima—bukan sekadar menekan harga token per permintaan.

Apa yang diumumkan Snowflake?

Dynamic model routing akan tersedia melalui Cortex AI Gateway dan terintegrasi dengan produk Snowflake CoCo serta CoWork. Snowflake juga menyatakan bahwa agen AI pihak ketiga yang terhubung melalui gateway dapat menggunakan kemampuan ini.

Pelanggan dapat menentukan model mana yang boleh digunakan dan prioritas yang harus diutamakan aplikasi, seperti biaya, kualitas, atau latensi. Router kemudian ditujukan untuk memilih model yang paling terjangkau dari daftar yang disetujui administrator, selama model tersebut dinilai mampu menyelesaikan tugas dengan tingkat keyakinan yang memadai.

Permintaan rutin, berulang, atau berkompleksitas rendah dapat diarahkan ke model open yang lebih efisien. Sebaliknya, pekerjaan yang memerlukan penalaran mendalam dapat dikirim ke model frontier dari penyedia seperti Anthropic, OpenAI, dan Google. Organisasi tetap dapat mempertahankan kendali manual dengan mengunci pilihan pada satu model atau mempersempit daftar model yang memenuhi syarat.

Snowflake juga mengatakan bahwa routing dapat mengikuti aturan residensi data dan kebijakan tata kelola, sekaligus mencatat model yang dipilih untuk setiap permintaan. Dengan demikian, fitur ini bukan hanya alat untuk mengelola biaya AI, tetapi juga dapat membantu organisasi membangun proses pemilihan model yang dapat diaudit.

Bagaimana mekanismenya bekerja?

Snowflake menjelaskan dua mekanisme utama untuk menentukan apakah sebuah tugas membutuhkan kemampuan model yang lebih tinggi.

Pola advisor

Dalam advisor pattern, model yang lebih kecil mencoba mengerjakan tugas terlebih dahulu. Jika hasilnya tidak memadai, model tersebut dapat memanggil model yang lebih besar sebagai alat, lalu melanjutkan proses.

Pendekatan ini dimaksudkan untuk menghindari biaya model frontier pada permintaan yang sebenarnya dapat ditangani model kecil, sembari tetap menyediakan jalur eskalasi untuk kasus yang lebih sulit.

Routing berbasis classifier

Classifier terpisah dapat memanfaatkan pola dari kueri historis untuk mengenali permintaan sederhana dan mengarahkannya ke model yang lebih ringan. Artinya, sistem memiliki dua jalur: memulai dari model kecil lalu melakukan eskalasi bila diperlukan, atau mengklasifikasikan permintaan lebih dulu sebelum memilih model yang sesuai.

Namun, pertanyaan operasional yang penting bukan hanya apakah router memilih model yang lebih murah. Percobaan awal yang gagal, eskalasi, dan pengulangan permintaan dapat menambah jumlah token, latensi, serta kompleksitas teknis.

Klaim efisiensi yang dilaporkan Snowflake

Snowflake melaporkan efisiensi token hingga 3× dalam pengujian internal pada beban kerja pipeline dbt, ketika dynamic routing menghasilkan kualitas yang sebanding dengan penggunaan model frontier saja. Dalam pengujian beban kerja coding yang terpisah, perusahaan menyatakan tim engineering mampu mempertahankan jumlah pull request yang diselesaikan dengan penggunaan sekitar 25% lebih sedikit token.

Angka-angka tersebut perlu dipahami sebagai hasil evaluasi internal yang dilaporkan vendor, bukan hasil pelanggan yang telah divalidasi secara independen. Hasilnya juga dapat berbeda jauh menurut jenis pekerjaan. Router yang efektif untuk tugas data engineering atau coding yang berulang belum tentu memberikan hasil sama pada riset dengan konteks panjang, penggunaan banyak alat, atau keputusan berisiko tinggi.

Karena itu, metrik paling berguna bukan sekadar “berapa banyak token yang dihemat”. Pelanggan sebaiknya mengukur biaya untuk setiap tugas yang berhasil diselesaikan dan diterima, lalu membandingkannya dengan kualitas, latensi, keandalan, serta kebutuhan pengerjaan ulang oleh manusia.

Pilihan model baru: DeepSeek dan GLM

Snowflake memperluas pilihan model yang tersedia melalui Cortex AI dengan DeepSeek-V4-Flash 0731 dan GLM-5.3 dari Z.ai. DeepSeek-V4-Flash 0731 diumumkan untuk private preview, termasuk di CoCo. Sementara itu, GLM-5.3 disebut akan segera memasuki private preview, bergantung pada ketersediaannya.

Snowflake melaporkan bahwa DeepSeek-V4-Flash memperoleh skor 74,4% pada ADE-bench dalam pengujian internal menggunakan CoCo sebagai kerangka kerja agen. Perusahaan juga mengutip pengujian sebelumnya terhadap GLM-5.2—bukan GLM-5.3—dengan skor yang dilaporkan sebesar 66% dan jejak token terendah dalam benchmark tersebut. Hasil GLM-5.2 tidak boleh dianggap sebagai hasil evaluasi yang dipublikasikan untuk GLM-5.3.

Penambahan lebih banyak model open mendukung strategi routing Snowflake. Semakin besar kumpulan model yang tersedia, semakin banyak peluang untuk mencocokkan kebutuhan tugas dengan kombinasi biaya dan performa yang tepat. Pelanggan juga memperoleh pilihan di luar penyedia model frontier yang paling dikenal.

Klaim tentang batas keamanan data

Diferensiasi utama yang ditekankan Snowflake adalah keterkaitan routing dan akses model dengan lingkungan data yang telah diatur oleh platformnya. Perusahaan mengatakan bahwa model open baru tersebut disediakan langsung oleh Snowflake, bukan sekadar melalui proksi API pihak ketiga. Menurut Snowflake, data, komputasi inferensi, bobot model, dan orkestrasi agen beroperasi di dalam perimeter keamanan Snowflake, dengan dukungan kontrol akses berbasis peran dan mekanisme audit yang sudah ada.

Ini merupakan klaim arsitektur dari Snowflake, bukan jaminan universal untuk setiap penerapan. Pelanggan tetap perlu memverifikasi hal-hal yang relevan bagi lingkungan mereka, termasuk wilayah deployment, kewajiban residensi data, ketentuan kontrak, perilaku pencatatan log, serta model apa saja yang benar-benar memenuhi syarat untuk beban kerja tertentu.

Daya tarik praktis pendekatan ini paling besar bagi organisasi yang sudah menempatkan data analitik dan aplikasi AI yang diatur dalam Snowflake. Dalam situasi tersebut, manfaatnya tidak berhenti pada pemilihan model yang lebih murah. Gateway juga dapat menjadikan pemilihan model sebagai bagian dari kerangka kontrol dan audit yang sama dengan akses data.

Bagaimana posisinya dibandingkan layanan routing lain?

Routing model bukanlah kemampuan yang hanya dimiliki Snowflake. Amazon Bedrock, misalnya, menyediakan intelligent prompt routing melalui satu endpoint serverless untuk mengarahkan permintaan di antara model fondasi dalam keluarga model yang sama berdasarkan prediksi kualitas respons dan biaya.

Databricks melalui Unity AI Gateway menempatkan routing dalam control plane terpusat untuk mengelola kapasitas, ketersediaan, dan pengeluaran lintas penyedia model. Google Cloud menyediakan lapisan manajemen trafik yang menerima permintaan kompatibel OpenAI dan mengarahkannya ke endpoint model tertentu di Gemini Enterprise Agent Platform.

NVIDIA NeMo Switchyard diposisikan sebagai SDK atau lapisan routing yang tidak bergantung pada penyedia tertentu, sedangkan OpenRouter berfokus pada agregasi multi-penyedia dan pemilihan provider untuk membantu ketersediaan layanan.

Perbandingan yang lebih bermakna bukan sekadar “siapa yang bisa memilih model yang lebih murah”. Pertanyaan utamanya adalah: di mana kebijakan tata kelola, akses data, logika routing, eksekusi model, dan visibilitas penagihan dikelola? Snowflake menonjolkan integrasi yang ketat dengan batas data yang telah diatur. Gateway yang lebih netral biasanya menawarkan fleksibilitas lintas penyedia atau lintas cloud yang lebih luas.

Bagi calon pengguna, pilihan arsitektur sebaiknya disesuaikan dengan lingkungan operasional:

• Pilih pendekatan terintegrasi jika data yang diatur, kontrol akses, orkestrasi agen, dan penggunaan model sudah berpusat pada satu platform data.
• Pertimbangkan gateway yang lebih netral jika portabilitas lintas penyedia, logika routing independen, atau fleksibilitas multi-cloud lebih penting daripada integrasi platform.
• Periksa daftar model secara rinci dan jangan berasumsi bahwa setiap gateway dapat melakukan routing di antara penyedia, keluarga model, wilayah, atau jenis deployment yang sama.

Apa yang perlu diukur sebelum menerima klaim penghematan?

Evaluasi yang serius sebaiknya membandingkan automatic routing dengan baseline berupa satu model frontier tetap menggunakan beban kerja yang mewakili kondisi produksi. Setidaknya, ukur hal-hal berikut:

• Total biaya untuk setiap tugas yang berhasil diselesaikan, bukan hanya harga token model yang dipilih.
• Biaya router atau classifier, jika ada.
• Panggilan tambahan akibat eskalasi advisor, fallback, percobaan ulang, atau kegagalan eksekusi alat.
• Latensi dari ujung ke ujung, termasuk routing, retrieval, penyusunan konteks, dan panggilan putaran kedua.
• Tingkat keberhasilan dan kualitas tugas berdasarkan kategori beban kerja.
• Halusinasi, pelanggaran kebijakan, serta penurunan kualitas yang mungkin ditimbulkan model lebih kecil.
• Biaya peninjauan, koreksi, eskalasi, dan pengerjaan ulang oleh manusia.
• Batasan residensi data, observabilitas, biaya egress, dan ketergantungan pada vendor.

Snowflake mengatakan tidak mengenakan biaya terpisah untuk keputusan routing dan menagih berdasarkan konsumsi token. Meski demikian, eskalasi dan percobaan ulang tetap dapat meningkatkan total penggunaan serta latensi. Kriteria penerimaan yang tepat adalah apakah routing benar-benar menurunkan biaya untuk hasil yang selesai dan diterima, sembari mempertahankan kualitas serta tata kelola yang dipersyaratkan aplikasi.

Kesimpulan

Pengumuman Snowflake mencakup dua langkah sekaligus: pemilihan model secara dinamis di antara model yang disetujui, serta perluasan pilihan model yang tersedia di Cortex AI. Fitur routing diperkirakan segera memasuki private preview. DeepSeek-V4-Flash 0731 telah diumumkan untuk private preview, sementara GLM-5.3 akan menyusul sesuai ketersediaan.

Nilai strategis terkuat Snowflake bukanlah gagasan umum bahwa tugas mudah dapat dikirim ke model yang lebih murah. Yang lebih penting adalah upayanya menempatkan keputusan tersebut di dalam batas data dan keamanan Snowflake yang telah diatur.

Laporan efisiensi token hingga 3× memang menjanjikan, tetapi pelanggan tetap perlu menguji routing menggunakan beban kerja mereka sendiri. Keberhasilan sebaiknya dinilai dari biaya total, kualitas, latensi, keandalan, dan kebutuhan koreksi manusia—bukan dari pengurangan token semata.