AI tak selalu perlu menulis: bagaimana model keputusan memilih dengan cepat

Model AI yang biasa dipakai untuk menulis menghasilkan teks sedikit demi sedikit. Model keputusan punya tugas yang lebih sempit: menjawab pertanyaan dengan memilih dari daftar opsi yang telah ditentukan. Misalnya, sebuah agen menerima permintaan pelanggan lalu harus memilih tim yang tepat untuk menanganinya.

Karena tidak perlu menyusun paragraf, model dapat mengembalikan pilihan, skor, atau probabilitas untuk digunakan langsung oleh perangkat lunak. Pendekatan ini cocok untuk keputusan berulang yang sensitif terhadap waktu, seperti klasifikasi, perutean permintaan, atau memilih langkah berikutnya bagi agen. Namun, probabilitas tinggi tetap bukan jaminan bahwa pilihan itu benar. 1112

Empat model, empat cara untuk menjalankannya

Produk	Cara kerja dan ketersediaan	Kecepatan dan harga yang dilaporkan
Jev — TypeSafe AI	Model khusus keputusan yang tersedia sebagai layanan ter-host. Dirancang untuk mengembalikan pilihan bertipe, skor, dan probabilitas. TypeSafe belum membuka bobot model atau menjelaskan arsitekturnya secara rinci. 5	TypeSafe melaporkan latensi sekitar 70–500 milidetik. Harga yang dipublikasikan adalah $0,042 per juta token input, tanpa biaya token output. Angka performanya belum dapat diverifikasi lewat pengujian independen yang sebanding. 5
Decisions API — OpenAI	Memungkinkan pengembang memberikan konteks berupa teks atau gambar, pertanyaan, dan kumpulan jawaban terbatas. Hasilnya dapat dipakai untuk klasifikasi, mengarahkan permintaan, atau memilih tindakan agen. Saat diumumkan, layanan ini masih dalam pratinjau terbatas. 12	Liputan peluncuran menyebut sekitar 150 milidetik per keputusan. OpenAI belum mengumumkan harga maupun tolok ukur langsung yang membandingkannya dengan Jev. 34
Strands Decider 2B — AWS	Model sumber terbuka berukuran sekitar 2 miliar parameter untuk pilihan terbatas, probabilitas ya/tidak, dan skor. Bobot serta materi pelatihannya tersedia, sehingga pengembang dapat bereksperimen dan menjalankannya sendiri. 19	Pengujian yang dilaporkan menunjukkan median sekitar 106–115 milidetik, tetapi hasilnya bergantung pada perangkat keras dan metode pengujian. Bobot model dapat diunduh tanpa biaya; komputasi untuk menjalankannya tetap perlu disediakan. 171819
Clef dan Clef-flash — Cloudflare	Dua model berbobot terbuka yang dapat dijalankan sendiri atau digunakan melalui Workers AI. Clef ditujukan untuk keputusan yang lebih kuat, sedangkan Clef-flash menekankan kecepatan.	Harga ter-host yang dilaporkan adalah $0,24 per juta token input untuk Clef dan $0,09 untuk Clef-flash. Pengujian yang dikaitkan dengan Cloudflare menempatkan median Clef-flash di sekitar 39 milidetik. Perbandingan ini bukan uji biaya dan kecepatan yang setara dengan Jev.

Mengapa hasil benchmark perlu dibaca hati-hati

Angka latensi memberi gambaran, tetapi bukan perbandingan akhir. Hasilnya dapat berubah menurut perangkat keras, panjang konteks, jenis masukan, serta cara sebuah pengujian dilakukan. Untuk layanan ter-host, harga per token juga belum tentu mencakup seluruh biaya operasional aplikasi. Sementara itu, model yang dijalankan sendiri menghindari biaya layanan per token, tetapi membutuhkan perangkat keras atau komputasi cloud.

Ada pula perbedaan ketersediaan. OpenAI Decisions API masih berada dalam pratinjau terbatas menurut pengumuman peluncurannya. AWS dan Cloudflare menawarkan model berbobot terbuka yang dapat dicoba sendiri; Cloudflare juga menyediakan opsi ter-host melalui Workers AI. 1219

Apa artinya bagi TypeSafe AI?

Jev hadir lebih dulu, tetapi kini bukan satu-satunya pilihan. OpenAI menawarkan jalur ter-host, sedangkan AWS dan Cloudflare memberi pengembang opsi berbobot terbuka; Cloudflare juga memiliki layanan ter-host. Persaingan ini dapat membuat pembeli membandingkan bukan hanya latensi, tetapi juga ketepatan keputusan, biaya keseluruhan, kemudahan integrasi, dan kebutuhan untuk menjalankan model sendiri.

TypeSafe AI dilaporkan mengumpulkan pendanaan sebesar $40 juta. Sejumlah laporan juga menyebut perkiraan atau pembicaraan soal valuasi, tetapi angka-angka tersebut tidak cukup untuk diperlakukan sebagai valuasi final yang terverifikasi. Dengan arsitektur Jev yang belum diungkap secara memadai dan klaim performa yang belum diuji secara independen dalam perbandingan sepadan, langkah penting bagi TypeSafe adalah menunjukkan hasil pada beban kerja nyata—serta membuktikan kualitas keputusan dan biaya totalnya.