Model keputusan AI: lebih pantas memilih, bukan menjana ayat

Model AI lazimnya menjana teks sedikit demi sedikit. Model keputusan pula menjawab soalan yang skopnya terhad—contohnya, “Alat mana patut digunakan oleh ejen ini?”—dengan memilih daripada pilihan yang dibenarkan, kemudian memberikan skor atau kebarangkalian. Pendekatan ini sesuai untuk keputusan berulang yang perlu dibuat pantas, tetapi skor keyakinan bukan jaminan bahawa pilihan itu betul. 1112

Empat pilihan untuk keputusan pantas

• Jev daripada TypeSafe AI: Model khusus keputusan yang disediakan sebagai perkhidmatan berhos. Ia menghasilkan pilihan berstruktur, skor dan kebarangkalian. Latensi yang dilaporkan sekitar 70–500 milisaat, dengan harga diterbitkan sebanyak AS$0.042 bagi setiap sejuta token input dan tiada caj token output. Ini menjadikannya pilihan untuk penghalaan dan keputusan lain yang kerap berlaku dalam aplikasi. Namun, TypeSafe belum mendedahkan maklumat seni bina Jev yang mencukupi atau menerbitkan wajaran modelnya untuk membolehkan pihak luar mengesahkan punca kelebihan prestasinya. Perbandingan kos dan prestasi terkuat setakat ini masih dilaporkan oleh syarikat itu sendiri. 3567

• Decisions API daripada OpenAI: Pembangun boleh memberikan teks atau imej sebagai konteks, bersama soalan dan senarai jawapan terhad. API ini ditujukan untuk tugas seperti pengelasan kandungan, penghalaan permintaan atau memilih tindakan seterusnya bagi ejen AI. Ia masih dalam pratonton terhad. Laporan pelancaran menyebut kira-kira 150 milisaat bagi setiap keputusan, tetapi OpenAI belum menerbitkan penanda aras yang boleh dibandingkan terus dengan Jev atau harga rasmi untuk API ini. 1234

• Strands Decider 2B daripada AWS: Model sumber terbuka dengan kira-kira 2 bilion parameter yang boleh menjawab pilihan terhad, kebarangkalian ya atau tidak, serta memberikan skor. Pembangun boleh menjalankannya secara setempat dan meneliti resipi latihannya yang diterbitkan—berguna untuk percubaan, penyesuaian dan penggunaan yang tidak mahu bergantung pada API keputusan berhos. Latensi median sekitar 106–115 milisaat yang dilaporkan bergantung pada perkakasan dan kaedah ujian. Wajaran model boleh diperoleh secara percuma, tetapi pengkomputeran untuk menjalankannya tetap memerlukan kos. 1181

• Clef dan Clef-flash daripada Cloudflare: Kedua-duanya ialah model dengan wajaran terbuka yang boleh dihoskan sendiri atau digunakan melalui Workers AI. Clef menyasarkan keputusan yang lebih kukuh, sementara Clef-flash mengutamakan latensi rendah. Harga berhos yang dilaporkan ialah AS$0.24 dan AS$0.09 bagi setiap sejuta token input, masing-masing. Perbandingan yang dikaitkan dengan Cloudflare meletakkan median Clef-flash hampir 39 milisaat. Angka ini bukan ujian kelajuan atau kos yang setara secara terus dengan Jev. 135

Apa maknanya untuk TypeSafe AI?

Keluaran OpenAI, AWS dan Cloudflare menunjukkan bahawa permintaan terhadap model keputusan semakin mendapat perhatian, tetapi ia juga mengurangkan kelebihan eksklusif TypeSafe. OpenAI menawarkan laluan berhos, manakala AWS dan Cloudflare memberi pilihan model terbuka; Cloudflare turut menyediakan perkhidmatan berhos. Oleh itu, TypeSafe perlu membuktikan kualiti keputusan yang lebih baik dan kos keseluruhan yang lebih rendah menggunakan beban kerja pelanggan sebenar—bukan bergantung pada angka latensi utama atau dakwaan sebagai pendahulu pasaran.

Laporan menyebut TypeSafe mengumpul AS$40 juta. Namun, maklumat yang ada tidak cukup untuk menetapkan penilaian syarikat yang boleh dianggap kukuh atau mengesahkan bahawa dakwaan kelebihan prestasi Jev kekal dalam ujian bebas yang menggunakan kaedah perbandingan setara. 41115