Jev: AI untuk keputusan pantas dalam perisian, bukan penjanaan teks

Jev ialah model pertama daripada TypeSafe AI dalam kategori yang syarikat itu panggil “System One Model”. Ia dibina untuk pembangun yang memerlukan keputusan kecil tetapi berulang dalam aliran kerja perisian—bukan untuk berbual, menulis e-mel, menghasilkan kod atau menerangkan langkah penaakulannya. TypeSafe AI muncul daripada mod senyap selepas dua tahun, serentak dengan pusingan pembiayaan benih AS$40 juta yang dilaporkan diketuai DCVC. Jev kini berada dalam akses awal melalui senarai menunggu pembangun. 61112

Apa yang Jev pulangkan kepada aplikasi

Pembangun menghantar state atau keadaan: ia boleh berupa teks biasa seperti “Kad saya dicaj dua kali”, atau data berstruktur seperti objek JSON. Bersama-sama state itu, pembangun menentukan soalan bertip yang perlu dijawab.

Jev boleh memulangkan:

• satu pilihan daripada set pilihan yang telah ditetapkan, sehingga 255 pilihan bagi satu primitif pilihan;
• skor berangka; atau
• kebarangkalian binari, seperti ya/tidak.

Setiap jawapan disertakan maklumat kebarangkalian atau keyakinan. Oleh sebab hasilnya sudah mengikut jenis dan skema yang ditentukan, kod aplikasi boleh terus menggunakannya tanpa perlu menyuruh model menulis ayat, kemudian menghuraikan teks tersebut semula. 16

Secara mudah, Jev lebih dekat kepada “if statement pintar”, pengelas atau pemarkah berasaskan AI dalam sistem yang masih dikawal oleh logik perisian biasa. Ia bukan pengganti chatbot serba guna.

Bezanya dengan LLM biasa

LLM autoregresif lazimnya menghasilkan token satu demi satu; token seterusnya bergantung pada token yang sudah dihasilkan. Pendekatan ini sesuai untuk penjanaan bahasa, tetapi boleh menjadi mahal dan lambat bagi tugasan seperti memilih kategori tiket sokongan atau menilai risiko transaksi.

TypeSafe menyatakan Jev mengeluarkan hasil berstruktur yang diminta secara selari dalam satu pertanyaan, tanpa menjana teks bebas, tanpa langkah menghuraikan respons, dan tanpa validasi teks di hiliran. 611

Perbezaan itu penting: jika sistem hanya perlukan jawapan seperti fraud_risk = 0.82, route = billing atau approve = false, ayat yang panjang daripada model bahasa boleh menjadi kerja tambahan yang tidak diperlukan.

RLCD dan maksud keyakinan “terkalibrasi”

TypeSafe menamakan kaedah latihannya RLCD (Reinforcement Learning for Calibrated Decisions). Matlamat yang dinyatakan ialah menghasilkan ketidakpastian yang terkalibrasi: bagi kumpulan ramalan yang setanding, jawapan dengan keyakinan lebih tinggi sepatutnya menunjukkan kadar ketepatan sebenar yang lebih tinggi. 16

Dalam operasi, ini boleh membantu pembangun menetapkan peraturan seperti:

• luluskan keputusan secara automatik hanya melepasi ambang keyakinan tertentu;
• hantar kes berkeyakinan rendah kepada ejen manusia;
• naikkan kes rumit kepada model penaakulan yang lebih perlahan; atau
• gunakan skor itu sebagai satu isyarat dalam sistem keputusan yang lebih besar.

Namun, keyakinan tinggi bukan jaminan bahawa satu-satu jawapan itu benar. Penentukuran ialah sifat statistik merentas banyak ramalan, bukannya jaminan bagi setiap keputusan individu. 16

Kelajuan dan kos: angka yang masih perlu diuji bebas

TypeSafe mendakwa Jev memberi respons hujung ke hujung dalam sekitar 70 hingga 500 milisaat. Bergantung pada tugasan berbentuk System One dan asas perbandingan, syarikat itu mendakwa operasi boleh menjadi 20–200 kali lebih pantas serta 40–400 kali lebih murah. 67

Angka utama di laman syarikat ialah 193.6 kali lebih pantas dan 444.6 kali lebih murah bagi satu aliran kerja rujukan. Harga senarainya ialah AS$0.042 bagi sejuta token input, manakala output disenaraikan percuma kerana kosnya dikatakan terlalu kecil untuk diukur dengan bermakna. 67

Angka ini wajar dibaca sebagai tuntutan TypeSafe, bukan keputusan penanda aras yang telah diulang atau disahkan oleh pihak bebas. Keuntungan sebenar akan banyak bergantung pada reka bentuk tugasan, jumlah konteks, model yang dijadikan perbandingan dan kos membina keseluruhan aliran kerja.

Apa yang ditunjukkan dalam demonstrasi

Dalam demonstrasi permainan DOOM, Jev menerima maklumat keadaan permainan berstruktur lalu memilih tindakan berulang kali—kira-kira 10 panggilan sesaat—pada anggaran kos sekitar AS$7 sejam. 6

TypeSafe juga melaporkan Jev mengatasi beberapa model frontier dalam cabaran navigasi pautan Wikipedia. Namun, syarikat itu menyatakan perbandingan tersebut kebanyakannya menggunakan mod tanpa penaakulan. Maka, ia ialah petunjuk bagi tugasan navigasi berstruktur tertentu, bukannya kedudukan menyeluruh tentang “kepintaran” model. 6

Di mana Jev paling sesuai digunakan

Jev berpotensi berguna apabila ruang tindakan telah dihadkan oleh pembangun dan keputusan perlu dibuat dalam jumlah besar atau masa nyata, termasuk:

• penghalaan tiket sokongan pelanggan;
• pengekstrakan dan pengelasan data;
• semakan pematuhan polisi;
• pemarkahan penipuan atau risiko;
• menilai atau memasang pagar keselamatan pada output model lain;
• keputusan antara muka masa nyata; dan
• analisis korpus besar ala map-reduce.

Corak penggunaan yang lebih selamat ialah menggabungkan keputusan Jev dengan kod deterministik, sambil mengarahkan kes tidak pasti kepada manusia atau LLM yang lebih teliti. 16

Batasan yang perlu jelas

Jev tidak boleh menulis prosa, kod atau penjelasan penaakulannya. Ketika pelancaran, ia juga tidak menerima input imej. 1611

Istilah seperti “tiada ralat jenis” hanya bermaksud respons mematuhi skema yang diisytiharkan—misalnya, sistem menerima salah satu kategori sah dan bukannya teks rawak. Ia tidak bermaksud keputusan semantiknya pasti betul.

Atas sebab itu, melabelkannya sebagai “bebas halusinasi” boleh mengelirukan. Jev tidak boleh mereka-reka naratif teks bebas, tetapi ia masih boleh membuat ramalan berstruktur yang salah—contohnya memilih kategori salah atau memberikan skor risiko yang tidak tepat. 1611

Kesimpulannya

Jev menawarkan pendekatan yang menarik untuk automasi: gunakan model khusus untuk keputusan pantas, terhad dan berulang; gunakan LLM umum apabila tugas memerlukan bahasa terbuka, penaakulan mendalam, input multimodal atau penjelasan.

Buat masa ini, perkara penting masih belum terbukti secara bebas, termasuk metodologi penanda aras TypeSafe, mutu penentukuran dalam penggunaan sebenar, ekonomi unit untuk tempoh panjang dan sama ada model keputusan berstruktur boleh menjadi kategori kukuh yang berdiri sendiri. Nilai terdekatnya kemungkinan bukan menggantikan LLM, tetapi melengkapkannya dalam aliran kerja perisian yang memerlukan jawapan ringkas, boleh dibaca mesin dan cepat. 16