JawabanDipublikasikan22 sumber
StartLux Prism: Apa yang Berubah dan Seberapa Cepat Kinerjanya?
StartLux mengumumkan Prism sebagai mesin inferensi sumber terbuka untuk model pengambil keputusan buatannya. Prism membatasi penilaian keluaran pada pilihan jawaban yang tersedia, menggunakan ulang masukan bersama untuk beberapa pertanyaan, dan menerapkan komputasi integer agar hasilnya konsisten dalam konfigurasi y...
Diterbitkan olehDiedit dengan GPT-6 LunaGambar dibuat dengan GPT Image 2
Jawaban penelitian
Poin-poin penting
- StartLux mengumumkan Prism sebagai mesin inferensi sumber terbuka untuk model pengambil keputusan buatannya.
- Prism membatasi penilaian keluaran pada pilihan jawaban yang tersedia, menggunakan ulang masukan bersama untuk beberapa pertanyaan, dan menerapkan komputasi integer agar hasilnya konsisten dalam konfigurasi yang diduk...
- Penerapan StartLux Decision v1.1 sebelumnya menggunakan vLLM dan sudah mengaktifkan prefix caching serta chunked prefill.
AI Perintah
openai.comCreate a landscape editorial hero image for this Studio Global article: What did StartLux announce with its October 22, 2026 GitHub release of Prism, which it describes as the first open-source inference engine b. Article summary: StartLux announced Prism’s GitHub release on October 22, 2026, presenting it as the first open-source inference engine designed specifically for decision models, rather than general-purpose chat generation. Its claimed i. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
StartLux mengumumkan Prism, mesin inferensi sumber terbuka yang dirancang khusus untuk model pengambil keputusan. Berbeda dari model percakapan yang menghasilkan teks bebas, model keputusan memberikan keluaran terstruktur—misalnya memilih opsi, menentukan kategori, atau menghasilkan probabilitas. Prism dioptimalkan untuk tugas yang lebih terbatas ini. StartLux melaporkan latensi lebih rendah, penggunaan ulang masukan bersama, dan keluaran yang dapat direproduksi; tetapi klaim performanya berasal dari pengujian perusahaan sendiri. 5
8
12
Dirancang untuk menghasilkan keputusan
Model StartLux-Decision menghasilkan keputusan bertipe melalui API /v1/systemone, dengan opsi untuk melakukan penalaran sebelum menjawab. Prism mendukung model StartLux-Decision v1 dan v1.1 AutoThink. Menurut repositorinya, model v1.1 Instant belum didukung. 8
11
Penerapan v1.1 sebelumnya menggunakan vLLM. Konfigurasi acuannya sudah mengaktifkan prefix caching dan chunked prefill, sehingga bukan berarti vLLM sama sekali tidak dapat menggunakan ulang konteks yang sama. Prism dirancang lebih khusus untuk permintaan keputusan—yang jawabannya bisa singkat, dan satu permintaan dapat memuat beberapa pertanyaan tentang materi yang sama. 6
22
Empat pendekatan desain Prism
1. Menilai pilihan jawaban yang relevan saja
Untuk model 27B, StartLux menyebut mesin serbaguna menilai sekitar 248.000 token kandidat, sementara tugas keputusan mungkin hanya membutuhkan pilihan huruf A–Z. Pada tahap penilaian keluaran ini, jumlah kandidatnya sekitar 0,01% dari sebelumnya. Angka tersebut bukan berarti total komputasi inferensi model turun menjadi 0,01%. 12
2. Menggunakan ulang masukan bersama
Fitur batching bergaya “forest” pada Prism mengelompokkan instruksi umum, materi rujukan bersama, dan pertanyaan individual agar komputasi untuk bagian yang sama dapat digunakan ulang. Misalnya, beberapa keputusan terkait satu tiket pelanggan dapat memakai teks tiket yang sama, alih-alih memprosesnya dari awal untuk setiap pertanyaan. 5
23
3. Menggunakan komputasi integer untuk hasil yang konsisten
Operasi matriks INT8 Prism menggunakan akumulasi INT32. Menurut StartLux, cara ini membuat probabilitas keluaran konsisten hingga ke tingkat bit pada konfigurasi batching dan multi-GPU yang didukung. Klaim ini berlaku untuk runtime Prism yang didukung; bukan berarti keluaran INT8 selalu identik dengan BF16 dalam semua kondisi. 8
19
4. Menjadwalkan proses penalaran bersama permintaan singkat
Model keputusan bisa langsung menjawab atau menghabiskan waktu untuk bernalar lebih dulu. Desain layanan Prism bertujuan menjadwalkan proses penalaran bersama permintaan dengan jawaban singkat, agar proses penalaran yang panjang tidak menahan semua permintaan singkat. Hasil yang dipublikasikan sebaiknya dibaca sebagai pengujian terhadap kombinasi model dan sistem layanan tertentu, bukan jaminan umum tentang waktu tunggu. 3
23
Hasil benchmark yang dilaporkan StartLux
StartLux melaporkan hasil berikut untuk model, perangkat keras, dan konfigurasi pengujian tertentu:
- Satu pertanyaan singkat, satu H200: latensi turun dari 53,1 ms menjadi 19,0 ms, atau sekitar 2,8 kali lebih cepat.
12
14
- Tiga pertanyaan tentang materi yang sama: latensi yang dilaporkan turun dari 92,9 ms menjadi 17,4 ms, atau sekitar 5,3 kali lebih cepat.
- JevBench, 231 pertanyaan: rata-rata latensi Prism dilaporkan 41,0 ms, dibandingkan 75,6 ms untuk SGLang, 112,7 ms untuk vLLM, dan 589 ms untuk llama.cpp.
- Empat H200 dalam mode data-parallel: laporan terkait StartLux mencatat 121 permintaan per detik, sekitar 3,92 kali throughput satu GPU. Dalam mode tensor-parallel, latensi satu pertanyaan dilaporkan turun dari 41 ms menjadi 29 ms.
18
- Perbandingan akurasi: dalam tujuh set evaluasi dengan total 12.351 keputusan, rata-rata akurasi yang dilaporkan adalah 92,94% untuk Prism INT8 dan 92,97% untuk BF16—selisih 0,03 poin persentase. Kemiripan akurasi agregat tidak membuktikan bahwa setiap jawaban individual sama.
19
- Penggunaan pada GPU konsumen: repositori menyebut model 27B versi 4-bit dapat dijalankan pada RTX 5090 dengan memori 32 GB. Liputan peluncuran menyebut ukuran model terkompresinya 16,55 GB.
8
Cara membaca hasilnya
Angka-angka tersebut merupakan pengukuran dari StartLux untuk beban kerja dan konfigurasi tertentu, bukan bukti independen bahwa Prism akan mengungguli mesin lain di setiap penerapan. Dokumentasi benchmark StartLux menjelaskan model, perangkat keras, dan beban kerja yang diuji, sehingga pembaca dapat menilai atau mencoba mereproduksi perbandingannya. 1
Dokumentasi benchmark mencakup model StartLux-Decision v1 berukuran 4B, 9B, dan 27B. Repositori Prism juga mencantumkan dukungan untuk v1 dan v1.1 AutoThink, sedangkan v1.1 Instant belum didukung. Jadi, hasil tersebut tidak boleh dianggap sebagai satu benchmark yang mencakup semua varian model. 1
8
11
Terakhir, sebutan “mesin sumber terbuka pertama untuk model keputusan” merupakan deskripsi StartLux tentang Prism, bukan kesimpulan industri yang telah dibuktikan secara independen. Demikian pula, klaim hasil yang identik hingga ke tingkat bit berlaku untuk konfigurasi Prism yang didukung dan dijelaskan perusahaan. 5
8
Studio Global AI
Lanjutkan penelitian Anda
Halaman ini berisi jawaban yang didukung sumber yang dapat Anda lanjutkan di dalam Studio Global.
Orang-orang juga bertanya
Apa jawaban singkat untuk "StartLux Prism: Apa yang Berubah dan Seberapa Cepat Kinerjanya?"?
StartLux mengumumkan Prism sebagai mesin inferensi sumber terbuka untuk model pengambil keputusan buatannya.
Apa poin penting yang harus divalidasi terlebih dahulu?
StartLux mengumumkan Prism sebagai mesin inferensi sumber terbuka untuk model pengambil keputusan buatannya. Prism membatasi penilaian keluaran pada pilihan jawaban yang tersedia, menggunakan ulang masukan bersama untuk beberapa pertanyaan, dan menerapkan komputasi integer agar hasilnya konsisten dalam konfigurasi yang diduk...
Apa yang harus saya lakukan selanjutnya dalam latihan?
Penerapan StartLux Decision v1.1 sebelumnya menggunakan vLLM dan sudah mengaktifkan prefix caching serta chunked prefill.
Sumber
163.comDeepSeek之后，StartLux再来：开源首个决策模型推理引擎，推理快至5.3倍