AnswersPublished22 sources
StartLux Prism: Mengapa enjin AI untuk membuat keputusan ini dikatakan lebih pantas
StartLux memperkenalkan Prism sebagai enjin inferens sumber terbuka yang direka khusus untuk model keputusannya. Prism mengehadkan pemarkahan kepada pilihan jawapan yang relevan, menggunakan semula input yang dikongsi antara soalan dan menyasarkan keputusan yang konsisten dalam konfigurasi yang disokong.
Diterbitkan olehDisunting dengan GPT-6 LunaImej dijana dengan GPT Image 2
Research answer
Key takeaways
- StartLux memperkenalkan Prism sebagai enjin inferens sumber terbuka yang direka khusus untuk model keputusannya.
- Prism mengehadkan pemarkahan kepada pilihan jawapan yang relevan, menggunakan semula input yang dikongsi antara soalan dan menyasarkan keputusan yang konsisten dalam konfigurasi yang disokong.
- Penggunaan vLLM sebelum ini sudah merangkumi caching awalan dan pemprosesan awal secara berperingkat; perbezaan Prism ialah pengoptimuman khusus untuk tugasan membuat keputusan.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did StartLux announce with its October 22, 2026 GitHub release of Prism, which it describes as the first open-source inference engine b. Article summary: StartLux announced Prism’s GitHub release on October 22, 2026, presenting it as the first open-source inference engine designed specifically for decision models, rather than general-purpose chat generation. Its claimed i. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
StartLux mengumumkan Prism sebagai enjin inferens sumber terbuka yang dibina khusus untuk model keputusannya. Berbeza daripada model sembang yang menjana teks secara terbuka, model keputusan memberikan hasil berstruktur—contohnya memilih satu pilihan, menetapkan kategori atau mengembalikan kebarangkalian bagi beberapa pilihan. Prism direka untuk tugasan yang lebih khusus ini. StartLux melaporkan masa pemprosesan lebih rendah, penggunaan semula input bersama dan hasil yang boleh dihasilkan semula, tetapi angka prestasinya datang daripada ujian yang dijalankan syarikat itu sendiri. 5
8
12
Untuk apa Prism direka?
Model StartLux-Decision menghasilkan keputusan bertip melalui API /v1/systemone, dan boleh membuat penaakulan sebelum memberikan jawapan. Prism menyokong model StartLux-Decision v1 dan v1.1 AutoThink; menurut repositorinya, model v1.1 Instant belum disokong. 8
11
Penggunaan v1.1 sebelum ini berasaskan vLLM. Konfigurasi rujukan itu sudah pun mengaktifkan caching awalan dan pemprosesan awal berperingkat. Jadi, perbezaannya bukanlah vLLM langsung tidak boleh menggunakan semula konteks yang sama. Sebaliknya, Prism ditala untuk tugasan keputusan—yang jawapannya mungkin pendek dan satu permintaan boleh mengandungi beberapa soalan tentang bahan rujukan yang sama. 6
22
Empat ciri reka bentuk Prism
1. Memarkah pilihan jawapan yang diperlukan sahaja
Bagi model 27B, StartLux menyatakan enjin serba guna memarkah kira-kira 248,000 token calon, sedangkan tugasan keputusan mungkin hanya memerlukan huruf A hingga Z. Dalam langkah pemarkahan output itu, jumlah calon berkenaan kira-kira 0.01% daripada jumlah asal. Ini bukan bermakna keseluruhan pengiraan inferens model turun kepada 0.01%. 12
2. Menggunakan semula input yang sama untuk beberapa soalan
Pengumpulan kelompok “gaya hutan” Prism menyusun arahan umum, bahan rujukan bersama dan soalan individu supaya kerja pada input yang sama boleh digunakan semula. Misalnya, beberapa keputusan tentang satu aduan pelanggan boleh berkongsi teks aduan itu, dan bukannya memprosesnya semula dari awal bagi setiap soalan. 5
23
3. Menggunakan pengiraan integer untuk hasil yang konsisten
Operasi matriks INT8 Prism mengumpulkan hasil dalam INT32. StartLux mendakwa pendekatan ini membolehkan kebarangkalian output kekal sama hingga ke peringkat bit merentas konfigurasi kelompok dan berbilang GPU yang disokong. Dakwaan itu merujuk kepada masa jalan Prism yang disokong—bukan jaminan bahawa output INT8 sentiasa sama dengan output BF16. 8
19
4. Menjadualkan penaakulan bersama permintaan yang lebih ringkas
Model keputusan boleh menjawab terus atau mengambil masa untuk membuat penaakulan terlebih dahulu. Reka bentuk penyajian Prism bertujuan menjadualkan kerja penaakulan bersama permintaan yang memerlukan jawapan ringkas, supaya permintaan pendek tidak perlu menunggu semua proses penaakulan yang panjang selesai. Angka yang diterbitkan menggambarkan ujian terhadap model dan konfigurasi penyajian tertentu, bukan jaminan umum tentang masa menunggu bagi setiap permintaan. 3
23
Apa yang ditunjukkan oleh penanda aras StartLux?
StartLux melaporkan keputusan berikut bagi model, perkakasan dan tetapan ujian tertentu:
- Satu soalan ringkas pada satu H200: latensi turun daripada 53.1 ms kepada 19.0 ms, kira-kira 2.8 kali lebih pantas.
12
14
- Tiga soalan tentang bahan rujukan yang sama: latensi yang dilaporkan turun daripada 92.9 ms kepada 17.4 ms, kira-kira 5.3 kali lebih pantas.
- JevBench, 231 soalan: purata latensi yang dilaporkan untuk Prism ialah 41.0 ms, berbanding 75.6 ms bagi SGLang, 112.7 ms bagi vLLM dan 589 ms bagi llama.cpp.
- Empat H200 dalam mod selari data: liputan berkaitan StartLux melaporkan kadar 121 permintaan sesaat, kira-kira 3.92 kali kadar satu GPU. Dalam mod selari tensor, latensi satu soalan dilaporkan turun daripada 41 ms kepada 29 ms.
18
- Perbandingan ketepatan: merentas tujuh set penilaian dan 12,351 keputusan, purata ketepatan yang dilaporkan ialah 92.94% bagi Prism INT8 dan 92.97% bagi BF16—perbezaan 0.03 mata peratusan. Purata yang hampir sama tidak membuktikan setiap jawapan individu adalah serupa.
19
- Penggunaan pada GPU pengguna: repositori menyatakan model 27B versi 4-bit boleh dijalankan pada RTX 5090 dengan memori 32 GB. Liputan pelancaran menyebut saiz model termampat itu ialah 16.55 GB.
8
Cara membaca keputusan ini
Angka tersebut ialah ukuran vendor bagi beban kerja dan konfigurasi tertentu, bukan bukti bebas bahawa Prism akan mengatasi enjin lain dalam setiap penggunaan. Dokumentasi penanda aras StartLux menerangkan model, perkakasan dan beban kerja yang diuji supaya pembaca boleh menilai atau cuba menghasilkan semula perbandingan itu. 1
Dokumentasi penanda aras merangkumi model StartLux-Decision v1 pada saiz 4B, 9B dan 27B. Repositori Prism turut menyenaraikan sokongan untuk v1 dan v1.1 AutoThink, tetapi bukan v1.1 Instant buat masa ini. Oleh itu, keputusan yang dilaporkan tidak patut dianggap sebagai satu penanda aras bagi setiap varian model. 1
8
11
Akhir sekali, gelaran “enjin sumber terbuka pertama untuk model keputusan” ialah gambaran StartLux tentang Prism, bukannya dapatan yang telah disahkan secara bebas di seluruh industri. Begitu juga, dakwaan hasil yang sama hingga ke peringkat bit terpakai pada konfigurasi Prism yang disokong dan diterangkan oleh syarikat itu. 5
8
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "StartLux Prism: Mengapa enjin AI untuk membuat keputusan ini dikatakan lebih pantas"?
StartLux memperkenalkan Prism sebagai enjin inferens sumber terbuka yang direka khusus untuk model keputusannya.
What are the key points to validate first?
StartLux memperkenalkan Prism sebagai enjin inferens sumber terbuka yang direka khusus untuk model keputusannya. Prism mengehadkan pemarkahan kepada pilihan jawapan yang relevan, menggunakan semula input yang dikongsi antara soalan dan menyasarkan keputusan yang konsisten dalam konfigurasi yang disokong.
What should I do next in practice?
Penggunaan vLLM sebelum ini sudah merangkumi caching awalan dan pemprosesan awal secara berperingkat; perbezaan Prism ialah pengoptimuman khusus untuk tugasan membuat keputusan.
Sources
163.comDeepSeek之后，StartLux再来：开源首个决策模型推理引擎，推理快至5.3倍