उत्तरप्रकाशित3 घंटे पहलेLast edited 2 घंटे पहले22 स्रोत

StartLux Prism क्या बदलता है—और कितना तेज़ है?

StartLux ने Prism को अपने निर्णय मॉडल चलाने के लिए बनाया गया ओपन सोर्स इंफरेंस इंजन बताया है। Prism संभावित जवाबों की सीमित सूची पर स्कोर करता है, कई सवालों के बीच साझा इनपुट का काम दोबारा इस्तेमाल करता है और समर्थित कॉन्फ़िगरेशन में नतीजों को दोहराने योग्य बनाने के लिए इंटीजर गणना अपनाता है। पहले का v1.1 सेटअप vLLM...

प्रकाशितकर्ताGPT-6 Luna से संपादितGPT Image 2 से चित्र बनाए गए

Studio Global AI के साथ खोजें और तथ्यों की जांच करें और ट्रेंडिंग पेज देखें

शोध उत्तर

मुख्य निष्कर्ष

StartLux ने Prism को अपने निर्णय मॉडल चलाने के लिए बनाया गया ओपन सोर्स इंफरेंस इंजन बताया है।
Prism संभावित जवाबों की सीमित सूची पर स्कोर करता है, कई सवालों के बीच साझा इनपुट का काम दोबारा इस्तेमाल करता है और समर्थित कॉन्फ़िगरेशन में नतीजों को दोहराने योग्य बनाने के लिए इंटीजर गणना अपनाता है।
पहले का v1.1 सेटअप vLLM पर चलता था, लेकिन उसमें भी prefix caching और chunked prefill चालू थे। Prism का फर्क सिर्फ कैशिंग नहीं, बल्कि निर्णय संबंधी काम के लिए खास अनुकूलन है।

AI-generated illustration representing an inference engine processing structured decisions from shared information — What did StartLux announce with its October 22, 2026 GitHub release of Prism, which it describes as the first open-source inference engine bAI-generated illustration of specialized inference for structured decision tasks.
AI संकेत
Create a landscape editorial hero image for this Studio Global article: What did StartLux announce with its October 22, 2026 GitHub release of Prism, which it describes as the first open-source inference engine b. Article summary: StartLux announced Prism’s GitHub release on October 22, 2026, presenting it as the first open-source inference engine designed specifically for decision models, rather than general-purpose chat generation. Its claimed i. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
openai.com

StartLux ने 22 अक्टूबर 2026 को Prism को ओपन-सोर्स किया। कंपनी इसे अपने निर्णय मॉडल के लिए विशेष रूप से बनाया गया इंफरेंस इंजन बताती है। चैट मॉडल आम तौर पर खुला-छोड़ा हुआ पाठ बनाते हैं; निर्णय मॉडल इसके बजाय किसी विकल्प का चुनाव, श्रेणी या संभावनाएं जैसे तयशुदा प्रारूप वाले नतीजे देते हैं। Prism इसी तरह के काम के लिए बनाया गया है। StartLux के मुताबिक, इससे देरी घट सकती है, साझा इनपुट का बेहतर इस्तेमाल हो सकता है और नतीजे दोहराने योग्य बन सकते हैं। प्रदर्शन के ये दावे कंपनी के अपने परीक्षणों पर आधारित हैं। 5 8 12

Prism किस काम के लिए बना है?

StartLux-Decision मॉडल /v1/systemone API के जरिए तय प्रारूप वाले निर्णय देते हैं। जवाब से पहले वे चाहें तो तर्क-प्रक्रिया भी चला सकते हैं। Prism, StartLux-Decision v1 और v1.1 AutoThink मॉडल को सपोर्ट करता है; कंपनी के रिपॉज़िटरी के मुताबिक, v1.1 Instant मॉडल अभी समर्थित नहीं हैं। 8 11

इससे पहले v1.1 की तैनाती vLLM पर आधारित थी। उस संदर्भ सेटअप में prefix caching और chunked prefill पहले से चालू थे—यानी यह कहना सही नहीं होगा कि vLLM साझा संदर्भ का दोबारा इस्तेमाल ही नहीं कर सकता। Prism का खास जोर निर्णय वाले अनुरोधों पर है: ऐसे काम में जवाब छोटा हो सकता है और एक ही सामग्री पर कई अलग सवाल पूछे जा सकते हैं। 6 22

Prism के चार खास डिजाइन बदलाव

1. सिर्फ जरूरी जवाबों को स्कोर करना

StartLux के अनुसार, 27B मॉडल के लिए सामान्य इंजन लगभग 248,000 संभावित टोकन स्कोर करता है, जबकि किसी निर्णय वाले काम में विकल्प सिर्फ A–Z तक सीमित हो सकते हैं। आउटपुट स्कोरिंग के इस चरण में यह लगभग 0.01% विकल्पों के बराबर है। इसका मतलब यह नहीं कि मॉडल की कुल गणना घटकर 0.01% रह जाती है। 12

2. कई सवालों में साझा इनपुट का दोबारा इस्तेमाल

Prism की “forest-style” batching में साझा निर्देश, संदर्भ सामग्री और अलग-अलग सवालों को इस तरह व्यवस्थित किया जाता है कि आम इनपुट पर हुआ काम फिर से इस्तेमाल हो सके। उदाहरण के लिए, किसी ग्राहक की एक ही शिकायत पर कई फैसले लेने हों, तो हर सवाल के लिए शिकायत का पूरा पाठ फिर से प्रोसेस करने की जरूरत कम हो सकती है। 5 23

3. नतीजे दोहराने योग्य रखने के लिए इंटीजर गणना

Prism में INT8 मैट्रिक्स ऑपरेशन का संचय INT32 में होता है। StartLux का कहना है कि समर्थित batching और कई GPU वाले कॉन्फ़िगरेशन में इससे आउटपुट की संभावनाएं बिट-स्तर पर दोहराने योग्य रहती हैं। यह दावा Prism के बताए गए समर्थित रनटाइम के बारे में है; इसका अर्थ यह नहीं कि INT8 के नतीजे हर स्थिति में BF16 के बिल्कुल समान होंगे। 8 19

4. लंबे तर्क और छोटे अनुरोधों का साथ-साथ प्रबंधन

निर्णय मॉडल कभी सीधे जवाब दे सकते हैं, तो कभी पहले तर्क करने में समय लगाते हैं। Prism की सेवा-व्यवस्था का उद्देश्य तर्क वाले लंबे अनुरोधों के साथ छोटे, सीधे जवाब वाले अनुरोधों को भी शेड्यूल करना है, ताकि लंबे काम छोटे अनुरोधों को पूरी तरह रोक न दें। प्रकाशित नतीजे इसी खास मॉडल और सर्विंग सेटअप के परीक्षण हैं—हर तैनाती में अनुरोध कितनी देर इंतजार करेंगे, इसकी सामान्य गारंटी नहीं। 3 23

StartLux के बेंचमार्क क्या बताते हैं?

StartLux ने खास मॉडल, हार्डवेयर और परीक्षण स्थितियों के लिए ये नतीजे रिपोर्ट किए हैं:

एक H200 पर एक छोटा सवाल: देरी 53.1 मिलीसेकंड से घटकर 19.0 मिलीसेकंड हुई—करीब 2.8 गुना तेज़। 12 14
एक ही सामग्री पर तीन सवाल: रिपोर्ट की गई देरी 92.9 मिलीसेकंड से घटकर 17.4 मिलीसेकंड रही—करीब 5.3 गुना तेज़। 14
231 सवालों वाला JevBench: Prism की औसत देरी 41.0 मिलीसेकंड बताई गई। तुलना में SGLang के लिए 75.6 मिलीसेकंड, vLLM के लिए 112.7 मिलीसेकंड और llama.cpp के लिए 589 मिलीसेकंड रिपोर्ट किए गए। 12 14
चार H200, data-parallel मोड: StartLux से जुड़ी रिपोर्ट में कुल 121 अनुरोध प्रति सेकंड का आंकड़ा है—एक GPU के मुकाबले करीब 3.92 गुना थ्रूपुट। Tensor-parallel मोड में एक सवाल की देरी 41 से घटकर 29 मिलीसेकंड बताई गई। 18
सटीकता की तुलना: सात मूल्यांकन सेटों के 12,351 फैसलों में Prism INT8 की औसत सटीकता 92.94% और BF16 की 92.97% रिपोर्ट हुई—यानी 0.03 प्रतिशत-अंक का अंतर। कुल औसत का करीब होना यह साबित नहीं करता कि हर जवाब एक जैसा था। 19
उपभोक्ता GPU पर चलाना: रिपॉज़िटरी के मुताबिक, 4-bit वाला 27B मॉडल 32GB RTX 5090 पर चल सकता है। लॉन्च कवरेज में इस compressed मॉडल का आकार 16.55GB बताया गया है। 8 14

इन आंकड़ों को कैसे समझें?

ये आंकड़े खास काम और कॉन्फ़िगरेशन में कंपनी द्वारा किए गए माप हैं। इन्हें इस बात का स्वतंत्र प्रमाण नहीं मानना चाहिए कि Prism हर तरह की तैनाती में दूसरे इंजन से बेहतर होगा। StartLux के बेंचमार्क दस्तावेज़ में परीक्षण किए गए मॉडल, हार्डवेयर और वर्कलोड की जानकारी दी गई है, ताकि पाठक तुलना का आकलन कर सकें या उसे दोहराने की कोशिश करें। 1

बेंचमार्क दस्तावेज़ में StartLux-Decision v1 के 4B, 9B और 27B मॉडल शामिल हैं। Prism का रिपॉज़िटरी v1 और v1.1 AutoThink के लिए समर्थन बताता है, जबकि v1.1 Instant अभी समर्थित नहीं है। इसलिए इन सभी नतीजों को हर मॉडल संस्करण का एक ही बेंचमार्क नहीं समझना चाहिए। 1 8 11

आखिर में, Prism को “निर्णय मॉडल के लिए पहला ओपन-सोर्स इंजन” कहना StartLux का अपना वर्णन है, उद्योग-व्यापी रूप से स्वतंत्र पुष्टि किया गया निष्कर्ष नहीं। इसी तरह, बिट-स्तर पर एक जैसे नतीजों का दावा कंपनी द्वारा बताए गए समर्थित Prism कॉन्फ़िगरेशन तक सीमित है। 5 8

Studio Global AI

अपना शोध जारी रखें

इस पृष्ठ में एक स्रोत-समर्थित उत्तर शामिल है जिसे आप Studio Global के अंदर जारी रख सकते हैं।

Studio Global AI के साथ खोजें और तथ्यों की जांच करें

लोग पूछते भी हैं