AnswersPublished22 sources
StartLux Prism: specialmotor för beslut – och upp till 5,3 gånger snabbare i tester
StartLux presenterar Prism som en öppen inferensmotor särskilt utvecklad för företagets beslutsmodeller. Prism begränsar beräkningen av möjliga svar, återanvänder gemensamt underlag mellan frågor och använder heltalsberäkningar för att ge reproducerbara resultat i konfigurationer som stöds.
Publicerad avRedigerad med GPT-6 LunaBilder genererade med GPT Image 2
Research answer
Key takeaways
- StartLux presenterar Prism som en öppen inferensmotor särskilt utvecklad för företagets beslutsmodeller.
- Prism begränsar beräkningen av möjliga svar, återanvänder gemensamt underlag mellan frågor och använder heltalsberäkningar för att ge reproducerbara resultat i konfigurationer som stöds.
- Den tidigare v1.1 lösningen använde vLLM, men hade redan prefix cache och chunkad prefill.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did StartLux announce with its October 22, 2026 GitHub release of Prism, which it describes as the first open-source inference engine b. Article summary: StartLux announced Prism’s GitHub release on October 22, 2026, presenting it as the first open-source inference engine designed specifically for decision models, rather than general-purpose chat generation. Its claimed i. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
StartLux har släppt Prism som en öppen inferensmotor byggd särskilt för företagets beslutsmodeller. Till skillnad från chattmodeller, som kan skriva fritt, ger beslutsmodeller strukturerade svar: till exempel ett valt alternativ, en kategori eller sannolikheter. Prism är anpassad till den uppgiften. StartLux uppger att motorn ger lägre fördröjning, återanvänder gemensamma indata bättre och kan ge reproducerbara resultat. Prestandasiffrorna bygger dock på tester som företaget självt har genomfört. 5
8
12
Vad Prism är till för
StartLux-Decision-modeller lämnar typade beslut via API:t /v1/systemone och kan resonera innan de svarar. Prism stöder StartLux-Decision v1 och v1.1 AutoThink, men ännu inte v1.1 Instant-modellerna. 8
11
Den tidigare v1.1-lösningen använde vLLM. Referenskonfigurationen hade redan prefix-cache och chunkad prefill – funktioner som gör att gemensamt underlag kan återanvändas. Prism skiljer sig alltså inte från vLLM enbart genom att använda cache. I stället är motorn särskilt optimerad för beslutsfrågor, där svaret ofta är kort och flera frågor kan handla om samma material. 6
22
Fyra idéer bakom Prism
1. Beräkna bara relevanta svarsalternativ
För 27B-modellen uppger StartLux att en generell motor poängsätter omkring 248 000 möjliga token, medan en beslutsuppgift kanske bara behöver alternativen A–Z. I just det steget motsvarar det ungefär 0,01 procent så många alternativ. Det betyder inte att modellens totala beräkning minskar till 0,01 procent. 12
2. Återanvänd underlag mellan frågor
Prisms så kallade skogsbaserade batchning organiserar gemensamma instruktioner, referensmaterial och separata frågor så att arbetet med den gemensamma delen kan återanvändas. Om flera beslut ska fattas utifrån samma kundärende behöver systemet till exempel inte behandla hela ärendet på nytt för varje fråga. 5
23
3. Använd heltalsberäkningar för reproducerbara resultat
Prism använder INT8-matrisberäkningar med ackumulering i INT32. StartLux säger att detta ger bitidentiska sannolikheter i de batch- och flerkortskonfigurationer som stöds. Påståendet gäller Prisms stödda körmiljöer – det innebär inte att INT8 alltid ger exakt samma utdata som BF16. 8
19
4. Kör resonemang parallellt med korta förfrågningar
Beslutsmodeller kan svara direkt eller lägga tid på att resonera först. Prism är utformat för att schemalägga resonemang samtidigt som korta förfrågningar hanteras, så att långa resonemang inte behöver blockera allt kortare arbete. Resultaten som publicerats gäller den här specifika kombinationen av modell och serverlösning och ska inte ses som en generell garanti för väntetider. 3
23
Vad StartLux tester visar
StartLux rapporterar följande resultat för specifika modeller, grafikkort och testupplägg:
- En kort fråga på ett H200: svarstiden sjönk från 53,1 ms till 19,0 ms, vilket motsvarar ungefär 2,8 gånger snabbare.
12
14
- Tre frågor om samma material: rapporterad svarstid sjönk från 92,9 ms till 17,4 ms, cirka 5,3 gånger snabbare.
- JevBench, 231 frågor: Prism hade en rapporterad genomsnittlig svarstid på 41,0 ms, jämfört med 75,6 ms för SGLang, 112,7 ms för vLLM och 589 ms för llama.cpp.
- Fyra H200 i dataparallellt läge: rapporteringen anger 121 förfrågningar per sekund, omkring 3,92 gånger genomströmningen från ett enda grafikkort. I tensorparallellt läge uppges svarstiden för en fråga sjunka från 41 ms till 29 ms.
18
- Jämförelse av träffsäkerhet: över sju utvärderingsmängder och 12 351 beslut var den rapporterade genomsnittliga träffsäkerheten 92,94 procent för Prism INT8 och 92,97 procent för BF16 – en skillnad på 0,03 procentenheter. Liknande genomsnitt innebär inte att varje enskilt svar är identiskt.
19
- Körning på konsumentgrafikkort: enligt projektets repository kan 27B-modellen i 4-bitarsversion köras på ett RTX 5090 med 32 GB minne. I rapporteringen anges den komprimerade modellen vara 16,55 GB.
8
Så bör siffrorna tolkas
Det här är mätningar från leverantören för särskilda arbetsbelastningar och konfigurationer. De visar inte att Prism kommer att vara snabbare än andra motorer i alla miljöer. StartLux dokumentation beskriver de testade modellerna, grafikkorten och arbetsuppgifterna, så att läsare kan bedöma eller försöka återskapa jämförelserna. 1
Dokumentationen för benchmarken omfattar StartLux-Decision v1 i storlekarna 4B, 9B och 27B. Prism-repositoryt listar också stöd för v1 och v1.1 AutoThink, men inte ännu för v1.1 Instant. Resultaten ska därför inte ses som ett enda test av alla modellvarianter. 1
8
11
Till sist är beskrivningen ”den första öppna inferensmotorn för beslutsmodeller” StartLux formulering om Prism, inte ett oberoende fastställt faktum om hela branschen. Även påståendet om bitidentiska resultat gäller de Prism-konfigurationer som företaget stöder. 5
8
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "StartLux Prism: specialmotor för beslut – och upp till 5,3 gånger snabbare i tester"?
StartLux presenterar Prism som en öppen inferensmotor särskilt utvecklad för företagets beslutsmodeller.
What are the key points to validate first?
StartLux presenterar Prism som en öppen inferensmotor särskilt utvecklad för företagets beslutsmodeller. Prism begränsar beräkningen av möjliga svar, återanvänder gemensamt underlag mellan frågor och använder heltalsberäkningar för att ge reproducerbara resultat i konfigurationer som stöds.
What should I do next in practice?
Den tidigare v1.1 lösningen använde vLLM, men hade redan prefix cache och chunkad prefill.
Sources
163.comDeepSeek之后，StartLux再来：开源首个决策模型推理引擎，推理快至5.3倍