AnswersPublished22 sources
StartLux Prism er bygget til beslutningsmodeller – men hvor stor er hastighedsgevinsten?
StartLux præsenterede Prism som en open source inferensmotor udviklet specifikt til virksomhedens beslutningsmodeller. Prism begrænser scoringen til relevante svarmuligheder, genbruger fælles input på tværs af spørgsmål og bruger heltalsberegning, der skal give reproducerbare resultater i understøttede konfigurationer.
Udgivet afRedigeret med GPT-6 LunaBilleder genereret med GPT Image 2
Research answer
Key takeaways
- StartLux præsenterede Prism som en open source inferensmotor udviklet specifikt til virksomhedens beslutningsmodeller.
- Prism begrænser scoringen til relevante svarmuligheder, genbruger fælles input på tværs af spørgsmål og bruger heltalsberegning, der skal give reproducerbare resultater i understøttede konfigurationer.
- Den tidligere v1.1 opsætning brugte vLLM med både prefix caching og chunked prefill.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did StartLux announce with its October 22, 2026 GitHub release of Prism, which it describes as the first open-source inference engine b. Article summary: StartLux announced Prism’s GitHub release on October 22, 2026, presenting it as the first open-source inference engine designed specifically for decision models, rather than general-purpose chat generation. Its claimed i. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
StartLux har frigivet Prism som en open source-inferensmotor udviklet specifikt til virksomhedens beslutningsmodeller. Hvor chatmodeller typisk skriver tekst frit, leverer beslutningsmodeller strukturerede svar, for eksempel et valgt alternativ, en kategori eller sandsynligheder. Prism er indrettet til den mere afgrænsede opgave. StartLux rapporterer lavere svartider, bedre genbrug af fælles input og reproducerbare resultater, men hastighedstallene stammer fra virksomhedens egne tests. 5
8
12
Hvad Prism skal løse
StartLux-Decision-modeller returnerer typede beslutninger via API'et /v1/systemone og kan eventuelt ræsonnere, før de svarer. Prism understøtter StartLux-Decision v1 og v1.1 AutoThink-modeller. Ifølge projektets repository er v1.1 Instant endnu ikke understøttet. 8
11
Den tidligere v1.1-opsætning brugte vLLM. Referenceopsætningen havde allerede prefix-caching og chunked prefill, så forskellen er ikke, at vLLM slet ikke kunne genbruge fælles kontekst. Prism er i stedet tilpasset beslutningsopgaver, hvor svaret kan være kort, og hvor flere spørgsmål ofte tager udgangspunkt i det samme materiale. 6
22
Fire valg i Prism-designet
1. Scoring af færre mulige svar
For 27B-modellen oplyser StartLux, at en generel inferensmotor scorer omkring 248.000 mulige tokens, mens en beslutningsopgave måske kun skal skelne mellem bogstaverne A–Z. Det svarer til cirka 0,01 % så mange kandidater i dette trin med scoring af mulige output. Det betyder ikke, at modellens samlede inferensberegning falder til 0,01 %. 12
2. Genbrug af fælles input på tværs af spørgsmål
Prisms såkaldte skovbaserede batching samler fælles instruktioner, delt referencemateriale og de enkelte spørgsmål, så arbejdet med fælles input kan genbruges. Hvis en model for eksempel skal træffe flere beslutninger om den samme kundesag, kan spørgsmålene trække på den samme sagsbeskrivelse i stedet for at behandle den fra bunden hver gang. 5
23
3. Heltalsberegning for reproducerbare resultater
Prism bruger INT8-matrixberegninger med akkumulering i INT32. StartLux siger, at det giver bit-for-bit reproducerbare output-sandsynligheder på tværs af understøttede batch- og multi-GPU-konfigurationer. Det er en påstand om Prisms understøttede kørselsmiljø – ikke om, at INT8-resultater altid er identiske med BF16-resultater. 8
19
4. Planlægning af ræsonnement sammen med korte svar
Beslutningsmodeller kan svare direkte eller bruge tid på at ræsonnere først. Prism er udviklet til at planlægge ræsonnementsarbejde samtidig med korte svarforespørgsler, så lange ræsonnementer ikke nødvendigvis forsinker alle de kortere opgaver. De offentliggjorte resultater gælder dog for netop denne model- og serveropsætning og er ikke en generel garanti for ventetider. 3
23
Hvad StartLux’ benchmarks viser
StartLux rapporterer følgende resultater for bestemte modeller, grafikkort og testopsætninger:
- Ét kort spørgsmål på én H200: Svartiden faldt fra 53,1 ms til 19,0 ms, svarende til cirka 2,8 gange hurtigere.
12
14
- Tre spørgsmål om det samme materiale: Den rapporterede svartid faldt fra 92,9 ms til 17,4 ms, cirka 5,3 gange hurtigere.
- JevBench med 231 spørgsmål: Prism havde en rapporteret gennemsnitlig svartid på 41,0 ms mod 75,6 ms for SGLang, 112,7 ms for vLLM og 589 ms for llama.cpp.
- Fire H200-kort i dataparallel tilstand: Dækning af StartLux-resultaterne rapporterer 121 forespørgsler i sekundet, cirka 3,92 gange gennemløbet på ét grafikkort. I tensorparallel tilstand faldt svartiden for ét spørgsmål ifølge rapporten fra 41 ms til 29 ms.
18
- Sammenligning af nøjagtighed: På tværs af syv evalueringssæt og 12.351 beslutninger var den rapporterede gennemsnitlige nøjagtighed 92,94 % for Prism INT8 og 92,97 % for BF16 – en forskel på 0,03 procentpoint. Næsten ens samlet nøjagtighed viser ikke, at hvert enkelt svar er identisk.
19
- Kørsel på et grafikkort til forbrugermarkedet: Ifølge repository kan 27B-modellen i 4-bit køre på et RTX 5090 med 32 GB. Dækning af lanceringen angiver den komprimerede models størrelse til 16,55 GB.
8
Sådan skal resultaterne læses
Tallene er leverandørmålinger for bestemte arbejdsopgaver og konfigurationer – ikke uafhængig dokumentation for, at Prism vil være hurtigere end andre inferensmotorer i alle løsninger. StartLux’ benchmarkdokumentation beskriver de testede modeller, grafikkort og arbejdsopgaver, så læserne kan vurdere sammenligningerne eller forsøge at gentage testene. 1
Benchmarkdokumentationen dækker StartLux-Decision v1-modeller på 4B, 9B og 27B. Prism-repository angiver også understøttelse af v1 og v1.1 AutoThink, mens v1.1 Instant endnu ikke er understøttet. Resultaterne bør derfor ikke opfattes som én samlet test af alle modelvarianter. 1
8
11
Endelig er betegnelsen »den første open source-motor til beslutningsmodeller« StartLux’ egen beskrivelse af Prism – ikke en uafhængigt fastslået konklusion om hele branchen. Det samme gælder påstanden om bit-for-bit-identiske resultater: Den gælder de understøttede Prism-konfigurationer, som virksomheden beskriver. 5
8
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "StartLux Prism er bygget til beslutningsmodeller – men hvor stor er hastighedsgevinsten?"?
StartLux præsenterede Prism som en open source inferensmotor udviklet specifikt til virksomhedens beslutningsmodeller.
What are the key points to validate first?
StartLux præsenterede Prism som en open source inferensmotor udviklet specifikt til virksomhedens beslutningsmodeller. Prism begrænser scoringen til relevante svarmuligheder, genbruger fælles input på tværs af spørgsmål og bruger heltalsberegning, der skal give reproducerbare resultater i understøttede konfigurationer.
What should I do next in practice?
Den tidligere v1.1 opsætning brugte vLLM med både prefix caching og chunked prefill.
Sources
163.comDeepSeek之后，StartLux再来：开源首个决策模型推理引擎，推理快至5.3倍