AnswersPublished22 sources
StartLux Prism er laget for beslutningsmodeller – men hvor mye raskere er den?
StartLux har gjort Prism tilgjengelig som en åpen inferensmotor for selskapets beslutningsmodeller. Prism begrenser poengberegningen til aktuelle svaralternativer, gjenbruker felles tekst mellom spørsmål og bruker heltallsregning for å gjøre resultatene reproduserbare i støttede konfigurasjoner.
Publisert avRedigert med GPT-6 LunaBilder generert med GPT Image 2
Research answer
Key takeaways
- StartLux har gjort Prism tilgjengelig som en åpen inferensmotor for selskapets beslutningsmodeller.
- Prism begrenser poengberegningen til aktuelle svaralternativer, gjenbruker felles tekst mellom spørsmål og bruker heltallsregning for å gjøre resultatene reproduserbare i støttede konfigurasjoner.
- Den tidligere v1.1 løsningen brukte vLLM, men hadde allerede hurtigbufring av felles kontekst.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did StartLux announce with its October 22, 2026 GitHub release of Prism, which it describes as the first open-source inference engine b. Article summary: StartLux announced Prism’s GitHub release on October 22, 2026, presenting it as the first open-source inference engine designed specifically for decision models, rather than general-purpose chat generation. Its claimed i. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
StartLux lanserte Prism som en åpen inferensmotor utviklet spesielt for selskapets beslutningsmodeller. I motsetning til chatmodeller, som gjerne lager fri tekst, gir beslutningsmodeller strukturerte svar – for eksempel et valgt alternativ, en kategori eller sannsynligheter. Prism er tilpasset denne smalere oppgaven. StartLux rapporterer lavere forsinkelse, bedre gjenbruk av felles input og mer reproduserbare resultater, men ytelsestallene stammer fra selskapets egne tester. 5
8
12
Hva Prism skal gjøre
StartLux-Decision-modellene leverer strukturerte beslutninger gjennom API-et /v1/systemone, med mulighet for at modellen resonnerer før den svarer. Prism støtter StartLux-Decision v1 og v1.1 AutoThink. Ifølge prosjektets GitHub-side støttes v1.1 Instant foreløpig ikke. 8
11
Den tidligere løsningen for v1.1 bygget på vLLM. Referanseoppsettet hadde allerede prefiksbufring og delt opp forhåndsbehandling av lange inputtekster. Forskjellen er altså ikke at vLLM ikke kunne gjenbruke felles kontekst, men at Prism er finjustert for beslutningsoppgaver – der svarene ofte er korte, og flere spørsmål kan bygge på det samme materialet. 6
22
Fire grep som skal gjøre motoren mer effektiv
1. Beregner bare aktuelle svaralternativer
For 27B-modellen oppgir StartLux at en generell motor beregner poengsummer for rundt 248 000 mulige tokenkandidater, mens en beslutningsoppgave kanskje bare trenger bokstavene A–Z. I akkurat dette trinnet er det omtrent 0,01 prosent så mange kandidater. Det betyr ikke at den samlede beregningsjobben for modellen faller til 0,01 prosent. 12
2. Gjenbruker felles materiale mellom spørsmål
Prism bruker det selskapet kaller «skogbasert» batching: Felles instruksjoner og referansemateriale organiseres slik at arbeidet med det delte innholdet kan gjenbrukes, mens hvert spørsmål behandles for seg. Tenk deg flere vurderinger av samme kundesak – de kan bruke den samme saksteksten, i stedet for å behandle alt på nytt for hvert spørsmål. 5
23
3. Bruker heltallsregning for mer stabile resultater
Prisms INT8-matriseregning summeres med INT32-presisjon. StartLux sier dette gjør sannsynlighetene i svarene bit-for-bit reproduserbare på tvers av støttede batch- og fler-GPU-oppsett. Påstanden gjelder Prisms støttede kjørekonfigurasjoner; den innebærer ikke at INT8-resultater alltid er identiske med BF16-resultater. 8
19
4. Lar lange resonneringer dele kapasitet med korte spørsmål
Beslutningsmodeller kan svare direkte eller bruke tid på å resonnere først. Prism er utformet for å kjøre resonneringsjobber sammen med korte forespørsler, slik at de korte jobbene ikke må vente på at lange resonneringer blir helt ferdige. Testresultatene bør likevel forstås som målinger av akkurat dette modell- og serveroppsettet, ikke som en generell garanti for ventetid. 3
23
Dette rapporterer StartLux om ytelsen
StartLux oppgir følgende resultater for bestemte modeller, maskiner og testoppsett:
- Ett kort spørsmål på én H200: Forsinkelsen gikk fra 53,1 ms til 19,0 ms, som tilsvarer omtrent 2,8 ganger raskere.
12
14
- Tre spørsmål om samme materiale: Rapportert forsinkelse gikk fra 92,9 ms til 17,4 ms – omtrent 5,3 ganger raskere.
- JevBench, 231 spørsmål: Prism hadde ifølge testen en gjennomsnittlig forsinkelse på 41,0 ms, mot 75,6 ms for SGLang, 112,7 ms for vLLM og 589 ms for llama.cpp.
- Fire H200-kort i dataparallell modus: StartLux-relatert dekning oppgir 121 forespørsler per sekund, omtrent 3,92 ganger kapasiteten til ett GPU-kort. I tensorparallell modus skal forsinkelsen for ett spørsmål ha gått fra 41 ms til 29 ms.
18
- Sammenligning av nøyaktighet: På tvers av sju evalueringssett og 12 351 beslutninger var rapportert gjennomsnittlig nøyaktighet 92,94 prosent for Prism INT8 og 92,97 prosent for BF16 – en forskjell på 0,03 prosentpoeng. Nesten lik samlet nøyaktighet betyr ikke at hvert enkelt svar er likt.
19
- Kjøring på et forbrukerkort: Ifølge prosjektets GitHub-side kan 4-bits 27B-modellen kjøres på et RTX 5090-kort med 32 GB minne. Omtale av lanseringen oppgir at den komprimerte modellen er 16,55 GB.
8
Slik bør tallene leses
Dette er målinger fra leverandøren for bestemte arbeidsoppgaver og konfigurasjoner. De er ikke uavhengig dokumentasjon på at Prism vil være raskere enn andre motorer i enhver brukssituasjon. StartLux har publisert testoppsett og informasjon om maskinvaren, slik at lesere kan vurdere eller forsøke å gjenskape sammenligningene. 1
Benchmark-dokumentasjonen dekker StartLux-Decision v1-modellene på 4B, 9B og 27B. Prism oppgir også støtte for v1 og v1.1 AutoThink, men ikke for v1.1 Instant ennå. Resultatene bør derfor ikke tolkes som én samlet test av alle modellvariantene. 1
8
11
Til slutt er «den første åpne inferensmotoren for beslutningsmodeller» StartLux’ egen beskrivelse av Prism, ikke en uavhengig fastslått konklusjon om hele bransjen. Påstanden om identiske resultater bit for bit gjelder også de Prism-konfigurasjonene selskapet støtter. 5
8
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "StartLux Prism er laget for beslutningsmodeller – men hvor mye raskere er den?"?
StartLux har gjort Prism tilgjengelig som en åpen inferensmotor for selskapets beslutningsmodeller.
What are the key points to validate first?
StartLux har gjort Prism tilgjengelig som en åpen inferensmotor for selskapets beslutningsmodeller. Prism begrenser poengberegningen til aktuelle svaralternativer, gjenbruker felles tekst mellom spørsmål og bruker heltallsregning for å gjøre resultatene reproduserbare i støttede konfigurasjoner.
What should I do next in practice?
Den tidligere v1.1 løsningen brukte vLLM, men hadde allerede hurtigbufring av felles kontekst.
Sources
163.comDeepSeek之后，StartLux再来：开源首个决策模型推理引擎，推理快至5.3倍