AnswersPublished22 sources
StartLux Prism belooft snellere AI-besluiten: wat verandert er?
StartLux presenteert Prism als een open source inference engine die speciaal is gemaakt voor zijn beslismodellen. Prism beperkt het scoren van mogelijke antwoorden, hergebruikt gedeelde invoer en gebruikt integerberekeningen die resultaten in ondersteunde configuraties reproduceerbaar moeten maken.
Gepubliceerd doorBewerkt met GPT-6 LunaAfbeeldingen gegenereerd met GPT Image 2
Research answer
Key takeaways
- StartLux presenteert Prism als een open source inference engine die speciaal is gemaakt voor zijn beslismodellen.
- Prism beperkt het scoren van mogelijke antwoorden, hergebruikt gedeelde invoer en gebruikt integerberekeningen die resultaten in ondersteunde configuraties reproduceerbaar moeten maken.
- De eerdere v1.1 opstelling gebruikte vLLM al met prefix caching en chunked prefill.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did StartLux announce with its October 22, 2026 GitHub release of Prism, which it describes as the first open-source inference engine b. Article summary: StartLux announced Prism’s GitHub release on October 22, 2026, presenting it as the first open-source inference engine designed specifically for decision models, rather than general-purpose chat generation. Its claimed i. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
StartLux heeft Prism aangekondigd als een open-source-inference-engine voor zijn beslismodellen. Zulke modellen schrijven niet per se een open chatantwoord, maar geven bijvoorbeeld een keuze, categorie of kansenverdeling terug. Prism is toegespitst op dat type taak. StartLux meldt een lagere latentie, meer hergebruik van gedeelde invoer en reproduceerbare uitvoer. De prestatiecijfers komen wel uit tests van het bedrijf zelf. 5
8
12
Waarvoor is Prism bedoeld?
StartLux-Decision-modellen leveren gestructureerde beslissingen via de API /v1/systemone, eventueel voorafgegaan door een redeneerstap. Prism ondersteunt StartLux-Decision v1 en v1.1 AutoThink. De repository vermeldt dat v1.1 Instant nog niet wordt ondersteund. 8
11
De eerdere v1.1-opstelling draaide op vLLM. Die referentieconfiguratie had prefix caching en chunked prefill al ingeschakeld. Het verschil is dus niet dat vLLM gedeelde context helemaal niet kon hergebruiken. Prism is juist afgestemd op beslisverzoeken, waarbij antwoorden kort kunnen zijn en meerdere vragen vaak over hetzelfde materiaal gaan. 6
22
Vier ontwerpkeuzes
1. Alleen relevante antwoordopties scoren
Voor het 27B-model zegt StartLux dat een algemene engine ongeveer 248.000 mogelijke tokens scoort, terwijl een beslissing soms alleen een keuze uit A tot en met Z vraagt. In deze stap zijn dat ongeveer 0,01% zoveel kandidaten. Dat betekent niet dat de totale berekening van het model daalt tot 0,01%. 12
2. Gedeelde invoer hergebruiken
Prism gebruikt wat StartLux ‘forest-style batching’ noemt: gezamenlijke instructies en broninformatie worden gedeeld, terwijl elke vraag haar eigen tak vormt. Daardoor hoeft dezelfde invoer niet telkens opnieuw volledig te worden verwerkt. Denk aan meerdere beoordelingen op basis van één klantticket. 5
23
3. Integerberekeningen voor reproduceerbare uitkomsten
Prisms INT8-matrixbewerkingen tellen op in INT32. Volgens StartLux kunnen de uitvoerkansen daardoor bit voor bit hetzelfde blijven bij ondersteunde batch- en multi-GPU-configuraties. Dat is een claim over de ondersteunde Prism-runtime; het betekent niet dat INT8-uitvoer in alle gevallen identiek is aan BF16-uitvoer. 8
19
4. Redeneren combineren met korte verzoeken
Beslismodellen kunnen meteen antwoorden of eerst een tijd redeneren. Prism is ontworpen om redeneertaken naast korte antwoordverzoeken te plannen, zodat lange redeneersessies niet al het kortere werk ophouden. De gepubliceerde resultaten gelden voor de geteste combinatie van model en serveropstelling; ze garanderen niet hoe lang verzoeken in elke omgeving moeten wachten. 3
23
Wat laten de benchmarks zien?
StartLux rapporteert de volgende resultaten voor specifieke modellen, hardware en testopstellingen:
- Eén korte vraag op één H200: de latentie daalde van 53,1 naar 19,0 milliseconde, oftewel ongeveer 2,8 keer sneller.
12
14
- Drie vragen over hetzelfde materiaal: de gerapporteerde latentie ging van 92,9 naar 17,4 milliseconde, ongeveer 5,3 keer sneller.
- JevBench met 231 vragen: Prism kwam uit op een gemiddelde latentie van 41,0 milliseconde, tegenover 75,6 ms voor SGLang, 112,7 ms voor vLLM en 589 ms voor llama.cpp.
- Vier H200’s in data-parallel-modus: volgens de gepubliceerde cijfers verwerkte de opstelling 121 verzoeken per seconde, ongeveer 3,92 keer de doorvoer van één GPU. In tensor-parallel-modus daalde de latentie voor één vraag naar verluidt van 41 naar 29 ms.
18
- Vergelijking van nauwkeurigheid: over zeven evaluatiesets en 12.351 beslissingen was de gemiddelde gerapporteerde nauwkeurigheid 92,94% voor Prism INT8 en 92,97% voor BF16. Dat verschil is 0,03 procentpunt. Een vergelijkbare totaalscore bewijst niet dat elk individueel antwoord gelijk is.
19
- Gebruik op een consumenten-GPU: volgens de repository kan het 4-bit 27B-model draaien op een RTX 5090 met 32 GB geheugen. In berichtgeving wordt de gecomprimeerde modelversie beschreven als 16,55 GB.
8
Hoe moeten we die cijfers lezen?
Dit zijn metingen van de leverancier voor specifieke workloads en configuraties. Ze bewijzen niet onafhankelijk dat Prism in elke omgeving sneller is dan andere engines. De benchmarkdocumentatie van StartLux beschrijft de geteste modellen, hardware en workloads, zodat lezers de vergelijkingen kunnen beoordelen of proberen te reproduceren. 1
De benchmarkdocumentatie behandelt StartLux-Decision v1-modellen van 4B, 9B en 27B. Prism vermeldt daarnaast ondersteuning voor v1 en v1.1 AutoThink, maar nog niet voor v1.1 Instant. De cijfers vormen dus niet één benchmark van iedere modelvariant. 1
8
11
Tot slot is ‘de eerste open-source-engine voor beslismodellen’ de omschrijving die StartLux zelf voor Prism gebruikt, geen onafhankelijk vastgestelde branchebrede conclusie. Ook de claim dat resultaten bit voor bit gelijk blijven, geldt voor de ondersteunde Prism-configuraties die het bedrijf beschrijft. 5
8
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "StartLux Prism belooft snellere AI-besluiten: wat verandert er?"?
StartLux presenteert Prism als een open source inference engine die speciaal is gemaakt voor zijn beslismodellen.
What are the key points to validate first?
StartLux presenteert Prism als een open source inference engine die speciaal is gemaakt voor zijn beslismodellen. Prism beperkt het scoren van mogelijke antwoorden, hergebruikt gedeelde invoer en gebruikt integerberekeningen die resultaten in ondersteunde configuraties reproduceerbaar moeten maken.
What should I do next in practice?
De eerdere v1.1 opstelling gebruikte vLLM al met prefix caching en chunked prefill.
Sources
163.comDeepSeek之后，StartLux再来：开源首个决策模型推理引擎，推理快至5.3倍