AnswersPublished22 sources
StartLux Prism: specializovaný engine slibuje rychlejší rozhodování modelů
StartLux představil Prism jako open source inference engine určený pro své rozhodovací modely. Prism omezuje skórování na dostupné odpovědi, znovu využívá společné vstupy pro více otázek a používá celočíselné výpočty, které mají zajistit opakovatelné výsledky v podporovaných konfiguracích.
PublikovalUpraveno pomocí GPT-6 LunaObrázky vytvořeny pomocí GPT Image 2
Research answer
Key takeaways
- StartLux představil Prism jako open source inference engine určený pro své rozhodovací modely.
- Prism omezuje skórování na dostupné odpovědi, znovu využívá společné vstupy pro více otázek a používá celočíselné výpočty, které mají zajistit opakovatelné výsledky v podporovaných konfiguracích.
- Předchozí nasazení modelů vLLM už využívalo prefix caching i chunked prefill. Rozdíl Prismu tedy není jen v ukládání společného kontextu, ale v optimalizaci pro rozhodovací úlohy.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did StartLux announce with its October 22, 2026 GitHub release of Prism, which it describes as the first open-source inference engine b. Article summary: StartLux announced Prism’s GitHub release on October 22, 2026, presenting it as the first open-source inference engine designed specifically for decision models, rather than general-purpose chat generation. Its claimed i. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
StartLux oznámil Prism jako open-source inference engine vytvořený přímo pro své rozhodovací modely. Na rozdíl od chatovacích modelů, které generují volný text, vracejí rozhodovací modely strukturované výsledky — například vybranou možnost, kategorii nebo pravděpodobnosti. Prism se zaměřuje na tento užší typ úloh. StartLux uvádí nižší latenci, lepší opakované využití společných vstupů a reprodukovatelné výstupy; výkonnostní čísla ale pocházejí z testů firmy. 5
8
12
K čemu je Prism určený
Modely StartLux-Decision vytvářejí typované rozhodovací výstupy přes API /v1/systemone; před odpovědí mohou podle potřeby také uvažovat. Prism podporuje modely StartLux-Decision v1 a v1.1 AutoThink. Podle repozitáře zatím nepodporuje varianty v1.1 Instant. 8
11
Předchozí nasazení v1.1 používalo vLLM. Už tato referenční konfigurace měla zapnuté prefix caching a chunked prefill, takže vLLM společné části vstupu zpracovávat opakovaně nemusel vždy. Prism je místo toho vyladěný přímo pro rozhodovací požadavky, u nichž bývá odpověď krátká a několik otázek se může týkat stejného podkladu. 6
22
Čtyři principy, na kterých Prism staví
1. Skóruje jen relevantní možnosti odpovědi
StartLux uvádí, že obecný engine u modelu 27B skóruje přibližně 248 000 kandidátních tokenů, zatímco rozhodovací úloha může potřebovat jen písmena A–Z. V tomto kroku skórování výstupu jde asi o 0,01 % původního počtu kandidátů. Neznamená to, že celkový výpočet při inferenci klesne na 0,01 %. 12
2. Znovu využívá společné vstupy
Dávkování označované jako „forest-style“ seskupuje společné instrukce, sdílené podklady a jednotlivé otázky tak, aby šlo opakovaně využít výpočet nad společnou částí vstupu. Například několik rozhodnutí o jednom zákaznickém požadavku může pracovat se stejným textem požadavku, místo aby se celý zpracovával znovu pro každou otázku. 5
23
3. Používá celočíselné výpočty pro opakovatelné výsledky
Matice v režimu INT8 se v Prismu sčítají s akumulací v INT32. StartLux tvrdí, že díky tomu jsou pravděpodobnosti výstupu bitově reprodukovatelné napříč podporovanými způsoby dávkování a konfiguracemi s více GPU. Jde o tvrzení pro podporovaný běh Prismu, nikoli o záruku, že výstupy INT8 budou ve všech případech totožné s BF16. 8
19
4. Plánuje společně požadavky s uvažováním i krátké odpovědi
Rozhodovací model může odpovědět rovnou, nebo nejprve věnovat čas uvažování. Návrh obsluhy Prismu má umožnit plánovat požadavky s uvažováním souběžně s těmi, které potřebují jen krátkou odpověď, místo aby delší běhy zdržovaly všechny ostatní. Zveřejněné výsledky se vztahují ke konkrétní kombinaci modelu a obslužného systému; nejsou obecnou zárukou čekací doby každého požadavku. 3
23
Co ukazují zveřejněné testy
StartLux uvádí následující výsledky pro konkrétní modely, hardware a testovací konfigurace:
- Jedna krátká otázka na jednom H200: latence klesla z 53,1 ms na 19,0 ms, tedy přibližně 2,8×.
12
14
- Tři otázky ke společnému podkladu: uváděná latence klesla z 92,9 ms na 17,4 ms, přibližně 5,3×.
- JevBench, 231 otázek: Prism vykázal průměrnou latenci 41,0 ms, oproti 75,6 ms u SGLang, 112,7 ms u vLLM a 589 ms u llama.cpp.
- Čtyři H200 v režimu datové paralelnosti: podle souvisejícího pokrytí dosáhlo nasazení 121 požadavků za sekundu, zhruba 3,92× propustnosti jedné GPU. V režimu tensorové paralelnosti klesla uváděná latence jedné otázky z 41 ms na 29 ms.
18
- Srovnání přesnosti: na sedmi evaluačních sadách a 12 351 rozhodnutích činila průměrná přesnost podle výsledků 92,94 % u Prismu INT8 a 92,97 % u BF16. Rozdíl je 0,03 procentního bodu. Podobná souhrnná přesnost sama o sobě nedokazuje, že se každá jednotlivá odpověď shoduje.
19
- Provoz na spotřebitelské grafice: repozitář uvádí, že čtyřbitový model 27B lze spustit na RTX 5090 s 32 GB paměti. Velikost komprimovaného modelu je podle zprávy o uvedení 16,55 GB.
8
Jak výsledky číst
Jde o měření dodavatele pro konkrétní pracovní zátěže a konfigurace, nikoli o nezávislý důkaz, že Prism překoná jiné enginy při každém nasazení. Dokumentace benchmarků popisuje testované modely, hardware a úlohy, aby čtenáři mohli srovnání posoudit nebo se pokusit o jeho reprodukci. 1
Dokumentace benchmarků pokrývá modely StartLux-Decision v1 ve velikostech 4B, 9B a 27B. Repozitář Prismu zároveň uvádí podporu pro v1 a v1.1 AutoThink, zatímco v1.1 Instant zatím podporovaný není. Výsledky proto nelze chápat jako jeden společný benchmark všech variant modelů. 1
8
11
A konečně, označení „první open-source engine pro rozhodovací modely“ je popisem Prismu ze strany StartLuxu, nikoli nezávisle potvrzeným závěrem o celém odvětví. Stejně tak se tvrzení o bitově totožných výstupech vztahuje k podporovaným konfiguracím Prismu, které firma popisuje. 5
8
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "StartLux Prism: specializovaný engine slibuje rychlejší rozhodování modelů"?
StartLux představil Prism jako open source inference engine určený pro své rozhodovací modely.
What are the key points to validate first?
StartLux představil Prism jako open source inference engine určený pro své rozhodovací modely. Prism omezuje skórování na dostupné odpovědi, znovu využívá společné vstupy pro více otázek a používá celočíselné výpočty, které mají zajistit opakovatelné výsledky v podporovaných konfiguracích.
What should I do next in practice?
Předchozí nasazení modelů vLLM už využívalo prefix caching i chunked prefill. Rozdíl Prismu tedy není jen v ukládání společného kontextu, ale v optimalizaci pro rozhodovací úlohy.
Sources
163.comDeepSeek之后，StartLux再来：开源首个决策模型推理引擎，推理快至5.3倍