AnswersPublished22 sources
StartLux Prism lupaa nopeuttaa päätösmallien päättelyä – näin moottori eroaa vLLM:stä
StartLux esitteli Prism moottorin, joka on suunniteltu yhtiön päätösmalleille eikä avoimen tekstin tuottamiseen. Prism rajaa vastausvaihtoehtojen pisteytystä, käyttää samaa lähdeaineistoa uudelleen useissa kysymyksissä ja pyrkii tuottamaan tuetuissa kokoonpanoissa toistettavia tuloksia.
JulkaisijaMuokattu mallilla GPT-6 LunaKuvat luotu mallilla GPT Image 2
Research answer
Key takeaways
- StartLux esitteli Prism moottorin, joka on suunniteltu yhtiön päätösmalleille eikä avoimen tekstin tuottamiseen.
- Prism rajaa vastausvaihtoehtojen pisteytystä, käyttää samaa lähdeaineistoa uudelleen useissa kysymyksissä ja pyrkii tuottamaan tuetuissa kokoonpanoissa toistettavia tuloksia.
- Aiemmassa v1.1 käyttöönotossa oli jo käytössä vLLM:n prefix välimuisti ja paloittainen esitäyttö.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did StartLux announce with its October 22, 2026 GitHub release of Prism, which it describes as the first open-source inference engine b. Article summary: StartLux announced Prism’s GitHub release on October 22, 2026, presenting it as the first open-source inference engine designed specifically for decision models, rather than general-purpose chat generation. Its claimed i. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
StartLux julkaisi Prism-päättelymoottorin avoimena lähdekoodina ja kuvaili sitä ensimmäiseksi erityisesti päätösmalleille rakennetuksi avoimeksi moottoriksi. Päätösmalli ei tavallisesti kirjoita pitkää keskusteluvastausta, vaan palauttaa rakenteisen tuloksen, kuten valitun vaihtoehdon, luokan tai vaihtoehtojen todennäköisyydet. StartLuxin mukaan Prism vähentää viivettä, hyödyntää yhteistä syöteaineistoa tehokkaammin ja tuottaa toistettavia tuloksia. Suorituskykyluvut ovat kuitenkin yhtiön omista testeistä. 5
8
12
Mihin Prism on tarkoitettu?
StartLux-Decision-mallit tuottavat tyypitettyjä päätöksiä /v1/systemone-rajapinnan kautta. Malli voi vastata suoraan tai käsitellä kysymystä ensin. Prism tukee StartLux-Decision v1- ja v1.1 AutoThink -malleja; v1.1 Instant -malleja se ei vielä tue. 8
11
Aiemmassa v1.1-käyttöönotossa käytettiin vLLM:ää. Vertailuasetuksessa oli jo käytössä prefix-välimuisti eli yhteisen kehotetekstin uudelleenkäyttö sekä paloittainen esitäyttö. Prism ei siis erotu siksi, ettei vLLM voisi koskaan hyödyntää toistuvaa kontekstia. Sen sijaan Prism on viritetty päätöstehtäviin, joissa vastaus voi olla lyhyt ja samasta aineistosta saatetaan kysyä useita asioita. 6
22
Neljä päätöstehtäviin suunniteltua ratkaisua
1. Pisteytys rajataan olennaisiin vaihtoehtoihin
StartLuxin mukaan yleiskäyttöinen moottori pisteyttää 27 miljardin parametrin mallissa noin 248 000 token-ehdokasta, vaikka päätöstehtävässä vaihtoehdot voivat olla vain kirjaimet A–Z. Tässä vastausvaihtoehtojen pisteytyksen vaiheessa ehdokkaita on noin 0,01 prosenttia alkuperäisestä määrästä. Luku ei tarkoita, että koko päättelyn laskentamäärä putoaisi 0,01 prosenttiin. 12
2. Yhteinen aineisto käsitellään uudelleen käytettäväksi
Prisman ”metsämäiseksi” kuvatussa eräajossa yhteiset ohjeet, viitemateriaali ja yksittäiset kysymykset järjestetään niin, että samaa syötettä voidaan hyödyntää uudelleen. Jos esimerkiksi yhdestä asiakastukipyynnöstä tehdään useita arvioita, tekstin yhteistä osaa ei tarvitse käsitellä joka kysymyksellä alusta. 5
23
3. Kokonaislukulaskenta tähtää toistettaviin tuloksiin
Prism käyttää INT8-matriisilaskentaa ja summaa tulokset INT32-tarkkuudella. StartLuxin mukaan tämä mahdollistaa tulosten toistamisen bittitasolla tuetuissa eräajo- ja usean näytönohjaimen kokoonpanoissa. Väite koskee Prisman tuettua suoritusympäristöä, eikä tarkoita, että INT8-tulos olisi kaikissa tilanteissa sama kuin BF16-tulos. 8
19
4. Päättelyä ja lyhyitä pyyntöjä aikataulutetaan rinnakkain
Päätösmalli voi vastata suoraan tai käyttää ensin aikaa päättelyyn. Prisman palvelinratkaisun tarkoitus on ajaa päättelyä vaativia pyyntöjä rinnakkain lyhyempien vastauspyyntöjen kanssa, jotta pitkät ajot eivät pysäyttäisi kaikkea lyhyempää käsittelyä. Tulokset kuvaavat tätä tiettyä malli- ja palvelinkokoonpanoa, eivätkä takaa vastaavaa odotusaikaa kaikissa käyttötapauksissa. 3
23
Mitä StartLuxin testit kertovat?
StartLux raportoi seuraavat tulokset tietyillä malleilla, laitteilla ja testiasetuksilla:
- Yksi lyhyt kysymys yhdellä H200-näytönohjaimella: viive laski 53,1 millisekunnista 19,0 millisekuntiin eli noin 2,8-kertaiseksi nopeudeksi.
12
14
- Kolme kysymystä samasta aineistosta: raportoitu viive laski 92,9 millisekunnista 17,4 millisekuntiin, noin 5,3-kertaisesti nopeammaksi.
- JevBench, 231 kysymystä: Prisman raportoitu keskimääräinen viive oli 41,0 ms. Vertailuluvut olivat SGLangilla 75,6 ms, vLLM:llä 112,7 ms ja llama.cpp:llä 589 ms.
- Neljä H200:aa datarinnakkaisessa ajossa: StartLuxiin liittyvässä testiraportoinnissa saavutettiin 121 pyyntöä sekunnissa, noin 3,92 kertaa yhden näytönohjaimen läpimenoon verrattuna. Tensoririnnakkaisessa ajossa yhden kysymyksen viiveen kerrotaan laskeneen 41 millisekunnista 29 millisekuntiin.
18
- Tarkkuusvertailu: seitsemässä arviointiaineistossa ja 12 351 päätöksessä Prisman INT8-version keskimääräinen tarkkuus oli 92,94 % ja BF16-version 92,97 %. Ero oli 0,03 prosenttiyksikköä. Lähes sama keskiarvo ei tarkoita, että jokainen yksittäinen vastaus olisi sama.
19
- Ajo kuluttajaluokan näytönohjaimella: Prisman dokumentaation mukaan 4-bittinen 27B-malli toimii 32 gigatavun RTX 5090 -näytönohjaimella. Julkaisua käsittelevässä lähteessä pakatun mallin kooksi ilmoitetaan 16,55 gigatavua.
8
Tuloksia kannattaa tulkita rajatusti
Luvut ovat tiettyyn työkuormaan ja kokoonpanoon liittyviä yhtiön mittauksia. Ne eivät itsessään osoita, että Prism olisi kaikissa käyttöönottoympäristöissä muita päättelymoottoreita nopeampi. StartLuxin vertailudokumentaatiossa kuvataan testattuja malleja, laitteita ja työkuormia, joiden avulla lukija voi arvioida vertailua tai pyrkiä toistamaan sen. 1
Vertailudokumentaatio kattaa StartLux-Decision v1 -mallit kokoluokissa 4B, 9B ja 27B. Prisman tietovarasto ilmoittaa tuen v1- ja v1.1 AutoThink -malleille, mutta ei vielä v1.1 Instant -malleille. Siksi tuloksia ei pidä käsitellä yhtenä kaikkia malliversioita koskevana testinä. 1
8
11
Myös ilmaus ”ensimmäinen avoin päätösmallien päättelymoottori” on StartLuxin oma kuvaus Prismistä, ei riippumattomasti vahvistettu koko alan havainto. Bittitasolla toistettavuutta koskeva väite puolestaan pätee yhtiön kuvaamiin tuettuihin kokoonpanoihin. 5
8
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "StartLux Prism lupaa nopeuttaa päätösmallien päättelyä – näin moottori eroaa vLLM:stä"?
StartLux esitteli Prism moottorin, joka on suunniteltu yhtiön päätösmalleille eikä avoimen tekstin tuottamiseen.
What are the key points to validate first?
StartLux esitteli Prism moottorin, joka on suunniteltu yhtiön päätösmalleille eikä avoimen tekstin tuottamiseen. Prism rajaa vastausvaihtoehtojen pisteytystä, käyttää samaa lähdeaineistoa uudelleen useissa kysymyksissä ja pyrkii tuottamaan tuetuissa kokoonpanoissa toistettavia tuloksia.
What should I do next in practice?
Aiemmassa v1.1 käyttöönotossa oli jo käytössä vLLM:n prefix välimuisti ja paloittainen esitäyttö.
Sources
163.comDeepSeek之后，StartLux再来：开源首个决策模型推理引擎，推理快至5.3倍