AnswersPublished22 sources
StartLux Prism: un motore di inferenza pensato per le decisioni
StartLux ha presentato Prism come motore di inferenza open source progettato per i suoi modelli decisionali, che restituiscono risultati strutturati invece di conversazioni in prosa. Prism limita il calcolo alle opzioni di risposta pertinenti, riutilizza le informazioni condivise tra più domande e impiega calcoli in...
Pubblicato daModificato con GPT-6 LunaImmagini generate con GPT Image 2
Research answer
Key takeaways
- StartLux ha presentato Prism come motore di inferenza open source progettato per i suoi modelli decisionali, che restituiscono risultati strutturati invece di conversazioni in prosa.
- Prism limita il calcolo alle opzioni di risposta pertinenti, riutilizza le informazioni condivise tra più domande e impiega calcoli interi per rendere riproducibili i risultati nelle configurazioni supportate.
- La precedente configurazione di StartLux Decision v1.1 si basava già su vLLM con caching dei prefissi e precompilazione suddivisa in blocchi: la differenza dichiarata è l’ottimizzazione per le richieste decisionali, n...
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did StartLux announce with its October 22, 2026 GitHub release of Prism, which it describes as the first open-source inference engine b. Article summary: StartLux announced Prism’s GitHub release on October 22, 2026, presenting it as the first open-source inference engine designed specifically for decision models, rather than general-purpose chat generation. Its claimed i. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
StartLux ha annunciato Prism come motore di inferenza open source realizzato appositamente per i propri modelli decisionali. A differenza dei modelli conversazionali, che generano testi aperti, i modelli decisionali restituiscono risultati strutturati: per esempio un’opzione selezionata, una categoria o le probabilità associate alle alternative. Prism è progettato per questo tipo di richiesta. Secondo l’azienda, riduce la latenza, riutilizza meglio le informazioni comuni e produce risultati riproducibili; le prestazioni dichiarate, però, provengono da test condotti da StartLux. 5
8
12
A cosa serve Prism
I modelli StartLux-Decision producono decisioni tipizzate tramite l’API /v1/systemone, con la possibilità di svolgere un ragionamento prima della risposta. Prism supporta i modelli StartLux-Decision v1 e v1.1 AutoThink; il repository precisa che, per ora, non supporta i modelli v1.1 Instant. 8
11
La precedente configurazione di v1.1 utilizzava vLLM. In quel setup di riferimento erano già attivi sia il caching dei prefissi sia il prefill suddiviso in blocchi: non sarebbe quindi corretto dire che vLLM non fosse in grado di riutilizzare contesti condivisi. Prism punta invece a ottimizzare le richieste decisionali, in cui la risposta può essere breve e più domande possono riferirsi allo stesso materiale. 6
22
Le quattro scelte di progettazione
1. Valutare solo le risposte possibili
Per il modello da 27 miliardi di parametri, StartLux afferma che un motore generico valuta circa 248.000 token candidati, mentre un compito decisionale può richiedere soltanto le lettere da A a Z. In questa fase di valutazione delle opzioni, i candidati sono quindi circa lo 0,01% del totale. Questo dato non significa che l’intero calcolo necessario a eseguire il modello scenda allo 0,01%. 12
2. Riutilizzare il contesto comune
Il batching «a foresta» di Prism organizza istruzioni comuni, materiale di riferimento condiviso e singole domande in modo da riutilizzare il lavoro svolto sugli input comuni. Per esempio, se si devono formulare più valutazioni su una stessa segnalazione di assistenza, il testo della segnalazione può essere condiviso invece di essere rielaborato da capo per ogni domanda. 5
23
3. Usare calcoli interi per risultati ripetibili
Le operazioni matriciali INT8 di Prism accumulano i risultati in INT32. StartLux sostiene che, nelle configurazioni supportate, ciò renda le probabilità di output identiche bit per bit anche al variare del batching o del numero di GPU. È una dichiarazione riferita al runtime supportato da Prism: non implica che i risultati INT8 coincidano sempre con quelli ottenuti in BF16. 8
19
4. Gestire insieme richieste brevi e richieste con ragionamento
I modelli decisionali possono rispondere subito oppure dedicare tempo al ragionamento. Il sistema di serving di Prism è pensato per programmare il lavoro di ragionamento insieme alle richieste con risposte brevi, così che le elaborazioni più lunghe non blocchino necessariamente tutte le altre. I risultati pubblicati descrivono questo specifico modello e sistema di serving, non garantiscono i tempi d’attesa in qualsiasi ambiente. 3
23
Cosa mostrano i benchmark pubblicati da StartLux
StartLux riporta i seguenti risultati, riferiti a modelli, hardware e configurazioni di test specifici:
- Una domanda breve su una H200: la latenza scende da 53,1 ms a 19,0 ms, cioè circa 2,8 volte più veloce.
12
14
- Tre domande sullo stesso materiale: la latenza dichiarata passa da 92,9 ms a 17,4 ms, circa 5,3 volte più veloce.
- JevBench, 231 domande: la latenza media dichiarata per Prism è 41,0 ms, contro 75,6 ms per SGLang, 112,7 ms per vLLM e 589 ms per llama.cpp.
- Quattro H200 in modalità data-parallel: le fonti riportano un throughput di 121 richieste al secondo, circa 3,92 volte quello di una singola GPU. In modalità tensor-parallel, la latenza per una singola domanda scenderebbe da 41 ms a 29 ms.
18
- Confronto sull’accuratezza: su sette set di valutazione e 12.351 decisioni, l’accuratezza media riportata è 92,94% per Prism INT8 e 92,97% per BF16, con una differenza di 0,03 punti percentuali. Una media aggregata simile non dimostra che ogni singola risposta sia identica.
19
- Uso su una GPU consumer: secondo il repository, il modello da 27B in versione a 4 bit può funzionare su una RTX 5090 con 32 GB; una fonte che ha riportato il lancio indica una dimensione di 16,55 GB per il modello compresso.
8
Come leggere questi risultati
Sono misurazioni dell’azienda, legate a specifici carichi di lavoro e configurazioni: non dimostrano che Prism superi gli altri motori in ogni contesto. La documentazione dei benchmark di StartLux descrive modelli, hardware e carichi testati e offre elementi per valutare o provare a riprodurre i confronti. 1
La documentazione dei benchmark riguarda i modelli StartLux-Decision v1 da 4B, 9B e 27B. Il repository di Prism elenca inoltre il supporto per v1 e v1.1 AutoThink, ma non per v1.1 Instant. I risultati non vanno quindi interpretati come un unico benchmark valido per ogni variante del modello. 1
8
11
Infine, «primo motore open source per modelli decisionali» è la definizione usata da StartLux per Prism, non una conclusione indipendente sull’intero settore. Anche la dichiarazione di risultati identici bit per bit vale per le configurazioni supportate descritte dall’azienda. 5
8
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "StartLux Prism: un motore di inferenza pensato per le decisioni"?
StartLux ha presentato Prism come motore di inferenza open source progettato per i suoi modelli decisionali, che restituiscono risultati strutturati invece di conversazioni in prosa.
What are the key points to validate first?
StartLux ha presentato Prism come motore di inferenza open source progettato per i suoi modelli decisionali, che restituiscono risultati strutturati invece di conversazioni in prosa. Prism limita il calcolo alle opzioni di risposta pertinenti, riutilizza le informazioni condivise tra più domande e impiega calcoli interi per rendere riproducibili i risultati nelle configurazioni supportate.
What should I do next in practice?
La precedente configurazione di StartLux Decision v1.1 si basava già su vLLM con caching dei prefissi e precompilazione suddivisa in blocchi: la differenza dichiarata è l’ottimizzazione per le richieste decisionali, n...
Sources
163.comDeepSeek之后，StartLux再来：开源首个决策模型推理引擎，推理快至5.3倍