RespostasPublicado22 fontes
O que o Prism muda — e o que mostram os testes de desempenho
A StartLux anunciou o Prism, um mecanismo de inferência de código aberto feito para seus modelos de decisão, que retornam resultados estruturados em vez de texto livre. O sistema limita a pontuação às opções de resposta possíveis, reaproveita informações compartilhadas entre perguntas e usa operações inteiras para t...
Publicado porEditado com GPT-6 LunaImagens geradas com GPT Image 2
Resposta de pesquisa
Principais conclusões
- A StartLux anunciou o Prism, um mecanismo de inferência de código aberto feito para seus modelos de decisão, que retornam resultados estruturados em vez de texto livre.
- O sistema limita a pontuação às opções de resposta possíveis, reaproveita informações compartilhadas entre perguntas e usa operações inteiras para tornar os resultados reproduzíveis nas configurações compatíveis.
- Os testes anteriores com vLLM já usavam cache de prefixo e pré processamento em blocos; a proposta do Prism é otimizar o processamento para tarefas de decisão, não simplesmente acrescentar cache.
Prompt de IA
openai.comCreate a landscape editorial hero image for this Studio Global article: What did StartLux announce with its October 22, 2026 GitHub release of Prism, which it describes as the first open-source inference engine b. Article summary: StartLux announced Prism’s GitHub release on October 22, 2026, presenting it as the first open-source inference engine designed specifically for decision models, rather than general-purpose chat generation. Its claimed i. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
A StartLux anunciou o Prism como um mecanismo de inferência de código aberto desenvolvido especificamente para seus modelos de decisão. Enquanto modelos de conversa costumam gerar texto livre, modelos de decisão retornam respostas estruturadas — como uma opção escolhida, uma categoria ou probabilidades. O Prism foi projetado para esse tipo de tarefa. A empresa afirma que o sistema reduz a latência, reaproveita melhor entradas compartilhadas e produz resultados reproduzíveis; os números de desempenho, porém, vêm de testes conduzidos pela própria StartLux. 5
8
12
Para que serve o Prism
Os modelos StartLux-Decision produzem decisões tipadas por meio da API /v1/systemone e podem incluir uma etapa de raciocínio antes da resposta. O Prism atende aos modelos StartLux-Decision v1 e v1.1 AutoThink. A versão v1.1 Instant ainda não é compatível. 8
11
A implementação anterior da v1.1 usava vLLM. A configuração de referência já tinha cache de prefixo e pré-processamento em blocos — portanto, não seria correto dizer que o vLLM era incapaz de reaproveitar contexto. A diferença é que o Prism foi ajustado para solicitações de decisão, que podem ter respostas curtas e incluir várias perguntas sobre o mesmo material. 6
22
Quatro escolhas de projeto
1. Pontuar apenas as respostas possíveis
Para o modelo 27B, a StartLux estima que um mecanismo de uso geral pontua cerca de 248 mil tokens candidatos. Em uma tarefa de decisão, porém, pode bastar comparar alternativas representadas pelas letras de A a Z. Nesse passo de pontuação da saída, isso corresponde a cerca de 0,01% do número de candidatos — não significa que o custo total de inferência do modelo caia para 0,01%. 12
2. Reaproveitar contexto entre perguntas
O processamento em lotes no estilo “floresta” organiza instruções comuns, material de referência compartilhado e perguntas individuais de modo a reutilizar o trabalho feito sobre a parte comum da entrada. Por exemplo, várias decisões sobre o mesmo chamado de suporte podem usar o texto do chamado sem processá-lo do zero a cada pergunta. 5
23
3. Usar operações inteiras para resultados reproduzíveis
As operações de matriz INT8 do Prism acumulam os resultados em INT32. Segundo a StartLux, isso permite reproduzir as probabilidades bit a bit entre configurações compatíveis de processamento em lote e uso de várias GPUs. A afirmação vale para o ambiente de execução compatível do Prism; não significa que uma saída INT8 será sempre idêntica a uma saída BF16. 8
19
4. Intercalar solicitações com e sem raciocínio
Os modelos de decisão podem responder diretamente ou levar mais tempo raciocinando antes de apresentar uma resposta. O sistema de execução do Prism foi pensado para processar tarefas de raciocínio junto com solicitações de resposta curta, em vez de deixar que uma geração longa atrase todo o restante. Os resultados publicados devem ser entendidos como medições dessa combinação específica de modelo e mecanismo, não como garantia geral sobre o tempo de espera em qualquer uso. 3
23
O que os benchmarks divulgados pela StartLux mostram
A empresa reporta os seguintes resultados para modelos, hardware e configurações específicos:
- Uma pergunta curta em uma GPU H200: a latência caiu de 53,1 ms para 19,0 ms, aproximadamente 2,8 vezes mais rápido.
12
14
- Três perguntas sobre o mesmo material: a latência reportada passou de 92,9 ms para 17,4 ms, cerca de 5,3 vezes mais rápido.
- JevBench, com 231 perguntas: a latência média reportada para o Prism foi de 41,0 ms, ante 75,6 ms no SGLang, 112,7 ms no vLLM e 589 ms no llama.cpp.
- Quatro GPUs H200 em paralelismo de dados: os resultados reportados indicam 121 solicitações por segundo, cerca de 3,92 vezes a capacidade de uma única GPU. Em paralelismo de tensores, a latência para uma pergunta teria caído de 41 ms para 29 ms.
18
- Comparação de precisão: em sete conjuntos de avaliação, com 12.351 decisões, a precisão média informada foi de 92,94% com Prism INT8 e 92,97% com BF16 — diferença de 0,03 ponto percentual. Médias semelhantes não demonstram que todas as respostas individuais sejam iguais.
19
- Uso em uma GPU de consumo: o repositório afirma que o modelo 27B em 4 bits pode rodar em uma RTX 5090 com 32 GB. A cobertura do lançamento informa que o arquivo compactado tem 16,55 GB.
8
Como interpretar os números
Os resultados são medições da própria empresa, específicas para determinadas cargas de trabalho e configurações. Eles não provam que o Prism será mais rápido que outros mecanismos em qualquer implantação. A documentação de benchmarks da StartLux descreve os modelos, o hardware e os testes usados, para que leitores possam avaliar ou tentar reproduzir as comparações. 1
A documentação de benchmarks cobre modelos StartLux-Decision v1 de 4B, 9B e 27B. O repositório do Prism também lista suporte a v1 e v1.1 AutoThink, mas não a v1.1 Instant. Portanto, os números não devem ser tratados como um único benchmark de todas as variantes. 1
8
11
Por fim, “primeiro mecanismo de código aberto para modelos de decisão” é a forma como a StartLux descreve o Prism, não uma conclusão independente sobre todo o setor. A alegação de resultados idênticos bit a bit também se aplica às configurações compatíveis do Prism descritas pela empresa. 5
8
Studio Global AI
Continue sua pesquisa
Esta página inclui uma resposta baseada na fonte que você pode continuar em Studio Global.
As pessoas também perguntam
Qual é a resposta curta para "O que o Prism muda — e o que mostram os testes de desempenho"?
A StartLux anunciou o Prism, um mecanismo de inferência de código aberto feito para seus modelos de decisão, que retornam resultados estruturados em vez de texto livre.
Quais são os pontos-chave para validar primeiro?
A StartLux anunciou o Prism, um mecanismo de inferência de código aberto feito para seus modelos de decisão, que retornam resultados estruturados em vez de texto livre. O sistema limita a pontuação às opções de resposta possíveis, reaproveita informações compartilhadas entre perguntas e usa operações inteiras para tornar os resultados reproduzíveis nas configurações compatíveis.
O que devo fazer a seguir na prática?
Os testes anteriores com vLLM já usavam cache de prefixo e pré processamento em blocos; a proposta do Prism é otimizar o processamento para tarefas de decisão, não simplesmente acrescentar cache.
Fontes
163.comDeepSeek之后，StartLux再来：开源首个决策模型推理引擎，推理快至5.3倍