ОтветыОпубликовано22 источники
Prism ускоряет модели решений — но результаты пока основаны на тестах StartLux
StartLux представила Prism — открытый движок инференса, созданный для моделей, которые выдают структурированные решения, а не свободный текст. Prism сокращает перебор вариантов ответа, повторно использует общий контекст для нескольких вопросов и применяет целочисленные вычисления для воспроизводимости результатов в...
ОпубликовалОтредактировано с помощью GPT-6 LunaИзображения созданы с помощью GPT Image 2
Ответ на исследование
Ключевые выводы
- StartLux представила Prism — открытый движок инференса, созданный для моделей, которые выдают структурированные решения, а не свободный текст.
- Prism сокращает перебор вариантов ответа, повторно использует общий контекст для нескольких вопросов и применяет целочисленные вычисления для воспроизводимости результатов в поддерживаемых конфигурациях.
- В прежней конфигурации StartLux Decision v1.1 уже использовался vLLM с кешированием префиксов и chunked prefill: отличие Prism — в оптимизации под задачи принятия решений, а не просто в добавлении кеша.
Промпт ИИ
openai.comCreate a landscape editorial hero image for this Studio Global article: What did StartLux announce with its October 22, 2026 GitHub release of Prism, which it describes as the first open-source inference engine b. Article summary: StartLux announced Prism’s GitHub release on October 22, 2026, presenting it as the first open-source inference engine designed specifically for decision models, rather than general-purpose chat generation. Its claimed i. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
StartLux объявила об открытом движке инференса Prism, разработанном специально для моделей решений. В отличие от чат-моделей, которые генерируют свободный текст, такие модели возвращают структурированные результаты: например, выбирают вариант, присваивают категорию или оценивают вероятности. StartLux заявляет, что Prism снижает задержку, повторно использует общие входные данные и обеспечивает воспроизводимость ответов. Однако приведённые показатели получены в тестах самой компании. 5
8
12
Для каких задач создан Prism
Модели StartLux-Decision выдают типизированные решения через API /v1/systemone; перед ответом они также могут рассуждать. Prism поддерживает модели StartLux-Decision v1 и v1.1 AutoThink. Версия v1.1 Instant пока не поддерживается. 8
11
В прежнем развёртывании v1.1 использовался vLLM. В эталонной конфигурации StartLux уже были включены кеширование префиксов и chunked prefill — обработка длинного ввода порциями. Поэтому разница не в том, что vLLM вообще не умел повторно использовать общий контекст. Prism настроен именно под задачи решений, где ответ может быть коротким, а один запрос — включать несколько вопросов по одному и тому же материалу. 6
22
Четыре особенности архитектуры
1. Оценка только подходящих вариантов ответа
Для модели 27B, по данным StartLux, универсальный движок оценивает около 248 000 токенов-кандидатов, тогда как в задаче выбора может быть достаточно букв A–Z. На этом этапе число оцениваемых вариантов составляет примерно 0,01% от исходного. Это не означает, что общие вычисления при инференсе всей модели сокращаются до 0,01%. 12
2. Повторное использование общего контекста
В Prism применяется пакетирование по принципу «дерева»: общие инструкции и справочный материал обрабатываются совместно, а отдельные вопросы формируют свои ветви. Благодаря этому общую часть ввода можно не обрабатывать заново для каждого вопроса. Например, несколько решений по одной заявке клиента могут опираться на один и тот же текст заявки. 5
23
3. Целочисленные вычисления для повторяемых результатов
В матричных операциях Prism использует INT8 с накоплением в INT32. StartLux утверждает, что в поддерживаемых конфигурациях это позволяет получать побитово воспроизводимые вероятности при разных способах пакетирования и работе на нескольких GPU. Речь идёт о повторяемости результатов в поддерживаемой среде Prism, а не о гарантии полного совпадения INT8 с BF16 во всех случаях. 8
19
4. Планирование запросов с рассуждением и коротких ответов
Модель может ответить сразу или сначала потратить время на рассуждение. Архитектура Prism призвана обслуживать задачи с рассуждением параллельно с короткими запросами, чтобы длительная обработка не задерживала всю очередь коротких ответов. Опубликованные результаты относятся к конкретной модели и конфигурации движка; их не следует трактовать как универсальную гарантию времени ожидания. 3
23
Что показывают тесты StartLux
Компания приводит следующие результаты для конкретных моделей, оборудования и сценариев:
- Один короткий вопрос на одном H200: задержка снизилась с 53,1 до 19,0 мс — примерно в 2,8 раза.
12
14
- Три вопроса по общему материалу: заявленная задержка сократилась с 92,9 до 17,4 мс, то есть примерно в 5,3 раза.
- JevBench, 231 вопрос: средняя задержка Prism составила 41,0 мс. Для сравнения, StartLux сообщает о 75,6 мс у SGLang, 112,7 мс у vLLM и 589 мс у llama.cpp.
- Четыре H200 в режиме data parallel: в публикациях о тестах StartLux указана пропускная способность 121 запрос в секунду — примерно в 3,92 раза выше, чем на одном GPU. В режиме tensor parallel задержка ответа на один вопрос, по сообщению компании, снизилась с 41 до 29 мс.
18
- Сравнение точности: на семи наборах оценки и 12 351 решении средняя точность составила 92,94% у Prism INT8 и 92,97% у BF16. Разница — 0,03 процентного пункта. Близкие средние значения не доказывают, что каждый отдельный ответ совпадает.
19
- Запуск на потребительской видеокарте: в репозитории указано, что 4-битная модель 27B запускается на RTX 5090 с 32 ГБ видеопамяти. В материалах о запуске размер сжатой модели указан как 16,55 ГБ.
8
Как оценивать эти цифры
Это измерения компании для конкретных моделей, оборудования и рабочих нагрузок, а не независимое подтверждение того, что Prism будет быстрее других движков в любом окружении. В документации StartLux описаны тестовые конфигурации, модели и сценарии, чтобы читатели могли оценить сравнения и попытаться их воспроизвести. 1
Документация по тестам охватывает модели StartLux-Decision v1 размером 4B, 9B и 27B. В репозитории Prism также перечислена поддержка v1 и v1.1 AutoThink, тогда как v1.1 Instant пока не поддерживается. Поэтому результаты нельзя считать единым тестом всех вариантов моделей. 1
8
11
Наконец, формулировка «первый открытый движок для моделей решений» — заявление StartLux о Prism, а не независимо установленный факт обо всей отрасли. Аналогично, заявление о побитово идентичных результатах относится к поддерживаемым конфигурациям Prism, описанным компанией. 5
8
Studio Global AI
Продолжайте свое исследование
На этой странице есть ответ, подтвержденный источником, который вы можете продолжить внутри Studio Global.
Люди также спрашивают
Каков краткий ответ на вопрос «Prism ускоряет модели решений — но результаты пока основаны на тестах StartLux»?
StartLux представила Prism — открытый движок инференса, созданный для моделей, которые выдают структурированные решения, а не свободный текст.
Какие ключевые моменты необходимо проверить в первую очередь?
StartLux представила Prism — открытый движок инференса, созданный для моделей, которые выдают структурированные решения, а не свободный текст. Prism сокращает перебор вариантов ответа, повторно использует общий контекст для нескольких вопросов и применяет целочисленные вычисления для воспроизводимости результатов в поддерживаемых конфигурациях.
Что мне делать дальше на практике?
В прежней конфигурации StartLux Decision v1.1 уже использовался vLLM с кешированием префиксов и chunked prefill: отличие Prism — в оптимизации под задачи принятия решений, а не просто в добавлении кеша.
Источники
163.comDeepSeek之后，StartLux再来：开源首个决策模型推理引擎，推理快至5.3倍