AnswersPublished22 sources
StartLux Prism: чим спеціалізований рушій змінює роботу моделей рішень
StartLux представила Prism як рушій інференсу з відкритим кодом, створений спеціально для своїх моделей рішень. Prism звужує підрахунок варіантів відповіді, повторно використовує спільний контекст для кількох запитань і застосовує цілочисельні обчислення, які мають забезпечувати відтворюваність результатів у підтрим...
ОпублікувавВідредаговано за допомогою GPT-6 LunaЗображення створено за допомогою GPT Image 2
Research answer
Key takeaways
- StartLux представила Prism як рушій інференсу з відкритим кодом, створений спеціально для своїх моделей рішень.
- Prism звужує підрахунок варіантів відповіді, повторно використовує спільний контекст для кількох запитань і застосовує цілочисельні обчислення, які мають забезпечувати відтворюваність результатів у підтримуваних конфі...
- Попереднє розгортання v1.1 працювало на vLLM і вже мало кешування префіксів та обробку промптів частинами: відмінність Prism — у спеціалізації під задачі ухвалення рішень, а не просто в додаванні кешу.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did StartLux announce with its October 22, 2026 GitHub release of Prism, which it describes as the first open-source inference engine b. Article summary: StartLux announced Prism’s GitHub release on October 22, 2026, presenting it as the first open-source inference engine designed specifically for decision models, rather than general-purpose chat generation. Its claimed i. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
StartLux оголосила про відкриття коду Prism — рушія інференсу, розробленого для її моделей рішень. На відміну від чат-моделей, які генерують довільний текст, такі моделі повертають структуровані відповіді: наприклад, вибирають варіант, визначають категорію або оцінюють імовірності. Prism оптимізує саме такі запити. За даними компанії, це зменшує затримку, допомагає повторно використовувати спільні вхідні дані й робить результати відтворюваними. Наведені показники швидкодії отримані в тестах StartLux. 5
8
12
Для чого створили Prism
Моделі StartLux-Decision повертають типізовані рішення через API /v1/systemone; за потреби перед відповіддю вони можуть спершу сформувати міркування. Prism підтримує StartLux-Decision v1 і v1.1 AutoThink. У репозиторії зазначено, що моделі v1.1 Instant поки не підтримуються. 8
11
Попереднє розгортання v1.1 використовувало vLLM. У довідковій конфігурації вже були ввімкнені кешування префіксів і поетапна обробка промптів. Тож різниця не в тому, що vLLM узагалі не міг повторно використовувати спільний контекст. Prism натомість налаштований під специфіку запитів до моделей рішень: відповідь часто коротка, а кілька запитань можуть стосуватися того самого матеріалу. 6
22
Чотири ключові рішення в архітектурі
1. Оцінювати лише потрібні варіанти відповіді
Для моделі 27B StartLux наводить таке порівняння: універсальний рушій оцінює приблизно 248 000 токенів-кандидатів, тоді як у задачі з вибором відповіді може бути достатньо літер A–Z. Це близько 0,01% від кількості кандидатів у цьому етапі оцінювання, а не твердження, що загальні обчислення моделі зменшуються до 0,01%. 12
2. Повторно використовувати спільний контекст
Prism використовує так зване «лісове» пакетування: спільні інструкції та довідковий матеріал обробляються разом, а окремі запитання — як гілки, що спираються на спільну основу. Наприклад, кілька рішень щодо одного звернення клієнта можуть використовувати той самий текст звернення, замість того щоб опрацьовувати його заново для кожного запитання. 5
23
3. Застосовувати цілочисельні обчислення для відтворюваних результатів
У Prism матричні операції INT8 накопичуються в INT32. StartLux стверджує, що в підтримуваних конфігураціях це дає побітово відтворювані ймовірності незалежно від пакетування та кількості GPU. Йдеться про заявлену поведінку рушія Prism, а не про те, що результати INT8 завжди тотожні результатам BF16. 8
19
4. Поєднувати запити з міркуваннями й короткі запити
Моделі рішень можуть відповісти одразу або витратити час на міркування. Схема обслуговування Prism має давати змогу виконувати такі довші запити паралельно з короткими, щоб тривале міркування не затримувало всю іншу роботу. Опубліковані результати характеризують конкретну комбінацію моделі й рушія, а не гарантують однаковий час очікування в будь-якому середовищі. 3
23
Що показали тести StartLux
StartLux повідомляє про такі результати для конкретних моделей, обладнання та умов тестування:
- Одне коротке запитання на одному H200: затримка зменшилася з 53,1 мс до 19,0 мс — приблизно у 2,8 раза.
12
14
- Три запитання про спільний матеріал: заявлений час обробки знизився з 92,9 мс до 17,4 мс — приблизно у 5,3 раза.
- JevBench, 231 запитання: середня затримка Prism становила 41,0 мс, порівняно з 75,6 мс у SGLang, 112,7 мс у vLLM і 589 мс у llama.cpp.
- Чотири H200 у режимі паралелізму даних: за даними матеріалів про Prism, система обробляла 121 запит на секунду — приблизно у 3,92 раза більше, ніж одна GPU. У режимі паралелізму тензорів затримка для одного запитання, за повідомленням компанії, знизилася з 41 мс до 29 мс.
18
- Порівняння точності: на семи наборах оцінювання, що охоплювали 12 351 рішення, середня точність становила 92,94% для Prism INT8 і 92,97% для BF16. Різниця — 0,03 відсоткового пункта. Близькі середні значення не доводять, що кожна окрема відповідь збігається.
19
- Запуск на споживчій відеокарті: у репозиторії вказано, що 4-бітна модель 27B запускається на RTX 5090 із 32 ГБ пам’яті; у матеріалі про запуск розмір стисненої моделі зазначений як 16,55 ГБ.
8
Як читати ці цифри
Це результати вимірювань компанії для конкретних навантажень і конфігурацій, а не незалежне підтвердження того, що Prism буде швидшим за інші рушії в кожному середовищі. У документації StartLux описані моделі, обладнання та навантаження, використані в тестах, — ці відомості дають змогу оцінити порівняння або спробувати його відтворити. 1
Документація з тестування охоплює моделі StartLux-Decision v1 на 4B, 9B і 27B. У репозиторії Prism також зазначена підтримка v1 і v1.1 AutoThink, але не v1.1 Instant. Тому наведені результати не слід сприймати як єдиний тест усіх варіантів моделей. 1
8
11
Нарешті, формулювання «перший рушій із відкритим кодом для моделей рішень» — це опис Prism від StartLux, а не незалежно підтверджений висновок про всю галузь. Так само твердження про побітову ідентичність стосується підтримуваних конфігурацій Prism, описаних компанією. 5
8
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "StartLux Prism: чим спеціалізований рушій змінює роботу моделей рішень"?
StartLux представила Prism як рушій інференсу з відкритим кодом, створений спеціально для своїх моделей рішень.
What are the key points to validate first?
StartLux представила Prism як рушій інференсу з відкритим кодом, створений спеціально для своїх моделей рішень. Prism звужує підрахунок варіантів відповіді, повторно використовує спільний контекст для кількох запитань і застосовує цілочисельні обчислення, які мають забезпечувати відтворюваність результатів у підтримуваних конфі...
What should I do next in practice?
Попереднє розгортання v1.1 працювало на vLLM і вже мало кешування префіксів та обробку промптів частинами: відмінність Prism — у спеціалізації під задачі ухвалення рішень, а не просто в додаванні кешу.
Sources
163.comDeepSeek之后，StartLux再来：开源首个决策模型推理引擎，推理快至5.3倍