DeepSeek опублікувала DeepInfer — програмний рушій, який, за словами компанії, лежить в основі її виробничих сервісів. Разом із ним вийшов deepseek-recipe — супутній компонент для обробки запитів і токенів. Але є важливе уточнення: відкритий реліз призначений для офлайн-інференсу, а не є готовою заміною хостингового API DeepSeek.
3
4
33
Що саме відкрила DeepSeek
DeepInfer — це фреймворк для запуску вже навченої моделі й генерації відповідей. На момент релізу він підтримує DeepSeek-V4.1-Flash і поширюється за ліцензією Apache 2.0.
4
5
У переліку можливостей — розподілений інференс, оптимізовані обчислювальні ядра, спекулятивне декодування, асинхронне планування, пакетно-інваріантний інференс і структурований вивід.
33
34 Останній дає змогу обмежувати формат відповіді, наприклад схемою JSON, регулярним виразом або граматикою EBNF.
29
30
Deepseek-recipe доповнює рушій: він допомагає перетворювати запити на вхідні дані для моделі, а її результати — на відповіді для клієнта. У матеріалах згадана підтримка поширених форматів API-запитів, але сама собою вона не означає повної сумісності з усіма функціями хостингового API DeepSeek.
3
9
Які модель і обладнання підтримуються
У першому релізі вказано одну модель — DeepSeek-V4.1-Flash — і два типи прискорювачів: графічні процесори NVIDIA SM100 та нейропроцесори Huawei Ascend 950.
3
5 Це не підтверджує сумісність з усіма відеокартами NVIDIA чи прискорювачами Huawei, а доступні джерела не уточнюють підтримку окремих моделей плат.
Ефективність: потенційна перевага, а не гарантія
DeepSeek позиціонує DeepInfer як високопродуктивний фреймворк. Bloomberg пише, що таке ПЗ потенційно може зробити запуск моделей компанії дешевшим і доступнішим для бізнесу завдяки ефективнішому використанню обчислювальних ресурсів.
33
45 Однак це очікувана перевага, а не обіцянка конкретного скорочення витрат, енергоспоживання чи затримки для кожного розгортання.
У публікаціях також фігурує заявлений DeepSeek показник — 155 трильйонів токенів на добу на кластер. Доступні матеріали не містять незалежної перевірки цього числа й не дають достатньо деталей, щоб напряму порівнювати його з показниками інших систем.
1
5 The Next Web також зазначає, що дані DeepSeek про швидкодію ще не пройшли незалежного тестування.
49
Чому це ще не готовий онлайн-сервіс
Відкритий реліз забезпечує офлайн-інференс. У матеріалах про документацію для розгортання також зазначено, що до нього не входять кілька важливих компонентів для сервісу: керування KV-кешем, розділення обробки вхідного запиту та генерації токенів (prefill/decode disaggregation), а також балансування навантаження між репліками.
4
7
Отже, командам, які хочуть запустити сервіс для багатьох користувачів, доведеться самостійно подбати про додаткову інфраструктуру. DeepInfer радше підійде організаціям із досвідом роботи з інференсом і обчислювальними кластерами, ніж тим, хто шукає готовий сервіс хостингу. Чи буде самостійний запуск дешевшим, залежатиме від вартості обладнання й операційної роботи — сам реліз відповіді на це не дає.
Що варто врахувати бізнесу
DeepInfer відкриває доступ до рушія для запуску DeepSeek-V4.1-Flash, а deepseek-recipe додає інструменти для обробки запитів і відповідей. Разом вони дають інфраструктурним командам більше складників для самостійного розгортання моделі, але рекламовані оптимізації варто відрізняти від незалежно виміряних результатів. А перетворення офлайн-інференсу на надійний онлайн-сервіс потребуватиме додаткових інженерних рішень.
3
4
33
49