DeepSeek открыла доступ к части программного обеспечения, на котором, по словам компании, работают её производственные сервисы. Речь о DeepInfer — движке для запуска модели — и сопутствующем компоненте deepseek-recipe, который обрабатывает запросы и преобразует данные для модели.
3
4
33 Главная оговорка для бизнеса: опубликованная версия предназначена для офлайн-инференса, а не является готовой заменой размещённому API DeepSeek.
3
4
Что входит в выпуск
DeepInfer — фреймворк для инференса: он позволяет запускать уже обученную модель и получать от неё ответы. На старте поддерживается DeepSeek-V4.1-Flash, а лицензия Apache 2.0 допускает коммерческое использование кода.
4
5
Возможности, перечисленные в документации, включают распределённый инференс, оптимизированные вычислительные ядра, спекулятивное декодирование, асинхронное планирование, пакетно-инвариантный инференс и структурированный вывод.
33
34 Последняя функция позволяет, например, ограничить ответ заданным форматом — схемой JSON, регулярным выражением или грамматикой EBNF.
29
30
Deepseek-recipe — сопутствующий компонент для преобразования запросов в представление, понятное модели, и обработки её ответов. Источники описывают поддержку привычных форматов API-запросов, но это само по себе не означает полной совместимости со всеми возможностями размещённого API DeepSeek.
3
9
Какие модель и ускорители поддерживаются
В первой версии указана одна модель — DeepSeek-V4.1-Flash — и два типа ускорителей: графические процессоры NVIDIA SM100 и нейропроцессоры Huawei Ascend 950.
3
5 Это не подтверждает поддержку любых видеокарт NVIDIA или других ускорителей Huawei: совместимость с конкретными моделями сверх перечисленных в источниках не установлена.
Что известно о скорости и стоимости
DeepSeek позиционирует DeepInfer как высокопроизводительный фреймворк. Bloomberg отмечает, что открытое ПО может сделать запуск моделей компании дешевле и доступнее для бизнеса за счёт более эффективного использования вычислительных ресурсов.
33
45 Это потенциальная польза, а не гарантия конкретной экономии, меньшего энергопотребления, задержки ответа или определённой пропускной способности в любой инфраструктуре.
В публикациях приводится показатель DeepSeek — 155 триллионов токенов в день на кластер. Однако доступные материалы не подтверждают его независимыми измерениями и не дают достаточных оснований для прямого сравнения с другими системами.
1
5 The Next Web также пишет, что заявления о скорости пока не прошли независимую проверку.
49
Почему это ещё не готовый онлайн-сервис
Открытая версия DeepInfer обеспечивает офлайн-инференс. В описаниях выпуска также отмечается, что в нём нет ряда компонентов, необходимых для организации полноценной подачи запросов: управления KV-кешем, разделения этапов обработки входного запроса и генерации токенов (prefill/decode disaggregation), а также балансировки нагрузки между репликами.
4
7
Поэтому команде, которая хочет запустить многопользовательский сервис в реальном времени, понадобятся дополнительные инструменты и инженерная работа. DeepInfer скорее подойдёт организациям с опытом создания инфраструктуры для инференса, чем тем, кто ищет готовый облачный сервис. Будет ли самостоятельное размещение дешевле, зависит от оборудования и затрат на эксплуатацию: сам факт выпуска фреймворка этого не доказывает.
Главное для бизнеса
DeepInfer открывает доступ к движку для запуска DeepSeek-V4.1-Flash, а deepseek-recipe добавляет слой обработки запросов и ответов. Для команд, которые строят собственную инфраструктуру, это новые строительные блоки для самостоятельного размещения модели. Но заявленные оптимизации стоит отличать от результатов независимых тестов, а офлайн-инференс — от готового надёжного онлайн-сервиса.
3
4
33
49