ОтветыОпубликовано18 источники
Как Cambricon вывела DeepSeek-V4.1-Flash в vLLM в день релиза
Cambricon заявляет, что в день публикации DeepSeek V4.1 Flash обеспечила запуск модели на ускорителях MLU через открытый инференс стек vLLM, объединив NeuWare, Torch MLU Ops и оптимизированные ядра BangC.[13] DeepSeek V4.1 Flash — мультимодальная MoE модель с 552 млрд параметров основной сети: при обработке запроса...
ОпубликовалОтредактировано с помощью GPT-5.6 TerraИзображения созданы с помощью GPT Image 2
Ответ на исследование
Ключевые выводы
- Cambricon заявляет, что в день публикации DeepSeek V4.1 Flash обеспечила запуск модели на ускорителях MLU через открытый инференс стек vLLM, объединив NeuWare, Torch MLU Ops и оптимизированные ядра BangC.[13]
- DeepSeek V4.1 Flash — мультимодальная MoE модель с 552 млрд параметров основной сети: при обработке запроса активируется около 8 млрд параметров на токен, при генерации — около 16 млрд.[5][8]
- DeepSeek сообщает о 890 байтах глобального KV кэша на токен — примерно четверти от DeepSeek V4 Flash.
Промпт ИИ
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Cambricon achieve Day-0, production-ready enablement of DeepSeek-V4.1-Flash on the open-source vLLM inference stack using NeuWare, T. Article summary: Cambricon’s claimed Day‑0 result is primarily a software-integration achievement: it brought the new model up on the public vLLM serving path rather than requiring customers to wait for a private, hardware-specific port.. Topic tags: general, general web, documentation, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
Cambricon называет это поддержкой Day 0: DeepSeek-V4.1-Flash стала доступна на её ускорителях MLU через открытый стек инференса vLLM в день публикации чекпойнта. По данным компании, интеграция опирается на рантайм NeuWare, библиотеку Torch-MLU-Ops и оптимизированные ядра BangC.13
Практический смысл здесь не в том, что веса модели просто удалось загрузить. Для реального развёртывания нужны совместимый рантайм ускорителя, реализации операторов фреймворка, поддержка распределённого исполнения и быстрые ядра для самых ресурсоёмких частей вычислений.
Из чего сложилась интеграция
Cambricon описывает три уровня программного стека:
- NeuWare — программная среда выполнения для ускорителей MLU.
- Torch-MLU-Ops — набор операторов с поддержкой MLU; в материалах об интеграции упоминается ускорение структур Engram и Compressor.
9
- BangC — язык гетерогенного параллельного программирования Cambricon для написания высокопроизводительных программ под архитектуру MLU.
18
Такой набор позволяет использовать аппаратно-специфичный бэкенд внутри привычного vLLM, а не превращать весь путь сервинга в закрытое разовое решение. Cambricon также указывает среди направлений оптимизации vLLM низкобитный смешанный инференс, оптимизацию параллелизма, масштабный экспертный параллелизм и раздельное развёртывание стадий prefill и decode.18
Почему DeepSeek-V4.1-Flash непроста для сервинга
DeepSeek-V4.1-Flash — мультимодальная модель типа Mixture-of-Experts (MoE), работающая с текстом и изображениями. Её основная сеть насчитывает 552 млрд параметров, ещё 196 млрд параметров относятся к памяти Engram; заявлена поддержка контекста до 1 млн токенов.5
8
Однако для эксплуатации важнее не только общий размер модели, но и число параметров, задействованных в конкретном вычислении. По данным DeepSeek, на стадии prefill — первичной обработки промпта — активируется примерно 8 млрд параметров на токен, а на стадии decode, то есть генерации ответа, — около 16 млрд.8
Это не означает автоматически низкую стоимость любого запуска: итоговые требования зависят от точности весов, размера пакета, длины контекста, доступной памяти, обмена данными между ускорителями и профиля нагрузки. Но асимметрия стадий важна для промпт-нагруженных сценариев, включая агентные системы.
Архитектура Causal Encoder–Decoder
В модели используется 40-слойная схема Causal Encoder–Decoder (CED): 20 слоёв каузального энкодера и 20 слоёв декодера. Глобальные ключи и значения KV для декодера проецируются из финальных скрытых состояний энкодера, а не рассчитываются независимо на каждом слое декодера.5
8
Именно это влияет на потребление памяти при длинном контексте. Во время генерации модель хранит KV-кэш — состояние, необходимое для обращения к уже обработанным токенам. На длинных диалогах и документах этот кэш нередко становится главным ограничением по памяти.
890 байт KV-кэша на токен: что заявляет DeepSeek
По данным DeepSeek, сочетание повторного использования KV-кэша между слоями в Compressed Sparse Attention 2 и FP4-кэширования сокращает объём глобального KV-кэша, постоянно находящегося в HBM-памяти, до 890 байт на токен. Это примерно четверть от соответствующего показателя DeepSeek-V4-Flash.7
8
Отдельно технология SWA Bounded Replay, согласно техническим материалам, уменьшает объём постоянно сохраняемого KV-кэша в SSD или оперативной памяти хоста примерно до одной восьмой от уровня V4-Flash.7
Для оператора кластера это означает потенциально больше одновременных сессий в том же бюджете памяти — особенно в задачах с длинными контекстами и изображениями. Но важно не переоценивать эти цифры: это заявленные DeepSeek характеристики архитектуры модели, а не независимые замеры пропускной способности, задержки, качества, отказоустойчивости или стоимости на конкретном кластере Cambricon.
Как оптимизации помогают обслуживать большую MoE-модель
В материалах Cambricon перечислены несколько подходов, актуальных для vLLM-сервинга крупных MoE-моделей.18
- Смешанная и низкая точность уменьшают объём памяти и трафик данных для весов и активаций.
- Оптимизация параллелизма и крупномасштабный экспертный параллелизм распределяют вычисления модели и работу маршрутизируемых экспертов между ускорителями.
- Перекрытие коммуникаций вычислениями призвано сократить простой устройств, пока между узлами передаются данные коллективных операций или маршрутизации экспертов.
- Разделение prefill и decode позволяет отдельно подбирать ресурсы и настройки для обработки длинного входа и для пошаговой генерации токенов.
Эти техники решают разные части одной задачи. Prefill обычно сильнее зависит от объёма промпта и пропускной способности памяти, тогда как decode — итеративная стадия, чувствительная к задержке. MoE, в свою очередь, добавляет накладные расходы на распределённую маршрутизацию экспертов. Цель — не только рост пикового числа FLOPS, а более равномерная загрузка и предсказуемая работа сервиса при параллельных запросах.
Публичные материалы при этом не содержат воспроизводимых измерений DeepSeek-V4.1-Flash на оборудовании Cambricon: нет подробных данных о пропускной способности, задержках, топологии кластера, качестве ответа и SLA. Поэтому формулировку «готово к продакшену» разумно понимать как наличие поддерживаемого пути развёртывания, а не как гарантию одинакового результата для любого контекста, квантизации или конфигурации кластера.
Что означает членство в PyTorch Foundation
8 сентября 2026 года PyTorch Foundation сообщила, что Cambricon присоединилась к фонду в статусе платинового участника.49 Отдельно фонд отметил работу Cambricon с сообществом vLLM над поддержкой Day 0 для открытых моделей, включая DeepSeek-V4 и GLM-5.
57
Главный сигнал — ориентация на совместимость с публичной экосистемой PyTorch и vLLM. Для пользователей поддержка ускорителя ценнее, когда она доступна через распространённые фреймворки и инструменты сервинга, а не требует поддерживать отдельный вендорский стек. Само членство, конечно, не гарантирует апстрим-поддержку каждой модели или функции, но подтверждает заявленный вектор Cambricon на интеграцию с экосистемой PyTorch.
Какие ещё семейства моделей упоминает Cambricon
В программных материалах Cambricon перечисляются работы с DeepSeek V3/V3.1, Qwen2.5, Qwen3, Qwen3-Next, GLM-4.5, Qwen3-VL, Flux, Wan 2.1/2.2 и Hunyuan-Video.18
Однако этот перечень объединяет поддержку обучения и более общие программные оптимизации. Он не доказывает, что каждая из этих моделей имеет тот же статус Day 0 и production-инференса через vLLM, что заявлен для DeepSeek-V4.1-Flash. Точные параметры — версия модели, режим точности, мультимодальность и доступность в день релиза — следует проверять для каждого конкретного выпуска.
Почему доступность в день релиза важна операторам
Совместимость с моделью в день её выхода сокращает промежуток между публикацией весов и контролируемой оценкой на уже установленной инфраструктуре. Открытый путь через vLLM даёт командам знакомую основу для планирования ёмкости, маршрутизации запросов, наблюдаемости, тестов квантизации и интеграции с существующими сервисами.
Для DeepSeek-V4.1-Flash это особенно актуально из-за заявленной экономии KV-кэша: при длинных контекстах именно HBM для активных сессий и хранилище либо память хоста для повторного использования кэша часто определяют плотность размещения нагрузки.7
8
В более широком смысле новость не доказывает универсальное превосходство одной платформы и не заменяет собственные нагрузочные испытания. Она показывает другое: когда рантайм, операторы фреймворка, оптимизированные ядра, распределённое выполнение и инструменты сервинга подготовлены заранее, поддержка нового открытого ИИ-моделя может появляться ближе к моменту релиза, а не после долгого закрытого портирования.
Studio Global AI
Продолжайте свое исследование
На этой странице есть ответ, подтвержденный источником, который вы можете продолжить внутри Studio Global.
Люди также спрашивают
Каков краткий ответ на вопрос «Как Cambricon вывела DeepSeek-V4.1-Flash в vLLM в день релиза»?
Cambricon заявляет, что в день публикации DeepSeek V4.1 Flash обеспечила запуск модели на ускорителях MLU через открытый инференс стек vLLM, объединив NeuWare, Torch MLU Ops и оптимизированные ядра BangC.[13]
Какие ключевые моменты необходимо проверить в первую очередь?
Cambricon заявляет, что в день публикации DeepSeek V4.1 Flash обеспечила запуск модели на ускорителях MLU через открытый инференс стек vLLM, объединив NeuWare, Torch MLU Ops и оптимизированные ядра BangC.[13] DeepSeek V4.1 Flash — мультимодальная MoE модель с 552 млрд параметров основной сети: при обработке запроса активируется около 8 млрд параметров на токен, при генерации — около 16 млрд.[5][8]
Что мне делать дальше на практике?
DeepSeek сообщает о 890 байтах глобального KV кэша на токен — примерно четверти от DeepSeek V4 Flash.