Как NVIDIA снизила стоимость инференса DeepSeek V4 на Blackwell в 5 раз: полный разбор оптимизаций

Фреймворк инференса NVIDIA Dynamo

Dynamo — это фреймворк с открытым исходным кодом для распределенного serving, который разделяет фазы инференса между разными GPU. Он отделяет prefill от decode, интеллектуально направляет запросы на нужный GPU, избегая избыточных вычислений, и расширяет память GPU за счет кэширования на экономичные уровни хранения через NVLink . Dynamo поддерживает SGLang, TensorRT-LLM и vLLM и нативно интегрируется с этими движками . Фреймворк способен увеличить количество обслуженных запросов до 7 раз на NVIDIA Blackwell, как показано в бенчмарке SemiAnalysis InferenceX .

Оптимизации TensorRT-LLM

NVIDIA добилась пятикратного снижения стоимости токена за счет одной только оптимизации TensorRT-LLM в течение двух месяцев после запуска Blackwell, без изменения оборудования . В масштабе дата-центра пятикратное снижение стоимости токена означает пятикратное увеличение потенциала генерации выручки при тех же инвестициях в инфраструктуру .

Разделенный serving (disaggregated serving)

Разделяя фазы prefill (обработка входа) и decode (генерация токенов) между разными GPU, разделенный serving устраняет конкуренцию за ресурсы и позволяет оптимизировать каждую фазу независимо для ее конкретных нужд . Это ключевая функция фреймворка NVIDIA Dynamo .

Крупномасштабный параллелизм экспертов (expert parallelism)

DeepSeek V4 использует архитектуру Mixture-of-Experts (MoE) с 384 распределенными экспертами . Оптимизированная маршрутизация распределяет токены между этими экспертами, сокращая избыточные вычисления и повышая эффективность работы кластера GPU .

Параллельная связь на базе NVLink

Высокоскоростной интерконнект GPU от NVIDIA обеспечивает эффективную связь «все со всеми» между экспертами, что критически важно для MoE-моделей, где параллелизм экспертов требует частого обмена данными между GPU .

Точность NVFP4

Использование 4-битной точности с плавающей запятой для инференса снижает требования к пропускной способности памяти и вычислительным ресурсам без значительной потери точности . Для DeepSeek-V3.2 квантование NVFP4 от NVIDIA уменьшило объем памяти в 1,7 раза по сравнению с исходным форматом FP8 (415 ГБ против 690 ГБ), что привело к значительному повышению пропускной способности и экономической эффективности .

Multi-Token Prediction (MTP)

MTP генерирует несколько токенов за один прямой проход, увеличивая пропускную способность. Первая поддержка MTP для DeepSeek V4 появилась на третий день от SGLang . Используя MTP, SGLang позже превысил 12 000 токенов/с на GPU на оборудовании GB300 NVL72 .

Оптимизированные CUDA-ядра

Не все оптимизации пришли от самой NVIDIA. SemiAnalysis пришлось исправить код запуска ядра mHC (manifold-constrained hyper-connection) с открытым исходным кодом для новой архитектуры DeepSeek V4, поскольку TensorRT-LLM изначально работал с моделью плохо . Этот вклад сообщества оказался критически важным для производственного качества инференса.

Рецепты serving от SGLang

Организация LMSYS Org добилась проверенного пятикратного увеличения пропускной способности на оборудовании NVIDIA GB300 NVL72 с помощью SGLang — с примерно 2 200 до 11 200 токенов в секунду на GPU при примерно 50 токенах в секунду на пользователя . Матрица поддержки NVIDIA Dynamo явно указывает lmsysorg/sglang:deepseek-v4-blackwell как поддерживаемую конфигурацию .

В совокупности эти оптимизации обеспечивают до 20-кратного увеличения пропускной способности на GPU на Blackwell .

Характеристики семейства моделей DeepSeek V4

DeepSeek V4 была выпущена 24 апреля 2026 года под лицензией MIT как двухуровневое семейство моделей .

Источники:

Архитектура гибридного внимания объединяет Compressed Sparse Attention (CSA) и Heavily Compressed Attention (HCA), достигая всего 27% от FLOPs однопотокового инференса DeepSeek-V3.2 при контексте в 1 млн токенов . Именно эта эффективность делает миллионные контексты для агентных задач вычислительно доступными.

Провайдеры инференса, уже использующие эти оптимизации

Ряд провайдеров и движков инференса уже внедрили программные оптимизации NVIDIA для DeepSeek V4 на Blackwell:

• LMSYS Org (SGLang) — добилась проверенного пятикратного увеличения пропускной способности на оборудовании NVIDIA GB300 NVL72 (23 июня 2026 г.) . Матрица поддержки NVIDIA Dynamo включает lmsysorg/sglang:deepseek-v4-blackwell как поддерживаемую конфигурацию . SGLang также превысила 12 000 токенов/с на GPU на том же оборудовании .
• NVIDIA NIM — собственный стек микросервисов инференса NVIDIA предлагает конечные точки DeepSeek-V4-Pro через каталог API NVIDIA .
• vLLM — движок с открытым исходным кодом, выпустивший поддержку DeepSeek V4 в течение нескольких дней после запуска, интегрированный с NVIDIA Dynamo для распределенного инференса на GB200 .
• TensorRT-LLM — собственная оптимизированная среда выполнения NVIDIA, хотя на раннем этапе были проблемы с кодом ядра mHC, которые помогла исправить SemiAnalysis .
• DeepInfra — предлагает конечные точки DeepSeek V4 Pro по цене $0,435/млн входных токенов и $0,87/млн выходных токенов .
• Together AI, Fireworks AI, Baseten — в блоге NVIDIA отмечается широкое развертывание через GPU-ускоренные облачные конечные точки; эти провайдеры снизили стоимость токена до 10 раз по сравнению с Hopper .

По данным NVIDIA, такие провайдеры, как Together AI и Baseten, снизили стоимость токена до 90% по сравнению с Hopper после внедрения Blackwell .

Экономическое обоснование NVIDIA для нагрузок агентного ИИ

NVIDIA называет стоимость токена самым важным показателем совокупной стоимости владения (TCO) для инференса, решительно отвергая более старые метрики, такие как стоимость часа GPU или FLOPS на доллар . Дженсен Хуанг заявил в апреле 2026 года, что «стоимость токена NVIDIA — самая низкая в мире», назвав это «прямым результатом архитектурного совершенства и экстремального совместного проектирования» .

Обоснование этого сдвига метрик напрямую связано с агентным ИИ:

Агентные нагрузки взрывоопасны в плане вычислительных затрат на инференс

По мере перехода ИИ от одноразовых ответов к многошаговым рассуждениям — планированию, извлечению контекста, вызову инструментов, рефлексии и самокоррекции — количество токенов, генерируемых на один запрос, может увеличиться в 100–1000 раз . Выполнение одного многошагового агентного задания может стоить от $0,10 до $1,00 в вычислительных ресурсах инференса . Анализ Gartner от марта 2026 года подтвердил, что моделям агентного ИИ требуется в 5–30 раз больше токенов на задачу, чем стандартным чат-ботам .

Инференс теперь является доминирующей статьей расходов

Отраслевые оценки показывают, что 55–80% корпоративных затрат на GPU для ИИ приходится на инференс, а не на обучение . Deloitte оценивает, что в 2026 году на инференс приходится примерно две трети всех вычислительных мощностей ИИ по сравнению с одной третью в 2023 году . На инференс также приходится от 80 до 90 процентов совокупной стоимости владения производственной AI-системой .

Программная оптимизация открывает огромную ценность без нового оборудования

NVIDIA прямо называет это стратегическим преимуществом: «NVIDIA добилась пятикратного снижения стоимости токена за счет одной лишь оптимизации TensorRT-LLM в течение двух месяцев после запуска Blackwell, без изменения оборудования» . В масштабе дата-центра пятикратное снижение стоимости токена напрямую определяет, станут ли нагрузки агентного ИИ экономически жизнеспособными . Программное обеспечение NVIDIA для инференса продолжает снижать стоимость токенов еще долго после развертывания AI-инфраструктуры .

Стоимость токена — «единственный значимый показатель TCO»

NVIDIA утверждает, что стоимость токена — это единственный показатель, который напрямую учитывает производительность оборудования, программную оптимизацию, поддержку экосистемы и реальное использование . Компания публикует «самую низкую стоимость токена» как главное ценностное предложение Blackwell . NVIDIA B200 достигает двух центов за миллион токентов на GPT-OSS-120B, а архитектура снизила стоимость миллиона токентов в 15 раз по сравнению с предыдущим поколением .

Резюмируя, посыл NVIDIA ясен: агентный ИИ требует радикально больше токенов на задачу; программные оптимизации инференса на Blackwell могут сократить стоимость этих токенов в 5 раз без нового оборудования, напрямую определяя рентабельность крупномасштабных агентных развертываний .