5-кратне здешевлення токенів DeepSeek V4 на GPU Blackwell: як NVIDIA це зробила

Фреймворк інференсу NVIDIA Dynamo

Dynamo — це відкритий розподілений серверний фреймворк, який розділяє фази інференсу між різними GPU. Він відокремлює попереднє заповнення (prefill) від декодування (decode), інтелектуально маршрутизує запити до відповідного GPU, щоб уникнути надлишкових обчислень, і розширює пам'ять GPU за допомогою кешування на основі NVLink до економічно ефективних рівнів зберігання даних . Dynamo підтримує SGLang, TensorRT-LLM та vLLM, і нативно інтегрується з цими рушіями з відкритим кодом . Фреймворк може збільшити кількість оброблених запитів до 7 разів на NVIDIA Blackwell, як продемонстровано в бенчмарку SemiAnalysis InferenceX .

Оптимізації TensorRT-LLM

NVIDIA досягла 5-кратного зниження вартості одного токена лише за допомогою оптимізації TensorRT-LLM протягом двох місяців після запуску Blackwell, без зміни обладнання . У масштабі дата-центру 5-кратне зниження вартості одного токена означає п'ятикратне покращення здатності приносити дохід за тих самих інвестицій в інфраструктуру .

Розділене обслуговування (Disaggregated Serving)

Відокремлюючи фази попереднього заповнення (обробка вхідних даних) та декодування (генерація токенів) на різних GPU, розділене обслуговування усуває конкуренцію за ресурси і дозволяє оптимізувати кожну фазу незалежно для її специфічних потреб . Це основна функція фреймворку NVIDIA Dynamo .

Великомасштабний паралелізм експертів

DeepSeek V4 використовує архітектуру суміші експертів (Mixture-of-Experts, MoE) з 384 розподіленими експертами . Оптимізована маршрутизація розподіляє токени між цими експертами зі зменшенням надлишкових обчислень, підвищуючи ефективність у кластері GPU .

Паралельна комунікація на основі NVLink

Високошвидкісне з'єднання GPU від NVIDIA забезпечує ефективну комунікацію "всі з усіма" між експертами, що є критичним для моделей MoE, де паралелізм експертів вимагає частого обміну даними між GPU .

Точність NVFP4

Використання 4-бітної точності з плаваючою комою для інференсу зменшує вимоги до пропускної здатності пам'яті та обчислень без значної втрати точності . Для DeepSeek-V3.2 квантування NVFP4 від NVIDIA зменшило обсяг пам'яті в 1,7 раза порівняно з оригінальним форматом FP8 (415 ГБ проти 690 ГБ), що призвело до значного підвищення пропускної здатності та економічної ефективності .

Багатотокенове передбачення (Multi-Token Prediction, MTP)

MTP генерує кілька токенів за один прямий прохід, збільшуючи пропускну здатність. Перша підтримка MTP для DeepSeek V4 з'явилася на 3-й день від SGLang . Використовуючи MTP, SGLang пізніше перевищив 12 000 токенів/секунду на GPU на обладнанні GB300 NVL72 .

Оптимізовані ядра CUDA

Не всі оптимізації надійшли лише від NVIDIA. SemiAnalysis довелося виправити код запуску ядра mHC (manifold-constrained hyper-connection) з відкритого коду NVIDIA для нової архітектури DeepSeek V4, оскільки TensorRT-LLM спочатку погано працював з цією моделлю . Цей внесок спільноти був важливим для інференсу виробничої якості.

Рецепти обслуговування SGLang

Організація LMSYS Org досягла підтвердженого 5-кратного збільшення пропускної здатності на обладнанні NVIDIA GB300 NVL72 за допомогою SGLang, зістрибнувши з приблизно 2 200 до 11 200 токенів на секунду на GPU при приблизно 50 токенах на секунду на користувача . Матриця підтримки Dynamo від NVIDIA спеціально вказує lmsysorg/sglang:deepseek-v4-blackwell як підтримувану конфігурацію .

У поєднанні ці оптимізації забезпечують до 20 разів вищу пропускну здатність на один GPU на Blackwell .

Специфікації сімейства моделей DeepSeek V4

DeepSeek V4 вийшла 24 квітня 2026 року під ліцензією MIT як дворівневе сімейство моделей .

Джерела:

Архітектура гібридної уваги поєднує Стиснуту розріджену увагу (Compressed Sparse Attention, CSA) та Сильно стиснуту увагу (Heavily Compressed Attention, HCA), досягаючи лише 27% однопрохідних FLOPs інференсу DeepSeek-V3.2 при контексті в 1 млн токенів . Така ефективність робить мільйонні контексти агентних трактів обчислювально життєздатними.

Провайдери інференсу, які вже використовують ці оптимізації

Кілька провайдерів та рушіїв інференсу впровадили програмні оптимізації NVIDIA для DeepSeek V4 на Blackwell:

• LMSYS Org (SGLang) — досягла підтвердженого 5-кратного збільшення пропускної здатності на обладнанні NVIDIA GB300 NVL72 (23 червня 2026 року) . Матриця підтримки Dynamo від NVIDIA вказує lmsysorg/sglang:deepseek-v4-blackwell як підтримувану конфігурацію . SGLang також перевищив 12 000 токенів/секунду на GPU на тому ж обладнанні .
• NVIDIA NIM — власний стек мікросервісів інференсу NVIDIA пропонує кінцеві точки DeepSeek-V4-Pro через каталог API NVIDIA .
• vLLM — рушій інференсу з відкритим кодом, який додав підтримку DeepSeek V4 протягом кількох днів після запуску, інтегрований з NVIDIA Dynamo для розподіленого інференсу на GB200 .
• TensorRT-LLM — власний оптимізований середовище виконання NVIDIA, хоча раннє впровадження мало проблеми з кодом ядра mHC, які SemiAnalysis допомогла виправити .
• DeepInfra — пропонує кінцеві точки DeepSeek V4 Pro за ціною $0,435/млн вхідних і $0,87/млн вихідних токенів .
• Together AI, Fireworks AI, Baseten — у блозі NVIDIA зазначається широке розгортання через хмарні кінцеві точки з прискоренням GPU, причому ці провайдери зменшили вартість одного токена до 10 разів порівняно з Hopper .

За даними NVIDIA, такі провайдери, як Together AI та Baseten, зменшили вартість одного токена на 90% після переходу на Blackwell .

Економічне обґрунтування NVIDIA для агентних AI-навантажень

NVIDIA позиціонує вартість одного токена як найважливіший показник загальної вартості володіння (TCO) для інференсу — однозначно відкидаючи старіші метрики, такі як вартість за годину GPU або FLOPS за долар . Дженсен Хуанг заявив, що "вартість одного токена NVIDIA є найнижчою у світі" у квітні 2026 року, назвавши це "прямим результатом архітектурної досконалості та екстремального спільного проектування" .

Логіка цього зсуву метрик безпосередньо пов'язана з агентним AI:

Агентні навантаження вибухово споживають обчислювальні ресурси на інференсі

Коли AI переходить від одноразових відповідей до багатокрокових міркувань — планування, пошуку контексту, виклику інструментів, рефлексії та самокорекції — кількість токенів, згенерованих на один запит, може зрости в 100–1000 разів . Вартість однієї багатокрокової задачі агента може становити від $0,10 до $1,00 за обчислювальні ресурси інференсу . Аналіз Gartner від березня 2026 року підтвердив, що моделі агентного AI потребують у 5–30 разів більше токенів на задачу, ніж стандартні чат-боти .

Інференс тепер є домінуючим центром витрат

Галузеві оцінки свідчать, що 55–80% корпоративних витрат на GPU для AI припадає на інференс, а не на навчання . Deloitte оцінює, що у 2026 році на інференс припадає приблизно дві третини всіх обчислень AI, порівняно з однією третиною у 2023 році . Інференс також становить від 80 до 90 відсотків загальної вартості життєвого циклу виробничої AI-системи .

Програмна оптимізація розкриває величезну цінність без нового обладнання

NVIDIA прямо називає це стратегічною перевагою: "NVIDIA досягла 5-кратного зниження вартості одного токена завдяки оптимізації TensorRT-LLM лише протягом двох місяців після запуску Blackwell, без зміни обладнання" . У масштабі дата-центру 5-кратне зниження вартості одного токена безпосередньо визначає, чи стануть агентні AI-навантаження економічно життєздатними . Програмне забезпечення для інференсу NVIDIA продовжує знижувати вартість токенів ще довго після розгортання AI-інфраструктури .

Вартість одного токена — це "єдиний показник TCO, який має значення"

NVIDIA стверджує, що вартість одного токена є єдиним показником, який безпосередньо враховує продуктивність обладнання, оптимізацію програмного забезпечення, підтримку екосистеми та реальне використання . Компанія публікує "найнижчу вартість токена" як головну ціннісну пропозицію Blackwell . NVIDIA B200 досягає двох центів на мільйон токенів на GPT-OSS-120B, а архітектура знизила вартість мільйона токенів у 15 разів порівняно з попереднім поколінням .

Підсумовуючи, повідомлення NVIDIA зрозуміле: агентний AI потребує значно більше токенів інференсу на задачу; оптимізації інференсу на рівні програмного забезпечення на Blackwell можуть зменшити ці витрати на токени в 5 разів без нового обладнання, безпосередньо визначаючи, чи будуть масштабні агентні розгортання прибутковими .