Pětinásobné zlevnění AI díky softwaru: NVIDIA optimalizovala DeepSeek V4 na Blackwellu

Framework NVIDIA Dynamo

Dynamo je open-source distribuovaný framework, který odděluje jednotlivé fáze inference na různé GPU. Prefill (zpracování vstupu) odděluje od decode (generování tokenů), inteligentně směruje požadavky na správné GPU, aby se zabránilo nadbytečným výpočtům, a pomocí NVLink rozšiřuje paměť GPU o úložiště nižších nákladů . Dynamo podporuje SGLang, TensorRT-LLM a vLLM a nativně se integruje s těmito open-source enginy . Framework dokáže zvýšit počet obsloužených požadavků až 7× na NVIDIA Blackwell, jak ukázal benchmark SemiAnalysis InferenceX .

Optimalizace TensorRT-LLM

Již samotná optimalizace pomocí TensorRT-LLM přinesla do dvou měsíců od uvedení Blackwellu pětinásobné snížení ceny za token – bez jakékoli změny hardwaru . V měřítku datového centra znamená pětinásobné snížení nákladů na token pětinásobné zvýšení výnosové kapacity stejné infrastrukturní investice .

Disagregovaný serving

Oddělením fází prefill a decode na různé GPU odstraňuje disagregovaný serving soupeření o zdroje a umožňuje každou fázi optimalizovat nezávisle podle jejích specifických potřeb . To je klíčová vlastnost frameworku NVIDIA Dynamo .

Expertní paralelismus ve velkém měřítku

DeepSeek V4 používá architekturu Mixture-of-Experts (MoE) s 384 distribuovanými experty . Optimalizované směrování rozesílá tokeny mezi tyto experty s omezením nadbytečných výpočtů, čímž zvyšuje efektivitu v celém GPU clusteru .

Paralelní komunikace přes NVLink

Vysokorychlostní propojení GPU od NVIDIA umožňuje efektivní all-to-all komunikaci mezi experty, což je klíčové pro MoE modely, kde expertní paralelismus vyžaduje časté výměny dat mezi GPU .

Přesnost NVFP4

Použití 4bitové pohyblivé řádové čárky pro inferenci snižuje nároky na paměťovou šířku pásma a výpočetní výkon bez výrazné ztráty přesnosti . U DeepSeek-V3.2 snížila kvantizace NVFP4 paměťovou stopu modelu 1,7× oproti původnímu formátu FP8 (415 GB oproti 690 GB), což vedlo k výraznému zvýšení propustnosti a efektivity nákladů .

Predikce více tokenů najednou (MTP)

MTP generuje více tokenů v jednom průchodu sítí, což zvyšuje propustnost. První podporu MTP pro DeepSeek V4 přinesl SGLang třetí den po vydání . S využitím MTP pak SGLang překonal 12 000 tokenů za sekundu na GPU na hardwaru GB300 NVL72 .

Optimalizovaná CUDA jádra

Ne všechny optimalizace přišly jen od NVIDIA. Společnost SemiAnalysis musela opravit open-source kód NVIDIA pro spouštění jader mHC (manifold-constrained hyper-connection) pro novou architekturu DeepSeek V4, protože TensorRT-LLM zpočátku s modelem fungoval špatně . Tento komunitní příspěvek byl pro produkční inferenci zásadní.

Recepty SGLang

LMSYS Org dosáhl ověřeného pětinásobného zvýšení propustnosti na hardwaru NVIDIA GB300 NVL72 pomocí SGLangu – z přibližně 2 200 na 11 200 tokenů za sekundu na GPU při rychlosti zhruba 50 tokenů za sekundu na uživatele . Podpůrná matice NVIDIA Dynamo výslovně uvádí lmsysorg/sglang:deepseek-v4-blackwell jako podporovanou konfiguraci .

Dohromady tyto optimalizace přinášejí až 20× vyšší propustnost na GPU na Blackwellu .

Specifikace modelové rodiny DeepSeek V4

DeepSeek V4 byl vydán 24. dubna 2026 pod licencí MIT jako dvouúrovňová rodina modelů .

Zdroje:

Architektura hybridní pozornosti kombinuje Komprimovanou řídkou pozornost (CSA) a Silně komprimovanou pozornost (HCA) a dosahuje pouze 27 % výpočetní náročnosti inference na token oproti DeepSeek-V3.2 při kontextu o délce 1 milion tokenů . Tato efektivita činí milion-tokenové agentní kontexty výpočetně proveditelnými.

Poskytovatelé inference, kteří už optimalizace využívají

Několik poskytovatelů a inferenčních enginů nasadilo softwarové optimalizace NVIDIA pro DeepSeek V4 na Blackwellu:

• LMSYS Org (SGLang) – dosáhl ověřeného pětinásobného zvýšení propustnosti na hardwaru NVIDIA GB300 NVL72 (23. června 2026) . Podpůrná matice NVIDIA Dynamo uvádí lmsysorg/sglang:deepseek-v4-blackwell jako podporovanou konfiguraci . SGLang také překonal 12 000 tok/s na GPU na stejném hardwaru .
• NVIDIA NIM – vlastní mikroservisní zásobník NVIDIA nabízí endpointy DeepSeek-V4-Pro prostřednictvím katalogu API NVIDIA .
• vLLM – open-source inferenční engine přidal podporu DeepSeek V4 během několika dnů od vydání, integrovaný s NVIDIA Dynamo pro distribuovanou inferenci na GB200 .
• TensorRT-LLM – vlastní optimalizovaný runtime NVIDIA, ačkoli rané nasazení mělo problémy s kódem jader mHC, které pomohla opravit SemiAnalysis .
• DeepInfra – nabízí endpointy DeepSeek V4 Pro za $0,435/M vstupních a $0,87/M výstupních tokenů .
• Together AI, Fireworks AI, Baseten – blog NVIDIA zmiňuje široké nasazení prostřednictvím GPU-akcelerovaných cloudových endpointů, přičemž tito poskytovatelé snížili cenu za token až o 90 % oproti Hopperu .

Poskytovatelé jako Together AI a Baseten po přechodu na Blackwell snížili cenu za token až o 90 % oproti Hopperu, uvádí NVIDIA .

Ekonomické rámování NVIDIA pro agentní AI úlohy

NVIDIA staví cenu za token jako nejdůležitější ukazatel celkových nákladů na vlastnictví (TCO) inference – výslovně odmítá starší metriky jako cenu za GPU-hodinu či FLOPS za dolar . Jensen Huang v dubnu 2026 prohlásil, že „cena NVIDIA za token je nejnižší na světě“, a označil to za „přímý důsledek architektonické dokonalosti a extrémního spolunavrhování“ .

Důvody tohoto posunu v metrikách přímo souvisejí s agentní AI:

Agentní úlohy jsou výpočetně explozivní na inferenci

S tím, jak AI přechází od jednorázových odpovědí k vícestupňovému uvažování – plánování, získávání kontextu, volání nástrojů, reflexi a sebekorekci – počet generovaných tokenů na dotaz může vzrůst 100× až 1 000× . Jediný vícestupňový agentní úkol může stát $0,10 až $1,00 na inferenci . Analýza Gartneru z března 2026 potvrdila, že agentní AI modely vyžadují 5–30× více tokenů na úkol než běžní chatboti .

Inference je nyní dominantním nákladovým střediskem

Odhaduje se, že 55–80 % firemních výdajů na GPU pro AI jde na inferenci, nikoli na trénování . Deloitte odhaduje, že inference v roce 2026 tvoří přibližně dvě třetiny veškerého výpočetního výkonu pro AI, oproti jedné třetině v roce 2023 . Inference také představuje 80 až 90 % celoživotních nákladů produkčního AI systému .

Softwarová optimalizace uvolňuje obrovskou hodnotu bez nového hardwaru

NVIDIA to výslovně rámuje jako strategickou výhodu: „NVIDIA dosáhla pětinásobného snížení ceny za token optimalizací TensorRT-LLM během dvou měsíců od uvedení Blackwellu, bez změny hardwaru“ . V měřítku datového centra pětinásobné snížení ceny za token přímo rozhoduje o tom, zda se agentní AI úlohy stanou ekonomicky životaschopnými . Software NVIDIA pro inferenci i nadále snižuje náklady na token dlouho po nasazení AI infrastruktury .

Cena za token je „jediná metrika TCO, na které záleží“

NVIDIA argumentuje, že cena za token je jediná metrika, která přímo zohledňuje výkon hardwaru, softwarovou optimalizaci, podporu ekosystému a reálné využití . Společnost publikuje „nejnižší cenu za token“ jako svou hlavní hodnotovou nabídku Blackwellu . NVIDIA B200 dosahuje dvou centů za milion tokenů na modelu GPT-OSS-120B a architektura snížila cenu za milion tokenů 15× oproti předchozí generaci .

Stručně řečeno, vzkaz NVIDIA je jasný: agentní AI vyžaduje dramaticky více inferenčních tokenů na úkol; softwarové optimalizace inference na Blackwellu dokáží tyto náklady na tokeny snížit 5× bez nového hardwaru, což přímo rozhoduje o tom, zda jsou rozsáhlá agentní nasazení zisková .