Hoe NVIDIA de kosten voor DeepSeek V4 met een factor 5 verlaagde

NVIDIA Dynamo Inferentie Framework

Dynamo is een open-source gedistribueerd serving-framework dat inferentiefasen over verschillende GPU's uitsplitst. Het scheidt prefill van decode, routeert verzoeken intelligent naar de juiste GPU om overbodige berekeningen te voorkomen, en breidt GPU-geheugen uit via NVLink-gebaseerde caching naar kosteneffectieve opslaglagen . Dynamo ondersteunt SGLang, TensorRT-LLM en vLLM, en integreert native met deze open-source engines . Het framework kan het aantal verwerkte verzoeken met tot 7x verhogen op NVIDIA Blackwell, zoals aangetoond in de SemiAnalysis InferenceX-benchmark .

TensorRT-LLM Optimalisaties

NVIDIA behaalde een 5x reductie in kost-per-token door alleen TensorRT-LLM-optimalisatie binnen twee maanden na de Blackwell-lancering, zonder hardwarewijziging . Op datacenterschaal vertegenwoordigt een 5x reductie in kost-per-token een vijfvoudige verbetering van de inkomsten genererende capaciteit van dezelfde infrastructuurinvestering .

Gedisaggregeerde Serving

Door de prefill- (invoerverwerking) en decode- (token generatie) fasen over verschillende GPU's te scheiden, elimineert gedisaggregeerde serving resource-contentie en kan elke fase onafhankelijk worden geoptimaliseerd voor zijn specifieke behoeften . Dit is een kernfunctie van het NVIDIA Dynamo-framework .

Grootschalige Expert-parallelisme

DeepSeek V4 gebruikt een Mixture-of-Experts (MoE)-architectuur met 384 gedistribueerde experts . Geoptimaliseerde routering stuurt tokens met minder overbodige berekeningen naar deze experts, wat de efficiëntie over de GPU-cluster verbetert .

NVLink-gebaseerde Parallelle Communicatie

NVIDIA's snelle GPU-interconnect maakt efficiënte all-to-all-communicatie tussen experts mogelijk, wat cruciaal is voor MoE-modellen waar expert-parallelisme frequente gegevensuitwisselingen tussen GPU's vereist .

NVFP4-precisie

Het gebruik van 4-bit floating-point-precisie voor inferentie vermindert de geheugenbandbreedte en rekenvereisten zonder significant kwaliteitsverlies . Voor DeepSeek-V3.2 verminderde NVIDIA's NVFP4-kwantificering de geheugenvoetafdruk met 1,7x vergeleken met de oorspronkelijke FP8-formaat (415 GB vs. 690 GB), wat leidde tot aanzienlijke verbeteringen in doorvoer en kostenefficiëntie .

Multi-Token Predictie (MTP)

MTP genereert meerdere tokens per forward pass, wat de doorvoer verhoogt. De eerste MTP-ondersteuning voor DeepSeek V4 kwam op Dag 3 van SGLang . Met MTP overschreed SGLang later 12.000 tokens/seconde per GPU op GB300 NVL72-hardware .

Geoptimaliseerde CUDA-kernels

Niet alle optimalisaties kwamen alleen van NVIDIA. SemiAnalysis moest NVIDIA's open-source mHC (manifold-constrained hyper-connection) kernel-lanceringscode repareren voor DeepSeek V4's nieuwe architectuur, omdat TensorRT-LLM aanvankelijk niet goed met het model werkte . Deze communitybijdrage was essentieel voor productie-kwaliteit inferentie.

SGLang Serving Recepten

LMSYS Org bereikte een geverifieerde 5x doorvoerverhoging op NVIDIA GB300 NVL72-hardware met SGLang, van ongeveer 2.200 naar 11.200 tokens per seconde per GPU bij ongeveer 50 tokens per seconde per gebruiker . NVIDIA's Dynamo-ondersteuningsmatrix vermeldt specifiek lmsysorg/sglang:deepseek-v4-blackwell als een ondersteunde configuratie .

Gecombineerd leveren deze optimalisaties tot 20x hogere doorvoer per GPU op Blackwell .

DeepSeek V4 Modelfamilie Specificaties

DeepSeek V4 werd uitgebracht op 24 april 2026 onder de MIT-licentie als een tweeledige modelfamilie .

Bronnen:

De hybride aandachtarchitectuur combineert Compressed Sparse Attention (CSA) en Heavily Compressed Attention (HCA), en bereikt slechts 27% van de single-token inferentie FLOPs van DeepSeek-V3.2 bij 1M-token context . Deze efficiëntie maakt miljoenen-token agentic context tractaten rekenkundig haalbaar.

Inferentieproviders die deze optimalisaties al gebruiken

Verschillende providers en inferentie-engines hebben NVIDIA's software-optimalisaties voor DeepSeek V4 op Blackwell ingezet:

• LMSYS Org (SGLang) — behaalde een geverifieerde 5x doorvoerverhoging op NVIDIA GB300 NVL72-hardware (23 juni 2026) . NVIDIA's Dynamo-ondersteuningsmatrix vermeldt lmsysorg/sglang:deepseek-v4-blackwell als een ondersteunde configuratie . SGLang overschreed ook 12K tok/s per GPU op dezelfde hardware .
• NVIDIA NIM — NVIDIA's eigen inferentie-microservicestack biedt DeepSeek-V4-Pro-eindpunten via de NVIDIA API-catalogus .
• vLLM — de open-source inferentie-engine verzond DeepSeek V4-ondersteuning binnen dagen na lancering, geïntegreerd met NVIDIA Dynamo voor gedistribueerde inferentie op GB200 .
• TensorRT-LLM — NVIDIA's eigen geoptimaliseerde runtime, hoewel vroege adoptie problemen had met mHC-kernelcode die SemiAnalysis hielp oplossen .
• DeepInfra — biedt DeepSeek V4 Pro-eindpunten aan voor $0,435/M input en $0,87/M output tokens .
• Together AI, Fireworks AI, Baseten — NVIDIA's blog vermeldt brede implementatie via GPU-versnelde cloud-eindpunten, waarbij deze providers de kost-per-token met tot 10x verminderden vergeleken met Hopper .

Providers zoals Together AI en Baseten verminderden de kost-per-token met tot 90% vergeleken met Hopper na adoptie van Blackwell, aldus NVIDIA .

NVIDIA's Economische Framing voor Agentic AI-workloads

NVIDIA positioneert kost-per-token als de belangrijkste metriek voor inferentie total cost of ownership (TCO) — en verwerpt expliciet oudere metrieken zoals kost-per-GPU-uur of FLOPS-per-dollar . Jensen Huang verklaarde in april 2026 dat "NVIDIA's kost per token de laagste ter wereld is", en plaatste het als "een direct resultaat van architectuurexcellentie en extreme co-design" .

De reden achter deze metriekverschuiving is direct gekoppeld aan agentic AI:

Agentic Workloads zijn Reken-explosief op Inferentie

Naarmate AI verschuift van eenmalige antwoorden naar meerstaps redeneren — plannen, context ophalen, tools aanroepen, reflecteren en zelfcorrigeren — kan het aantal gegenereerde tokens per query met 100x tot 1000x vermenigvuldigen . Een enkele meerstap agent-taak kan $0,10 tot $1,00 aan inferentie-rekenkracht kosten . Gartner's analyse van maart 2026 bevestigde dat agentic AI-modellen 5–30x meer tokens per taak nodig hebben dan standaard chatbots .

Inferentie is nu de Dominante Kostenpost

Industrieschattingen suggereren dat 55–80% van de enterprise AI-GPU-uitgaven naar inferentie gaan, niet naar training . Deloitte schat dat inferentie in 2026 ongeveer tweederde van alle AI-rekenkracht uitmaakt, tegen een derde in 2023 . Inferentie is ook verantwoordelijk voor 80 tot 90 procent van de levensduurkosten van een productie-AI-systeem .

Software-optimalisatie Ontsluit Massale Waarde Zonder Nieuwe Hardware

NVIDIA presenteert dit expliciet als een strategisch voordeel: "NVIDIA behaalde een 5x reductie in kost per token door alleen TensorRT-LLM-optimalisatie binnen twee maanden na de Blackwell-lancering, zonder hardwarewijziging" . Op datacenterschaal bepaalt een 5x reductie in kost-per-token direct of agentic AI-workloads economisch levensvatbaar worden . NVIDIA's inferentiesoftware blijft tokenkosten verlagen, lang nadat AI-infrastructuur is geïmplementeerd .

Kost-per-Token is de "Enige TCO-metriek die Telt"

NVIDIA stelt dat kost-per-token de enige metriek is die direct rekening houdt met hardwareprestaties, software-optimalisatie, ecosysteemondersteuning en real-world benutting . Het bedrijf publiceert "laagste tokenkosten" als zijn hoofd-Blackwell-waardepropositie . De NVIDIA B200 haalt twee cent per miljoen tokens op GPT-OSS-120B, en de architectuur verlaagde de kost-per-miljoen-tokens met 15x ten opzichte van de vorige generatie .

Samenvattend is NVIDIA's boodschap duidelijk: agentic AI vereist dramatisch meer inferentie-tokens per taak; software-level inferentie-optimalisaties op Blackwell kunnen die tokenkosten met 5x verlagen zonder nieuwe hardware, wat direct bepaalt of grootschalige agentic-implementaties winstgevend zijn .