Slik kuttet NVIDIA DeepSeek V4-inferenskostnadene med 5x på Blackwell – uten én eneste maskinvareendring

Denne artikkelen bryter ned nøyaktig hvilke optimaliseringer NVIDIA tok i bruk, hva DeepSeek V4-modellfamilien består av under panseret, hvilke inferensleverandører som allerede bruker disse forbedringene, og hvordan NVIDIA rammer inn den økonomiske logikken bak sitt laserfokus på kostnad per token.

Programvareoptimaliseringene bak 5x kostnadsreduksjonen

NVIDIA organiserer sin inferensoptimaliseringsstabel i tre lag: produksjonsoperasjoner, applikasjonsakselerasjon og infrastrukturtilgang. På tvers av disse lagene inkluderer de spesifikke teknikkene som ga 5x-forbedringen:

NVIDIA Dynamo inferensrammeverk

Dynamo er et åpen kildekode-distribuert tjenesterammeverk som skiller inferensfasene på tvers av ulike GPUer. Det skiller prefylling fra dekoding, ruter forespørsler intelligent til riktig GPU for å unngå redundant beregning, og utvider GPU-minne via NVLink-basert bufring til kostnadseffektive lagringsnivåer. Dynamo støtter SGLang, TensorRT-LLM og vLLM, og integreres naturlig med disse åpne motorene. Rammeverket kan øke antallet forespørsler som betjenes med opptil 7x på NVIDIA Blackwell, som demonstrert i SemiAnalysis InferenceX-benchmarken.

TensorRT-LLM-optimaliseringer

NVIDIA oppnådde en 5x reduksjon i kostnad per token gjennom TensorRT-LLM-optimalisering alene innen to måneder etter Blackwell-lansering, uten maskinvareendring. I datasenterskala representerer en 5x reduksjon i kostnad per token en femdobling av inntektsgenereringskapasiteten til samme infrastrukturinvestering.

Disaggregert tjenestelevering

Ved å skille prefyllings- (inndatabehandling) og dekodingsfasene (tokengenerering) på tvers av ulike GPUer, eliminerer disaggregert tjenestelevering ressurskonflikter og lar hver fase optimaliseres uavhengig for sine spesifikke behov. Dette er en kjernefunksjon i NVIDIA Dynamo-rammeverket.

Storskala ekspertparallellisering

DeepSeek V4 bruker en Mixture-of-Experts-arkitektur (MoE) med 384 distribuerte eksperter. Optimalisert ruting dispatcher tokens på tvers av disse ekspertene med redusert redundant beregning, noe som forbedrer effektiviteten på tvers av GPU-klyngen.

NVLink-basert parallell kommunikasjon

NVIDIAs høyhastighets GPU-sammenkobling muliggjør effektiv all-til-all-kommunikasjon på tvers av eksperter, noe som er kritisk for MoE-modeller der ekspertparallellisering krever hyppige datautvekslinger mellom GPUer.

NVFP4-presisjon

Bruk av 4-bits flyttallspresisjon for inferens reduserer minnebåndbredde og beregningskrav uten signifikant tap av nøyaktighet. For DeepSeek-V3.2 reduserte NVIDIAs NVFP4-kvantisering minnefotavtrykket med 1,7x sammenlignet med originalt FP8-format (415 GB mot 690 GB), noe som førte til betydelige økninger i gjennomstrømning og kostnadseffektivitet.

Multi-token prediksjon (MTP)

MTP genererer flere tokens per foroverpass, noe som øker gjennomstrømningen. Den første MTP-støtten for DeepSeek V4 kom på dag 3 fra SGLang. Ved å bruke MTP overskred SGLang senere 12 000 tokens/sekund per GPU på GB300 NVL72-maskinvare.

Optimerte CUDA-kjerner

Ikke alle optimaliseringene kom fra NVIDIA alene. SemiAnalysis måtte fikse NVIDIAs åpne mHC-kjerneoppstartskode (manifold-constrained hyper-connection) for DeepSeek V4s nye arkitektur, fordi TensorRT-LLM i utgangspunktet ikke fungerte godt med modellen. Dette fellesskapsbidraget var avgjørende for inferens av produksjonskvalitet.

SGLang-servereoppskrifter

LMSYS Org oppnådde en verifisert 5x gjennomstrømningsøkning på NVIDIA GB300 NVL72-maskinvare ved å bruke SGLang, fra omtrent 2 200 til 11 200 tokens per sekund per GPU ved omtrent 50 tokens per sekund per bruker. NVIDIAs Dynamo-støttematrise lister spesifikt lmsysorg/sglang:deepseek-v4-blackwell som en støttet konfigurasjon.

Sammen gir disse optimaliseringene opptil 20x høyere gjennomstrømning per GPU på Blackwell.

DeepSeek V4-modellfamiliens spesifikasjoner

DeepSeek V4 ble utgitt 24. april 2026 under MIT-lisens som en totrinns modellfamilie.

Kilder:

Den hybride oppmerksomhetsarkitekturen kombinerer Compressed Sparse Attention (CSA) og Heavily Compressed Attention (HCA), og oppnår bare 27 % av FLOPs for enkelttoken-inferens fra DeepSeek-V3.2 ved 1M-token kontekst. Denne effektiviteten er det som gjør million-token agentiske kontekster beregningsmessig levedyktige.

Inferensleverandører som allerede bruker disse optimaliseringene

Flere leverandører og inferensmotorer har tatt i bruk NVIDIAs programvareoptimaliseringer for DeepSeek V4 på Blackwell:

• LMSYS Org (SGLang) – oppnådde en verifisert 5x gjennomstrømningsøkning på NVIDIA GB300 NVL72-maskinvare (23. juni 2026). NVIDIAs Dynamo-støttematrise lister lmsysorg/sglang:deepseek-v4-blackwell som en støttet konfigurasjon. SGLang overskred også 12 000 tok/s per GPU på samme maskinvare.
• NVIDIA NIM – NVIDIAs egen inferensmikrotjenestestabel tilbyr DeepSeek-V4-Pro-endepunkter gjennom NVIDIA API-katalogen.
• vLLM – den åpne inferensmotoren leverte DeepSeek V4-støtte innen dager etter lansering, integrert med NVIDIA Dynamo for distribuert inferens på GB200.
• TensorRT-LLM – NVIDIAs egen optimaliserte kjøretid, selv om tidlig adopsjon hadde problemer med mHC-kjernekode som SemiAnalysis hjalp til med å fikse.
• DeepInfra – tilbyr DeepSeek V4 Pro-endepunkter til $0,435/M input- og $0,87/M output-tokens.
• Together AI, Fireworks AI, Baseten – NVIDIAs blogg noterer bred distribusjon gjennom GPU-akselererte skytilbud, der disse leverandørene reduserer kostnad per token med opptil 10x sammenlignet med Hopper.

Leverandører som Together AI og Baseten reduserte kostnad per token med opptil 90 % sammenlignet med Hopper etter å ha tatt i bruk Blackwell, ifølge NVIDIA.

NVIDIAs økonomiske rammeverk for agentbaserte AI-arbeidsbelastninger

NVIDIA posisjonerer kostnad per token som den viktigste enkeltmetrikken for total eierkostnad (TCO) for inferens – og avviser eksplisitt eldre metrikker som kostnad per GPU-time eller FLOPS per dollar. Jensen Huang erklærte at «NVIDIAs kostnad per token er den laveste i verden» i april 2026, og rammet det inn som «et direkte resultat av arkitekturell fortreffelighet og ekstrem samdesign».

Begrunnelsen bak dette metrikkskiftet er direkte knyttet til agentbasert AI:

Agentiske arbeidsbelastninger er beregningseksplosive på inferens

Ettersom AI går fra engangssvar til flertrinns resonnering – planlegging, henting av kontekst, bruk av verktøy, refleksjon og selvkorrigering – kan antallet tokens som genereres per spørring multipliseres med 100x til 1 000x. Én enkelt flertrinnsagentoppgave kan koste $0,10 til $1,00 i inferensberegning. Gartners analyse fra mars 2026 bekreftet at agentbaserte AI-modeller krever 5–30x flere tokens per oppgave enn standard chatbots.

Inferens er nå det dominerende kostnadssenteret

Bransjeestimater tyder på at 55–80 % av bedrifters AI-GPU-utgifter går til inferens, ikke trening. Deloitte anslår at inferens utgjør omtrent to tredjedeler av all AI-beregning i 2026, opp fra en tredjedel i 2023. Inferens står også for 80 til 90 prosent av levetidskostnaden til et produksjons-AI-system.

Programvareoptimalisering låser opp massiv verdi uten ny maskinvare

NVIDIA rammer eksplisitt dette inn som et strategisk fortrinn: «NVIDIA oppnådde en 5x reduksjon i kostnad per token gjennom TensorRT-LLM-optimalisering alene innen to måneder etter Blackwell-lansering, uten maskinvareendring». I datasenterskala avgjør en 5x reduksjon i kostnad per token direkte om agentbaserte AI-arbeidsbelastninger blir økonomisk levedyktige. NVIDIAs inferensprogramvare fortsetter å presse ned token-kostnadene lenge etter at AI-infrastrukturen er utplassert.

Kostnad per token er den «eneste TCO-metrikken som betyr noe»

NVIDIA argumenterer for at kostnad per token er den eneste metrikken som direkte tar hensyn til maskinvareytelse, programvareoptimalisering, økosystemstøtte og reell utnyttelse. Selskapet publiserer «lavest token-kostnad» som sitt sentrale Blackwell-verdiforslag. NVIDIA B200 oppnår to cent per million tokens på GPT-OSS-120B, og arkitekturen reduserte kostnad per million tokens med 15x sammenlignet med forrige generasjon.

Oppsummert er NVIDIAs budskap klart: agentbasert AI krever dramatisk flere inferens-tokens per oppgave; programvarebaserte inferensoptimaliseringer på Blackwell kan kutte disse token-kostnadene med 5x uten ny maskinvare, og avgjør direkte om storskala agentbaserte utrullinger er lønnsomme.