Denne artikel bryder præcist ned, hvilke optimeringer NVIDIA implementerede, hvad DeepSeek V4-modelfamilien rummer under motorhjelmen, hvilke inferensudbydere der allerede bruger forbedringerne, og hvordan NVIDIA rammesætter den økonomiske logik bag sit laserfokus på pris pr. token.

Softwareoptimeringer bag 5x omkostningsreduktionen

NVIDIA organiserer sin inferensoptimeringsstak i tre lag: produktionsoperationer, applikationsacceleration og infrastrukturadgang . På tværs af disse lag omfatter de specifikke teknikker, der leverede 5x-forbedringen:

NVIDIA Dynamo Inferensframework

Dynamo er et open-source distribueret serving-framework, der adskiller inferensfaser på tværs af forskellige GPU'er. Det adskiller prefill fra decode, ruter intelligente anmodninger til den rigtige GPU for at undgå redundant beregning og udvider GPU-hukommelse via NVLink-baseret caching til omkostningseffektive lagringslag . Dynamo understøtter SGLang, TensorRT-LLM og vLLM og integrerer naturligt med disse open-source motorer . Frameworket kan øge antallet af servede anmodninger med op til 7x på NVIDIA Blackwell, som demonstreret i SemiAnalysis InferenceX-benchmarken .

TensorRT-LLM Optimeringer

NVIDIA opnåede en 5x reduktion i pris pr. token gennem TensorRT-LLM-optimering alene inden for to måneder efter Blackwell-lanceringen, uden hardwareændringer . I datacenterskala repræsenterer en 5x reduktion i pris pr. token en femdobling af den indtægtsgenererende kapacitet for den samme infrastrukturinvestering .

Disaggregated Serving

Ved at adskille prefill (inputbehandling) og decode (tokengenerering) på tværs af forskellige GPU'er eliminerer disaggregated serving ressourcekonkurrence og gør det muligt at optimere hver fase uafhængigt af dens specifikke behov . Dette er en kernefunktion i NVIDIA Dynamo-frameworket .

Storskala Expert Parallelism

DeepSeek V4 bruger en Mixture-of-Experts (MoE)-arkitektur med 384 distribuerede eksperter . Optimeret routing sender tokens på tværs af disse eksperter med reduceret redundant beregning, hvilket forbedrer effektiviteten på tværs af GPU-klyngen .

NVLink-Baseret Parallel Kommunikation

NVIDIA's højhastigheds-GPU-forbindelse muliggør effektiv all-to-all-kommunikation på tværs af eksperter, hvilket er kritisk for MoE-modeller, hvor expert-parallelisme kræver hyppige dataudvekslinger mellem GPU'er .

NVFP4 Præcision

Brug af 4-bit floating-point-præcision til inferens reducerer hukommelsesbåndbredde og beregningskrav uden væsentligt tab af nøjagtighed . For DeepSeek-V3.2 reducerede NVIDIA's NVFP4-kvantisering hukommelsesfodaftrykket med 1,7x sammenlignet med den oprindelige FP8-format (415 GB vs. 690 GB), hvilket førte til betydelige stigninger i gennemløb og omkostningseffektivitet .

Multi-Token Prediction (MTP)

MTP genererer flere tokens pr. forward pass, hvilket øger gennemløbet. Den første MTP-understøttelse til DeepSeek V4 kom på dag 3 fra SGLang . Ved brug af MTP overskred SGLang senere 12K tokens/sek. pr. GPU på GB300 NVL72-hardware .

Optimerede CUDA-Kerner

Ikke alle optimeringer kom fra NVIDIA alene. SemiAnalysis måtte rette NVIDIA's open-source mHC (manifold-constrained hyper-connection) kernel-lanceringskode til DeepSeek V4's nye arkitektur, fordi TensorRT-LLM i første omgang ikke fungerede godt med modellen . Dette community-bidrag var afgørende for inferens i produktionskvalitet.

SGLang Serving Opskrifter

LMSYS Org opnåede en verificeret 5x gennemløbsstigning på NVIDIA GB300 NVL72-hardware ved hjælp af SGLang, der sprang fra cirka 2.200 til 11.200 tokens pr. sekund pr. GPU ved cirka 50 tokens pr. sekund pr. bruger . NVIDIA's Dynamo-supportmatrix angiver specifikt lmsysorg/sglang:deepseek-v4-blackwell som en understøttet konfiguration .

Samlet set leverer disse optimeringer op til 20x højere gennemløb pr. GPU på Blackwell .

DeepSeek V4 Modelfamilie Specifikationer

DeepSeek V4 blev udgivet den 24. april 2026 under MIT-licensen som en to-niveau modelfamilie .

Kilder:

Hybrid attention-arkitekturen kombinerer Compressed Sparse Attention (CSA) og Heavily Compressed Attention (HCA), hvilket opnår kun 27% af single-token inferens FLOPs for DeepSeek-V3.2 ved 1M-token kontekst . Denne effektivitet er, hvad der gør million-token agentic kontekstområder beregningsmæssigt levedygtige.

Inferensudbydere, der allerede bruger disse optimeringer

Flere udbydere og inferensmotorer har implementeret NVIDIA's softwareoptimeringer til DeepSeek V4 på Blackwell:

• LMSYS Org (SGLang) – opnåede en verificeret 5x gennemløbsstigning på NVIDIA GB300 NVL72-hardware (23. juni 2026) . NVIDIA's Dynamo-supportmatrix angiver lmsysorg/sglang:deepseek-v4-blackwell som en understøttet konfiguration . SGLang overskred også 12K tok/s pr. GPU på samme hardware .
• NVIDIA NIM – NVIDIA's egen inferensmikroservicestak tilbyder DeepSeek-V4-Pro-slutpunkter gennem NVIDIA API-kataloget .
• vLLM – den open-source inferensmotor sendte DeepSeek V4-support inden for dage efter lancering, integreret med NVIDIA Dynamo til distribueret inferens på GB200 .
• TensorRT-LLM – NVIDIA's egen optimerede kørselstid, selvom tidlig adoption havde problemer med mHC-kernelkode, som SemiAnalysis hjalp med at rette .
• DeepInfra – tilbyder DeepSeek V4 Pro-slutpunkter til $0,435/M input og $0,87/M output tokens .
• Together AI, Fireworks AI, Baseten – NVIDIA's blog noterer bred implementering gennem GPU-accelererede cloud-slutpunkter, hvor disse udbydere reducerer pris pr. token med op til 10x sammenlignet med Hopper .

Udbyder som Together AI og Baseten reducerede pris pr. token med op til 90% sammenlignet med Hopper efter at have adopteret Blackwell, ifølge NVIDIA .

NVIDIA's økonomiske rammesætning for Agentic AI-arbejdsbelastninger

NVIDIA placerer cost-per-token som den enkeltstående vigtigste metrik for inferens total cost of ownership (TCO) – og afviser eksplicit ældre metrikker som cost-per-GPU-hour eller FLOPS-per-dollar . Jensen Huang erklærede, at "NVIDIA's cost per token er den laveste i verden" i april 2026, og rammesatte det som "et direkte resultat af arkitekturel ekspertise og ekstrem co-design" .

Begrundelsen bag dette metrikkifte er direkte forbundet med agentic AI:

Agentic Arbejdsbelastninger er Beregningseksplosive på Inferens

Efterhånden som AI skifter fra engangssvar til flertrinsræsonnement – planlægning, hentning af kontekst, kald af værktøjer, refleksion og selvkorrektion – kan antallet af genererede tokens pr. forespørgsel blive 100x til 1.000x større . En enkelt flertrinsagentopgave kan koste $0,10 til $1,00 i inferensberegning . Gartners analyse fra marts 2026 bekræftede, at agentic AI-modeller kræver 5–30x flere tokens pr. opgave end standard chatbots .

Inferens er Nu det Dominerende Omkostningscenter

Industriestimater tyder på, at 55–80% af virksomhedernes AI-GPU-forbrug går til inferens, ikke træning . Deloitte estimerer, at inferens udgør cirka to tredjedele af al AI-beregning i 2026, op fra en tredjedel i 2023 . Inferens tegner sig også for 80 til 90 procent af de samlede leveomkostninger for et produktions-AI-system .

Softwareoptimering Låser Op for Massiv Værdi Uden Ny Hardware

NVIDIA rammesætter dette eksplicit som en strategisk fordel: "NVIDIA opnåede en 5x reduktion i pris pr. token gennem TensorRT-LLM-optimering alene inden for to måneder efter Blackwell-lanceringen, uden hardwareændringer" . I datacenterskala afgør en 5x reduktion i pris pr. token direkte, om agentic AI-arbejdsbelastninger bliver økonomisk levedygtige . NVIDIA's inferenssoftware fortsætter med at presse tokenomkostningerne ned længe efter, at AI-infrastrukturen er implementeret .

Cost-per-Token er den "Eneste TCO-metrik, der betyder noget"

NVIDIA argumenterer for, at cost-per-token er den eneste metrik, der direkte tager højde for hardwareydelse, softwareoptimering, økosystemstøtte og udnyttelse i den virkelige verden . Virksomheden udgiver "laveste token-omkostning" som sit overskrifts Blackwell-værditilbud . NVIDIA B200 opnår to cents pr. million tokens på GPT-OSS-120B, og arkitekturen sænkede cost-per-million-tokens med 15x sammenlignet med den foregående generation .

Sammenfattende er NVIDIA's budskab klart: agentic AI kræver dramatisk flere inferenstokens pr. opgave; softwareniveau inferensoptimeringer på Blackwell kan skære disse token-omkostninger med 5x uden ny hardware, hvilket direkte afgør, om storskala agentic-implementeringer er profitable .

Denne artikel bryder præcist ned, hvilke optimeringer NVIDIA implementerede, hvad DeepSeek V4-modelfamilien rummer under motorhjelmen, hvilke inferensudbydere der allerede bruger forbedringerne, og hvordan NVIDIA rammesætter den økonomiske logik bag sit laserfokus på pris pr. token.

Softwareoptimeringer bag 5x omkostningsreduktionen

NVIDIA organiserer sin inferensoptimeringsstak i tre lag: produktionsoperationer, applikationsacceleration og infrastrukturadgang . På tværs af disse lag omfatter de specifikke teknikker, der leverede 5x-forbedringen:

NVIDIA Dynamo Inferensframework

Dynamo er et open-source distribueret serving-framework, der adskiller inferensfaser på tværs af forskellige GPU'er. Det adskiller prefill fra decode, ruter intelligente anmodninger til den rigtige GPU for at undgå redundant beregning og udvider GPU-hukommelse via NVLink-baseret caching til omkostningseffektive lagringslag . Dynamo understøtter SGLang, TensorRT-LLM og vLLM og integrerer naturligt med disse open-source motorer . Frameworket kan øge antallet af servede anmodninger med op til 7x på NVIDIA Blackwell, som demonstreret i SemiAnalysis InferenceX-benchmarken .

TensorRT-LLM Optimeringer

NVIDIA opnåede en 5x reduktion i pris pr. token gennem TensorRT-LLM-optimering alene inden for to måneder efter Blackwell-lanceringen, uden hardwareændringer . I datacenterskala repræsenterer en 5x reduktion i pris pr. token en femdobling af den indtægtsgenererende kapacitet for den samme infrastrukturinvestering .

Disaggregated Serving

Ved at adskille prefill (inputbehandling) og decode (tokengenerering) på tværs af forskellige GPU'er eliminerer disaggregated serving ressourcekonkurrence og gør det muligt at optimere hver fase uafhængigt af dens specifikke behov . Dette er en kernefunktion i NVIDIA Dynamo-frameworket .

Storskala Expert Parallelism

DeepSeek V4 bruger en Mixture-of-Experts (MoE)-arkitektur med 384 distribuerede eksperter . Optimeret routing sender tokens på tværs af disse eksperter med reduceret redundant beregning, hvilket forbedrer effektiviteten på tværs af GPU-klyngen .

NVLink-Baseret Parallel Kommunikation

NVIDIA's højhastigheds-GPU-forbindelse muliggør effektiv all-to-all-kommunikation på tværs af eksperter, hvilket er kritisk for MoE-modeller, hvor expert-parallelisme kræver hyppige dataudvekslinger mellem GPU'er .

NVFP4 Præcision

Brug af 4-bit floating-point-præcision til inferens reducerer hukommelsesbåndbredde og beregningskrav uden væsentligt tab af nøjagtighed . For DeepSeek-V3.2 reducerede NVIDIA's NVFP4-kvantisering hukommelsesfodaftrykket med 1,7x sammenlignet med den oprindelige FP8-format (415 GB vs. 690 GB), hvilket førte til betydelige stigninger i gennemløb og omkostningseffektivitet .

Multi-Token Prediction (MTP)

MTP genererer flere tokens pr. forward pass, hvilket øger gennemløbet. Den første MTP-understøttelse til DeepSeek V4 kom på dag 3 fra SGLang . Ved brug af MTP overskred SGLang senere 12K tokens/sek. pr. GPU på GB300 NVL72-hardware .

Optimerede CUDA-Kerner

Ikke alle optimeringer kom fra NVIDIA alene. SemiAnalysis måtte rette NVIDIA's open-source mHC (manifold-constrained hyper-connection) kernel-lanceringskode til DeepSeek V4's nye arkitektur, fordi TensorRT-LLM i første omgang ikke fungerede godt med modellen . Dette community-bidrag var afgørende for inferens i produktionskvalitet.

SGLang Serving Opskrifter

LMSYS Org opnåede en verificeret 5x gennemløbsstigning på NVIDIA GB300 NVL72-hardware ved hjælp af SGLang, der sprang fra cirka 2.200 til 11.200 tokens pr. sekund pr. GPU ved cirka 50 tokens pr. sekund pr. bruger . NVIDIA's Dynamo-supportmatrix angiver specifikt lmsysorg/sglang:deepseek-v4-blackwell som en understøttet konfiguration .

Samlet set leverer disse optimeringer op til 20x højere gennemløb pr. GPU på Blackwell .

DeepSeek V4 Modelfamilie Specifikationer

DeepSeek V4 blev udgivet den 24. april 2026 under MIT-licensen som en to-niveau modelfamilie .

Kilder:

Hybrid attention-arkitekturen kombinerer Compressed Sparse Attention (CSA) og Heavily Compressed Attention (HCA), hvilket opnår kun 27% af single-token inferens FLOPs for DeepSeek-V3.2 ved 1M-token kontekst . Denne effektivitet er, hvad der gør million-token agentic kontekstområder beregningsmæssigt levedygtige.

Inferensudbydere, der allerede bruger disse optimeringer

Flere udbydere og inferensmotorer har implementeret NVIDIA's softwareoptimeringer til DeepSeek V4 på Blackwell:

• LMSYS Org (SGLang) – opnåede en verificeret 5x gennemløbsstigning på NVIDIA GB300 NVL72-hardware (23. juni 2026) . NVIDIA's Dynamo-supportmatrix angiver lmsysorg/sglang:deepseek-v4-blackwell som en understøttet konfiguration . SGLang overskred også 12K tok/s pr. GPU på samme hardware .
• NVIDIA NIM – NVIDIA's egen inferensmikroservicestak tilbyder DeepSeek-V4-Pro-slutpunkter gennem NVIDIA API-kataloget .
• vLLM – den open-source inferensmotor sendte DeepSeek V4-support inden for dage efter lancering, integreret med NVIDIA Dynamo til distribueret inferens på GB200 .
• TensorRT-LLM – NVIDIA's egen optimerede kørselstid, selvom tidlig adoption havde problemer med mHC-kernelkode, som SemiAnalysis hjalp med at rette .
• DeepInfra – tilbyder DeepSeek V4 Pro-slutpunkter til $0,435/M input og $0,87/M output tokens .
• Together AI, Fireworks AI, Baseten – NVIDIA's blog noterer bred implementering gennem GPU-accelererede cloud-slutpunkter, hvor disse udbydere reducerer pris pr. token med op til 10x sammenlignet med Hopper .

Udbyder som Together AI og Baseten reducerede pris pr. token med op til 90% sammenlignet med Hopper efter at have adopteret Blackwell, ifølge NVIDIA .

NVIDIA's økonomiske rammesætning for Agentic AI-arbejdsbelastninger

NVIDIA placerer cost-per-token som den enkeltstående vigtigste metrik for inferens total cost of ownership (TCO) – og afviser eksplicit ældre metrikker som cost-per-GPU-hour eller FLOPS-per-dollar . Jensen Huang erklærede, at "NVIDIA's cost per token er den laveste i verden" i april 2026, og rammesatte det som "et direkte resultat af arkitekturel ekspertise og ekstrem co-design" .

Begrundelsen bag dette metrikkifte er direkte forbundet med agentic AI:

Agentic Arbejdsbelastninger er Beregningseksplosive på Inferens

Efterhånden som AI skifter fra engangssvar til flertrinsræsonnement – planlægning, hentning af kontekst, kald af værktøjer, refleksion og selvkorrektion – kan antallet af genererede tokens pr. forespørgsel blive 100x til 1.000x større . En enkelt flertrinsagentopgave kan koste $0,10 til $1,00 i inferensberegning . Gartners analyse fra marts 2026 bekræftede, at agentic AI-modeller kræver 5–30x flere tokens pr. opgave end standard chatbots .

Inferens er Nu det Dominerende Omkostningscenter

Industriestimater tyder på, at 55–80% af virksomhedernes AI-GPU-forbrug går til inferens, ikke træning . Deloitte estimerer, at inferens udgør cirka to tredjedele af al AI-beregning i 2026, op fra en tredjedel i 2023 . Inferens tegner sig også for 80 til 90 procent af de samlede leveomkostninger for et produktions-AI-system .

Softwareoptimering Låser Op for Massiv Værdi Uden Ny Hardware

NVIDIA rammesætter dette eksplicit som en strategisk fordel: "NVIDIA opnåede en 5x reduktion i pris pr. token gennem TensorRT-LLM-optimering alene inden for to måneder efter Blackwell-lanceringen, uden hardwareændringer" . I datacenterskala afgør en 5x reduktion i pris pr. token direkte, om agentic AI-arbejdsbelastninger bliver økonomisk levedygtige . NVIDIA's inferenssoftware fortsætter med at presse tokenomkostningerne ned længe efter, at AI-infrastrukturen er implementeret .

Cost-per-Token er den "Eneste TCO-metrik, der betyder noget"

NVIDIA argumenterer for, at cost-per-token er den eneste metrik, der direkte tager højde for hardwareydelse, softwareoptimering, økosystemstøtte og udnyttelse i den virkelige verden . Virksomheden udgiver "laveste token-omkostning" som sit overskrifts Blackwell-værditilbud . NVIDIA B200 opnår to cents pr. million tokens på GPT-OSS-120B, og arkitekturen sænkede cost-per-million-tokens med 15x sammenlignet med den foregående generation .

Sammenfattende er NVIDIA's budskab klart: agentic AI kræver dramatisk flere inferenstokens pr. opgave; softwareniveau inferensoptimeringer på Blackwell kan skære disse token-omkostninger med 5x uden ny hardware, hvilket direkte afgør, om storskala agentic-implementeringer er profitable .