Så kapade NVIDIA DeepSeek V4:s tokenkostnad till en femtedel – helt utan ny hårdvara

5x kostnadsminskningen kom från kod – inte kisel

Den 30 juni 2026 meddelade NVIDIA att en månads fullstack-optimering av mjukvaran hade sänkt kostnaden per token för att köra DeepSeek V4 på Blackwell-GPU:er till ungefär en femtedel av vad den var vid lanseringen . Det anmärkningsvärda är att förbättringen kom helt från mjukvara – ingen ny hårdvara, ingen chip-revision och ingen systemomdesign . För företag och AI-leverantörer som kör inferens i stor skala kan den 5x-förbättringen vara skillnaden mellan lönsamma agentiska AI-arbetsflöden och olönsamma sådana.

Den här artikeln går igen exakt vilka optimeringar NVIDIA införde, hur DeepSeek V4-modellfamiljen ser ut under huven, vilka inferensleverantörer som redan använder förbättringarna och hur NVIDIA ramar in den ekonomiska logiken bakom sin laserfokus på kostnad per token.

Mjukvaruoptimeringarna bakom 5x kostnadsminskningen

NVIDIA organiserar sin optimeringsstack för inferens i tre lager: produktionsstyrning, applikationsacceleration och infrastrukturåtkomst . De specifika tekniker som gav den 5x-förbättringen omfattar:

NVIDIA Dynamo – ramverket för distribuerad inferens

Dynamo är ett ramverk med öppen källkod för distribuerad inferens som frikopplar inferensfaserna över olika GPU:er. Det separerar prefill från decode, dirigerar begäranden intelligent till rätt GPU för att undvika redundant beräkning och utökar GPU-minnet via NVLink-baserad cachning till kostnadseffektiva lagringsnivåer . Dynamo stöder SGLang, TensorRT-LLM och vLLM och integreras inbyggt med dessa motorer med öppen källkod . Ramverket kan öka antalet serverade begäranden med upp till 7x på NVIDIA Blackwell, vilket visats i SemiAnalysis InferenceX-testet .

TensorRT-LLM-optimeringar

NVIDIA uppnådde en 5x minskning av kostnaden per token enbart genom TensorRT-LLM-optimering inom två månader efter Blackwell-lanseringen – utan någon hårdvaruförändring . I datacenterskala innebär en 5x minskning av kostnaden per token en femfaldig förbättring av intäktskapaciteten för samma infrastrukturinvestering .

Frikopplad inferens (disaggregated serving)

Genom att separera prefill-fasen (inmatningsbearbetning) och decode-fasen (tokengenerering) över olika GPU:er eliminerar frikopplad inferens resurskonkurrens och gör att varje fas kan optimeras oberoende för sina specifika behov . Detta är en kärnfunktion i NVIDIA Dynamo-ramverket .

Storskalig expertparallelism

DeepSeek V4 använder en Mixture-of-Experts-arkitektur (MoE) med 384 distribuerade experter . Optimerad routing skickar tokens över dessa experter med minskad redundant beräkning, vilket förbättrar effektiviteten i GPU-klustret .

NVLink-baserad parallell kommunikation

NVIDIAs höghastighets-GPU-sammankoppling möjliggör effektiv all-to-all-kommunikation mellan experter, vilket är avgörande för MoE-modeller där expertparallelism kräver täta datautbyten mellan GPU:er .

NVFP4-precision

Genom att använda 4-bitars flyttalsprecision för inferens minskas minnesbandbredd och beräkningsbehov utan betydande noggrannhetsförlust . För DeepSeek-V3.2 minskade NVIDIAs NVFP4-kvantisering minnesfotavtrycket med 1,7x jämfört med det ursprungliga FP8-formatet (415 GB jämfört med 690 GB), vilket ledde till betydande förbättringar av genomströmning och kostnadseffektivitet .

Multi-token-prediktion (MTP)

MTP genererar flera tokens per framåtpassning, vilket ökar genomströmningen. Det första MTP-stödet för DeepSeek V4 kom på dag 3 från SGLang . Med MTP överskred SGLang senare 12 000 tok/s per GPU på GB300 NVL72-hårdvara .

Optimerade CUDA-kärnor

Alla optimeringar kom inte enbart från NVIDIA. SemiAnalysis fick åtgärda NVIDIAs mHC-kärnstartkod (manifold-constrained hyper-connection) med öppen källkod för DeepSeek V4:s nya arkitektur, eftersom TensorRT-LLM från början inte fungerade bra med modellen . Detta community-bidrag var avgörande för inferens i produktionskvalitet.

SGLang-serveringsrecept

LMSYS Org uppnådde en verifierad 5x genomströmningsökning på NVIDIA GB300 NVL72-hårdvara med SGLang – från cirka 2 200 till 11 200 token per sekund per GPU vid cirka 50 token per sekund per användare . NVIDIAs Dynamo-stödmatris listar specifikt lmsysorg/sglang:deepseek-v4-blackwell som en konfiguration som stöds .

Sammantaget ger dessa optimeringar upp till 20x högre genomströmning per GPU på Blackwell .

DeepSeek V4-modellfamiljens specifikationer

DeepSeek V4 släpptes den 24 april 2026 under MIT-licens som en modellfamilj i två nivåer .

Specifikation	DeepSeek-V4-Pro	DeepSeek-V4-Flash
Totala parametrar	1,6 biljoner	284 miljarder
Aktiva parametrar (per token)	49 miljarder	13 miljarder
Arkitektur	MoE + Hybrid Attention (CSA + HCA) + mHC	MoE + Hybrid Attention (CSA + HCA) + mHC
Kontextfönster	1 000 000 token	1 000 000 token
Träningsdata	32B+ diverse tokens	32B+ diverse tokens
Licens	MIT (öppna vikter)	MIT (öppna vikter)
Precision	FP4 (experter) + FP8 (andra vikter) blandat	FP4 (experter) + FP8 (andra vikter) blandat
Ny innovation	Hybrid attention minskar inferens-FLOPs per token med 73% och KV-cache-minne med 90% jämfört med DeepSeek-V3.2	Lättviktsvariant för snabbhet och lägre kostnad

Källor:

Hybrid attention-arkitekturen kombinerar Compressed Sparse Attention (CSA) och Heavily Compressed Attention (HCA) och uppnår endast 27% av single-token inferens-FLOPs jämfört med DeepSeek-V3.2 vid 1M-tokens kontext . Denna effektivitet är vad som gör miljon-tokens agentiska kontexter beräkningsmässigt genomförbara.

Inferensleverantörer som redan använder optimeringarna

Flera leverantörer och inferensmotorer har infört NVIDIAs mjukvaruoptimeringar för DeepSeek V4 på Blackwell:

• LMSYS Org (SGLang) – uppnådde en verifierad 5x genomströmningsökning på NVIDIA GB300 NVL72-hårdvara (23 juni 2026) . NVIDIAs Dynamo-stödmatris listar lmsysorg/sglang:deepseek-v4-blackwell som en konfiguration som stöds . SGLang överskred också 12 000 tok/s per GPU på samma hårdvara .
• NVIDIA NIM – NVIDIAs egen inferensmikrotjänststack erbjuder DeepSeek-V4-Pro-slutpunkter via NVIDIAs API-katalog .
• vLLM – inferensmotorn med öppen källkod levererade DeepSeek V4-stöd inom dagar efter lanseringen, integrerad med NVIDIA Dynamo för distribuerad inferens på GB200 .
• TensorRT-LLM – NVIDIAs egen optimerade runtime, även om tidig adoption hade problem med mHC-kärnkoden som SemiAnalysis hjälpte till att åtgärda .
• DeepInfra – erbjuder DeepSeek V4 Pro-slutpunkter till $0,435/M input och $0,87/M output-tokens .
• Together AI, Fireworks AI, Baseten – NVIDIAs blogg noterar bred implementering via GPU-accelererade molnslutpunkter, där dessa leverantörer minskat kostnaden per token med upp till 10x jämfört med Hopper .

Leverantörer som Together AI och Baseten minskade kostnaden per token med upp till 90% jämfört med Hopper efter att ha infört Blackwell, enligt NVIDIA .

NVIDIAs ekonomiska ramverk för agentiska AI-arbetsflöden

NVIDIA positionerar kostnad per token som den enskilt viktigaste metriken för total ägandekostnad (TCO) för inferens – och avvisar uttryckligen äldre mått som kostnad per GPU-timme eller FLOPS per dollar . Jensen Huang förklarade i april 2026 att ”NVIDIAs kostnad per token är den lägsta i världen” och kallade det ”en direkt följd av arkitektonisk excellens och extrem samdesign” .

Resonemanget bakom denna metrikförskjutning är direkt kopplat till agentisk AI:

Agentiska arbetsflöden är beräknings-explosiva vid inferens

När AI går från engångssvar till flerstegsresonemang – planering, hämtning av kontext, anrop av verktyg, reflektion och självkorrigering – kan antalet genererade token per förfrågan multipliceras med 100x till 1 000x . En enda flerstegsagentuppgift kan kosta $0,10 till $1,00 i inferensberäkning . Gartners analys från mars 2026 bekräftade att agentiska AI-modeller kräver 5–30x fler token per uppgift än vanliga chattrobotar .

Inferens är nu den dominerande kostnadsposten

Branschuppskattningar tyder på att 55–80% av företagens AI-GPU-utgifter går till inferens, inte träning . Deloitte uppskattar att inferens står för ungefär två tredjedelar av all AI-beräkning 2026, upp från en tredjedel 2023 . Inferens står också för 80 till 90 procent av den totala livstidskostnaden för ett AI-system i produktion .

Mjukvaruoptimering låser upp massivt värde utan ny hårdvara

NVIDIA framställer detta uttryckligen som en strategisk fördel: ”NVIDIA uppnådde en 5x minskning av kostnaden per token genom TensorRT-LLM-optimering enbart, inom två månader efter Blackwell-lanseringen, utan någon hårdvaruförändring” . I datacenterskala avgör en 5x minskning av kostnaden per token direkt om agentiska AI-arbetsflöden blir ekonomiskt lönsamma . NVIDIAs inferensmjukvara fortsätter att driva ner tokenkostnaderna långt efter att AI-infrastrukturen har installerats .

Kostnad per token är den ”enda TCO-metriken som spelar roll”

NVIDIA argumenterar för att kostnad per token är den enda metrik som direkt speglar hårdvaruprestanda, mjukvaruoptimering, ekosystemstöd och verklig användning . Företaget publicerar ”lägsta tokenkostnad” som sitt huvudsakliga värdeerbjudande för Blackwell . NVIDIA B200 uppnår två cent per miljon token på GPT-OSS-120B, och arkitekturen sänkte kostnaden per miljon token med 15x jämfört med föregående generation .

Sammanfattningsvis är NVIDIAs budskap tydligt: agentisk AI kräver dramatiskt fler inferenstoken per uppgift; mjukvaruoptimeringar på Blackwell kan minska dessa tokenkostnader med 5x utan ny hårdvara och avgör därmed direkt om storskaliga agentiska driftsättningar är lönsamma .