NVIDIA senkt DeepSeek V4-Inferenzkosten auf Blackwell um das Fünffache – Der vollständige Optimierungs-Check

NVIDIA Dynamo Inferenz-Framework

Dynamo ist ein Open-Source-Framework für verteiltes Serving, das Inferenzphasen auf verschiedene GPUs aufteilt. Es trennt Prefill und Decode, leitet Anfragen intelligent an die richtige GPU weiter, um redundante Berechnungen zu vermeiden, und erweitert den GPU-Speicher durch NVLink-basiertes Caching auf kostengünstige Speichertiers . Dynamo unterstützt SGLang, TensorRT-LLM und vLLM und integriert sich nativ in diese Open-Source-Engines . Das Framework kann die Anzahl der bedienten Anfragen um bis zu das 7-fache auf NVIDIA Blackwell steigern, wie der SemiAnalysis InferenceX-Benchmark zeigt .

TensorRT-LLM-Optimierungen

NVIDIA erzielte eine 5-fache Reduzierung der Kosten pro Token allein durch TensorRT-LLM-Optimierung innerhalb von zwei Monaten nach dem Blackwell-Launch, ohne Hardwareänderung . Auf Rechenzentrumsebene bedeutet eine 5-fache Reduzierung der Kosten pro Token eine fünffache Verbesserung der umsatzgenerierenden Kapazität derselben Infrastrukturinvestition .

Disaggregiertes Serving

Durch die Trennung der Prefill- (Eingabeverarbeitung) und Decode-Phasen (Tokengenerierung) auf verschiedenen GPUs beseitigt disaggregiertes Serving Ressourcenkonflikte und ermöglicht die unabhängige Optimierung jeder Phase für ihre spezifischen Anforderungen . Dies ist eine Kernfunktion des NVIDIA Dynamo-Frameworks .

Großangelegte Experten-Parallelisierung

DeepSeek V4 verwendet eine Mixture-of-Experts (MoE)-Architektur mit 384 verteilten Experten . Optimiertes Routing verteilt Tokens mit reduzierter redundanter Berechnung auf diese Experten und verbessert so die Effizienz im gesamten GPU-Cluster .

NVLink-basierte parallele Kommunikation

NVIDIAs schnelle GPU-Verbindungstechnologie ermöglicht eine effiziente All-to-All-Kommunikation zwischen den Experten, was für MoE-Modelle entscheidend ist, bei denen Expertenparallelität häufige Datenaustausche zwischen GPUs erfordert .

NVFP4-Präzision

Die Verwendung von 4-Bit-Gleitkommagenauigkeit für die Inferenz reduziert den Speicherbandbreiten- und Rechenaufwand ohne signifikanten Genauigkeitsverlust . Für DeepSeek-V3.2 reduzierte NVIDIAs NVFP4-Quantisierung den Speicherbedarf um das 1,7-fache im Vergleich zum ursprünglichen FP8-Format (415 GB vs. 690 GB), was zu erheblichen Steigerungen des Durchsatzes und der Kosteneffizienz führte .

Multi-Token Prediction (MTP)

MTP generiert mehrere Tokens pro Vorwärtsdurchlauf und erhöht so den Durchsatz. Die erste MTP-Unterstützung für DeepSeek V4 kam am dritten Tag von SGLang . Mit MTP übertraf SGLang später 12.000 Tokens pro Sekunde pro GPU auf GB300 NVL72-Hardware .

Optimierte CUDA-Kernel

Nicht alle Optimierungen kamen allein von NVIDIA. SemiAnalysis musste NVIDIAs Open-Source-mHC-Kernel-Startcode für DeepSeek V4s neuartige Architektur reparieren, da TensorRT-LLM anfangs nicht gut mit dem Modell zusammenarbeitete . Dieser Community-Beitrag war für die Inferenz in Produktionsqualität unerlässlich.

SGLang-Serving-Rezepte

LMSYS Org erzielte eine verifizierte 5-fache Durchsatzsteigerung auf NVIDIA GB300 NVL72-Hardware mit SGLang, von etwa 2.200 auf 11.200 Tokens pro Sekunde pro GPU bei etwa 50 Tokens pro Sekunde pro Benutzer . NVIDIAs Dynamo-Support-Matrix listet lmsysorg/sglang:deepseek-v4-blackwell als unterstützte Konfiguration .

Zusammen liefern diese Optimierungen einen bis zu 20-fach höheren Durchsatz pro GPU auf Blackwell .

Spezifikationen der DeepSeek V4-Modellfamilie

DeepSeek V4 wurde am 24. April 2026 unter der MIT-Lizenz als zweistufige Modellfamilie veröffentlicht .

Quellen:

Die hybride Aufmerksamkeitsarchitektur kombiniert Compressed Sparse Attention (CSA) und Heavily Compressed Attention (HCA) und erreicht nur 27% der Einzeltoken-Inferenz-FLOPs von DeepSeek-V3.2 bei 1M-Token-Kontext . Diese Effizienz macht Millionen-Token-Kontexte für KI-Agenten rechenbar.

Inferenzanbieter, die diese Optimierungen bereits nutzen

Mehrere Anbieter und Inferenz-Engines haben NVIDIAs Software-Optimierungen für DeepSeek V4 auf Blackwell bereitgestellt:

• LMSYS Org (SGLang) – erzielte eine verifizierte 5-fache Durchsatzsteigerung auf NVIDIA GB300 NVL72-Hardware (23. Juni 2026) . NVIDIAs Dynamo-Support-Matrix listet lmsysorg/sglang:deepseek-v4-blackwell als unterstützte Konfiguration . SGLang übertraf auch 12K Tok/s pro GPU auf derselben Hardware .
• NVIDIA NIM – NVIDIAs eigener Inferenz-Mikroservice-Stack bietet DeepSeek-V4-Pro-Endpunkte über den NVIDIA API-Katalog .
• vLLM – die Open-Source-Inferenz-Engine lieferte DeepSeek V4-Unterstützung innerhalb von Tagen nach dem Launch, integriert mit NVIDIA Dynamo für verteilte Inferenz auf GB200 .
• TensorRT-LLM – NVIDIAs eigene optimierte Laufzeitumgebung, obwohl die frühe Einführung Probleme mit dem mHC-Kernel-Code hatte, die SemiAnalysis half zu beheben .
• DeepInfra – bietet DeepSeek V4 Pro-Endpunkte zu $0,435/M Input und $0,87/M Output Tokens .
• Together AI, Fireworks AI, Baseten – NVIDIAs Blog stellt eine breite Bereitstellung über GPU-beschleunigte Cloud-Endpunkte fest, wobei diese Anbieter die Kosten pro Token um bis zu das 10-fache im Vergleich zu Hopper senken .

Anbieter wie Together AI und Baseten senkten die Kosten pro Token nach der Einführung von Blackwell um bis zu 90% im Vergleich zu Hopper, so NVIDIA .

NVIDIAs wirtschaftliche Einordnung für KI-Agenten-Workloads

NVIDIA positioniert die Kosten pro Token als die wichtigste Kennzahl für die Gesamtbetriebskosten (TCO) der Inferenz – und lehnt ältere Kennzahlen wie Kosten pro GPU-Stunde oder FLOPS pro Dollar ausdrücklich ab . Jensen Huang erklärte im April 2026, dass "NVIDIAs Kosten pro Token die niedrigsten der Welt sind", und bezeichnete dies als "ein direktes Ergebnis architektonischer Exzellenz und extremen Co-Designs" .

Die Begründung für diese Kennzahlverschiebung ist direkt mit KI-Agenten verbunden:

KI-Agenten-Workloads sind rechenexplosiv bei der Inferenz

Da KI von einmaligen Antworten zu mehrschrittigem Denken übergeht – Planen, Kontextabruf, Werkzeugnutzung, Reflektieren und Selbstkorrektur – kann die Anzahl der pro Abfrage generierten Tokens um das 100- bis 1.000-fache steigen . Eine einzige mehrschrittige Agentenaufgabe kann zwischen $0,10 und $1,00 an Inferenzkosten verursachen . Eine Gartner-Analyse vom März 2026 bestätigte, dass KI-Agenten-Modelle 5–30x mehr Tokens pro Aufgabe benötigen als Standard-Chatbots .

Inferenz ist jetzt der dominierende Kostenfaktor

Branchenschätzungen zufolge fließen 55–80% der KI-GPU-Ausgaben von Unternehmen in die Inferenz, nicht ins Training . Deloitte schätzt, dass die Inferenz im Jahr 2026 etwa zwei Drittel aller KI-Berechnungen ausmacht, gegenüber einem Drittel im Jahr 2023 . Die Inferenz macht auch 80 bis 90 Prozent der Lebenszykluskosten eines produktiven KI-Systems aus .

Software-Optimierung setzt massiven Wert ohne neue Hardware frei

NVIDIA bezeichnet dies explizit als strategischen Vorteil: "NVIDIA erzielte eine 5-fache Reduzierung der Kosten pro Token allein durch TensorRT-LLM-Optimierung innerhalb von zwei Monaten nach dem Blackwell-Launch, ohne Hardwareänderung" . Auf Rechenzentrumsebene entscheidet eine 5-fache Reduzierung der Kosten pro Token direkt darüber, ob KI-Agenten-Workloads wirtschaftlich werden . NVIDIAs Inferenz-Software senkt die Token-Kosten noch lange nach der Bereitstellung der KI-Infrastruktur weiter .

Kosten pro Token ist die "einzige TCO-Kennzahl, die zählt"

NVIDIA argumentiert, dass die Kosten pro Token die einzige Kennzahl sind, die direkt Hardwareleistung, Software-Optimierung, Ökosystemunterstützung und reale Auslastung berücksichtigt . Das Unternehmen veröffentlicht die "niedrigsten Token-Kosten" als sein zentrales Wertversprechen für Blackwell . Der NVIDIA B200 erreicht zwei Cent pro Million Tokens auf GPT-OSS-120B, und die Architektur senkte die Kosten pro Million Tokens um das 15-fache im Vergleich zur Vorgängergeneration .

Zusammenfassend ist NVIDIAs Botschaft klar: KI-Agenten benötigen drastisch mehr Inferenz-Tokens pro Aufgabe; Software-Optimierungen auf Blackwell können diese Token-Kosten um das 5-fache ohne neue Hardware senken und bestimmen so direkt, ob groß angelegte KI-Agenten-Bereitstellungen profitabel sind .