Jak NVIDIA obniżył koszt tokena DeepSeek V4 o 80% w miesiąc – wyłącznie optymalizacjami softwarowymi

Redukcja kosztu o 5x – wyłącznie dzięki kodowi, nie krzemowi

30 czerwca 2026 roku NVIDIA ogłosiła, że miesiąc optymalizacji pełnego stosu oprogramowania obniżył koszt pojedynczego tokena dla modelu DeepSeek V4 na GPU Blackwell do około jednej piątej wartości z dnia premiery . Osiągnięcie jest tym bardziej znaczące, że pochodzi wyłącznie z kodu – bez nowego układu, bez zmiany architektury systemu . Dla firm i dostawców AI działających na dużą skalę ta 5-krotna poprawa może decydować o opłacalności obciążeń agentowych AI.

W tym artykule dokładnie opisujemy, które optymalizacje NVIDIA wdrożyła, jak wygląda rodzina modeli DeepSeek V4 od środka, którzy dostawcy inferencji już z nich korzystają oraz jak NVIDIA uzasadnia ekonomiczną logikę swojego skupienia na koszcie tokena.

Optymalizacje software'owe stojące za 5-krotną redukcją kosztu

NVIDIA dzieli swój stos optymalizacji na trzy warstwy: operacje produkcyjne, akceleracja aplikacji i dostęp do infrastruktury . Konkretne techniki, które przyniosły 5-krotną poprawę, to:

Framework inferencyjny NVIDIA Dynamo

Dynamo to otwartoźródłowy framework do rozproszonej obsługi, który rozdziela fazy inferencji pomiędzy różne GPU. Oddziela fazę prefill od decode, inteligentnie kieruje zapytania do odpowiedniego GPU, aby uniknąć nadmiarowych obliczeń, i rozszerza pamięć GPU poprzez buforowanie na tańszych warstwach pamięci za pomocą NVLink . Dynamo obsługuje SGLang, TensorRT-LLM i vLLM . Framework może zwiększyć liczbę obsłużonych zapytań nawet 7-krotnie na NVIDIA Blackwell, co udowodnił benchmark SemiAnalysis InferenceX .

Optymalizacje TensorRT-LLM

NVIDIA osiągnęła 5-krotną redukcję kosztu tokena wyłącznie dzięki optymalizacjom TensorRT-LLM w ciągu dwóch miesięcy od premiery Blackwell, bez zmian sprzętowych . W skali centrum danych 5-krotna redukcja kosztu tokena oznacza pięciokrotną poprawę zdolności do generowania przychodów z tej samej inwestycji w infrastrukturę .

Rozdzielona obsługa (disaggregated serving)

Rozdzielenie faz prefill i decode na różne GPU eliminuje konkurencję o zasoby i pozwala optymalizować każdą fazę niezależnie . To kluczowa cecha frameworku NVIDIA Dynamo .

Paralelizm ekspertów na dużą skalę

DeepSeek V4 wykorzystuje architekturę Mixture-of-Experts (MoE) z 384 rozproszonymi ekspertami . Zoptymalizowane routowanie wysyła tokeny do ekspertów przy mniejszej liczbie nadmiarowych obliczeń, poprawiając wydajność całego klastra GPU .

Równoległa komunikacja NVLink

Szybkie połączenie między GPU umożliwia efektywną komunikację „wszyscy do wszystkich” między ekspertami, co jest kluczowe dla modeli MoE .

Precyzja NVFP4

Użycie 4-bitowej precyzji zmiennoprzecinkowej w inferencji zmniejsza wymagania dotyczące pamięci i mocy obliczeniowej bez znaczącej utraty dokładności . Dla DeepSeek-V3.2 kwantyzacja NVFP4 zmniejszyła ślad pamięciowy o 1,7x w porównaniu do oryginalnego formatu FP8 (415 GB vs. 690 GB), co przełożyło się na znaczny wzrost przepustowości i efektywności kosztowej .

Przewidywanie wielu tokenów (Multi-Token Prediction, MTP)

MTP generuje wiele tokenów w jednym przejściu do przodu, zwiększając przepustowość. Pierwsze wsparcie MTP dla DeepSeek V4 pojawiło się trzeciego dnia od premiery w SGLang . Korzystając z MTP, SGLang osiągnął później ponad 12 000 tokenów na sekundę na GPU na sprzęcie GB300 NVL72 .

Zoptymalizowane kernele CUDA

Nie wszystkie optymalizacje pochodziły wyłącznie od NVIDIA. SemiAnalysis musiało naprawić otwartoźródłowy kod kernela mHC (manifold-constrained hyper-connection) dla nowatorskiej architektury DeepSeek V4, ponieważ TensorRT-LLM początkowo nie działał dobrze z modelem . Ten wkład społeczności był niezbędny do produkcyjnej inferencji.

Przepisy serwowania SGLang

LMSYS Org osiągnął potwierdzony 5-krotny wzrost przepustowości na sprzęcie NVIDIA GB300 NVL72 przy użyciu SGLang, skacząc z około 2200 do 11 200 tokenów na sekundę na GPU przy około 50 tokenach na sekundę na użytkownika . Macierz wsparcia NVIDIA Dynamo wymienia lmsysorg/sglang:deepseek-v4-blackwell jako obsługiwaną konfigurację .

Połączone optymalizacje dają do 20x wyższą przepustowość na GPU na Blackwell .

Specyfikacje rodziny modeli DeepSeek V4

DeepSeek V4 został wydany 24 kwietnia 2026 roku na licencji MIT jako dwupoziomowa rodzina modeli .

Specyfikacja	DeepSeek-V4-Pro	DeepSeek-V4-Flash
Całkowita liczba parametrów	1,6 biliona	284 miliardów
Aktywne parametry (na token)	49 miliardów	13 miliardów
Architektura	MoE + Hybrydowa uwaga (CSA + HCA) + mHC	MoE + Hybrydowa uwaga (CSA + HCA) + mHC
Okno kontekstu	1 000 000 tokenów	1 000 000 tokenów
Dane przedtreningowe	32T+ zróżnicowanych tokenów	32T+ zróżnicowanych tokenów
Licencja	MIT (otwarte wagi)	MIT (otwarte wagi)
Precyzja	Mieszana FP4 (eksperci) + FP8 (pozostałe wagi)	Mieszana FP4 (eksperci) + FP8 (pozostałe wagi)
Kluczowa innowacja	Hybrydowa uwaga redukuje FLOPy inferencji na token o 73% i pamięć KV cache o 90% vs. DeepSeek-V3.2	Wariant lekki dla szybkości i niższego kosztu

Źródła:

Hybrydowa architektura uwagi łączy Compressed Sparse Attention (CSA) i Heavily Compressed Attention (HCA), osiągając zaledwie 27% FLOPów inferencji pojedynczego tokena DeepSeek-V3.2 przy kontekście 1M tokenów . Ta wydajność sprawia, że agentowe konteksty o długości miliona tokenów są obliczeniowo opłacalne.

Dostawcy inferencji już korzystający z optymalizacji

Kilku dostawców i silników inferencyjnych wdrożyło optymalizacje NVIDIA dla DeepSeek V4 na Blackwell:

• LMSYS Org (SGLang) – osiągnął potwierdzony 5-krotny wzrost przepustowości na sprzęcie NVIDIA GB300 NVL72 (23 czerwca 2026) . Macierz wsparcia NVIDIA Dynamo wymienia lmsysorg/sglang:deepseek-v4-blackwell jako obsługiwaną konfigurację . SGLang przekroczył również 12K tok/s na GPU na tym samym sprzęcie .
• NVIDIA NIM – własny stos mikroserwisów inferencyjnych NVIDIA oferuje punkty końcowe DeepSeek-V4-Pro poprzez katalog API NVIDIA .
• vLLM – otwartoźródłowy silnik inferencyjny dostarczył wsparcie dla DeepSeek V4 w ciągu kilku dni od premiery, zintegrowany z NVIDIA Dynamo dla rozproszonej inferencji na GB200 .
• TensorRT-LLM – własne zoptymalizowane środowisko uruchomieniowe NVIDIA, choć wczesne wdrożenia miały problemy z kodem kernela mHC, który pomogła naprawić społeczność SemiAnalysis .
• DeepInfra – oferuje punkty końcowe DeepSeek V4 Pro w cenie 0,435 USD/M tokenów wejściowych i 0,87 USD/M tokenów wyjściowych .
• Together AI, Fireworks AI, Baseten – blog NVIDIA odnotowuje szerokie wdrożenie poprzez punkty końcowe w chmurze akcelerowanej GPU, a niektórzy dostawcy obniżyli koszt tokena nawet o 10x w porównaniu z Hopper .

Dostawcy tacy jak Together AI i Baseten obniżyli koszt tokena o 90% w porównaniu z Hopper po adopcji Blackwell, według NVIDIA .

Ekonomiczne argumenty NVIDIA dla obciążeń agentowych AI

NVIDIA pozycjonuje koszt tokena jako najważniejszą miarę całkowitego kosztu posiadania (TCO) inferencji – wyraźnie odrzucając starsze metryki, takie jak koszt za godzinę GPU czy FLOPS za dolara . Jensen Huang oświadczył w kwietniu 2026 roku, że „koszt tokena NVIDIA jest najniższy na świecie”, określając go jako „bezpośredni wynik doskonałości architektonicznej i ekstremalnego współprojektowania” .

Uzasadnienie tej zmiany metryki jest bezpośrednio związane z agentowym AI:

Obciążenia agentowe eksplodują obliczeniowo na inferencji

W miarę jak AI przechodzi od odpowiedzi jednorazowych do wieloetapowego rozumowania – planowania, wyszukiwania kontekstu, wywoływania narzędzi, refleksji i samokorekty – liczba tokenów generowanych na zapytanie może wzrosnąć 100- do 1000-krotnie . Pojedyncze wieloetapowe zadanie agenta może kosztować od 0,10 do 1,00 USD w obliczeniach inferencyjnych . Analiza Gartnera z marca 2026 roku potwierdziła, że modele agentowe AI wymagają 5–30x więcej tokenów na zadanie niż standardowe chatboty .

Inferencja jest teraz dominującym centrum kosztów

Szacunki branżowe wskazują, że 55–80% wydatków przedsiębiorstw na GPU dla AI idzie na inferencję, a nie na trenowanie . Deloitte szacuje, że inferencja stanowi około dwóch trzecich wszystkich obliczeń AI w 2026 roku, w porównaniu do jednej trzeciej w 2023 roku . Inferencja odpowiada również za 80 do 90 procent kosztów w cyklu życia produkcyjnego systemu AI .

Optymalizacja oprogramowania odblokowuje ogromną wartość bez nowego sprzętu

NVIDIA wyraźnie przedstawia to jako strategiczną przewagę: „NVIDIA osiągnął 5-krotną redukcję kosztu tokena wyłącznie dzięki optymalizacjom TensorRT-LLM w ciągu dwóch miesięcy od premiery Blackwell, bez zmian sprzętowych” . W skali centrum danych 5-krotna redukcja kosztu tokena bezpośrednio decyduje o tym, czy obciążenia agentowe AI stają się ekonomicznie opłacalne . Oprogramowanie inferencyjne NVIDIA stale obniża koszty tokenów długo po wdrożeniu infrastruktury AI .

Koszt tokena to „jedyna metryka TCO, która ma znaczenie”

NVIDIA argumentuje, że koszt tokena to jedyna metryka, która bezpośrednio uwzględnia wydajność sprzętu, optymalizację oprogramowania, wsparcie ekosystemu i rzeczywiste wykorzystanie . Firma publikuje „najniższy koszt tokena” jako główną propozycję wartości Blackwell . NVIDIA B200 osiąga dwa centy za milion tokenów na modelu GPT-OSS-120B, a architektura obniżyła koszt za milion tokenów 15-krotnie względem poprzedniej generacji .

Podsumowując, przekaz NVIDIA jest jasny: agentowe AI wymaga dramatycznie więcej tokenów inferencji na zadanie; optymalizacje oprogramowania na Blackwell mogą obniżyć te koszty tokenów 5-krotnie bez nowego sprzętu, bezpośrednio decydując o opłacalności wdrożeń agentowych na dużą skalę .