NVIDIA taglia del 5x il costo a token di DeepSeek V4 su Blackwell: la svolta arriva dal software

Framework di inferenza NVIDIA Dynamo

Dynamo è un framework di serving distribuito open-source che separa le fasi di inferenza su diverse GPU. Separa la fase di prefill da quella di decode, instrada intelligentemente le richieste verso la GPU giusta per evitare calcoli ridondanti ed estende la memoria GPU tramite caching basato su NVLink verso livelli di storage più economici . Dynamo supporta SGLang, TensorRT-LLM e vLLM, e si integra nativamente con questi motori open-source . Il framework può aumentare il numero di richieste servite fino a 7x su NVIDIA Blackwell, come dimostrato nel benchmark SemiAnalysis InferenceX .

Ottimizzazioni TensorRT-LLM

NVIDIA ha ottenuto una riduzione del 5x del costo per token attraverso la sola ottimizzazione di TensorRT-LLM entro due mesi dal lancio di Blackwell, senza alcuna modifica hardware . Su scala di datacenter, una riduzione del 5x del costo per token rappresenta un miglioramento quintuplo della capacità di generare ricavi con lo stesso investimento infrastrutturale .

Serving disaggregato

Separando le fasi di prefill (elaborazione dell'input) e decode (generazione del token) su GPU diverse, il serving disaggregato elimina la contesa delle risorse e permette di ottimizzare ogni fase in modo indipendente per le sue esigenze specifiche . Questa è una caratteristica centrale del framework NVIDIA Dynamo .

Parallelismo su vasta scala degli esperti

DeepSeek V4 usa un'architettura Mixture-of-Experts (MoE) con 384 esperti distribuiti . Il routing ottimizzato smista i token tra questi esperti riducendo il calcolo ridondante, migliorando l'efficienza nell'intero cluster di GPU .

Comunicazione parallela basata su NVLink

L'interconnessione GPU ad alta velocità di NVIDIA permette una comunicazione efficiente all-to-all tra gli esperti, aspetto critico per i modelli MoE dove il parallelismo degli esperti richiede frequenti scambi di dati tra GPU .

Precisione NVFP4

L'uso di precisione a virgola mobile a 4 bit per l'inferenza riduce i requisiti di larghezza di banda della memoria e di calcolo senza una perdita significativa di accuratezza . Per DeepSeek-V3.2, la quantizzazione NVFP4 di NVIDIA ha ridotto l'ingombro di memoria di 1,7x rispetto al formato FP8 originale (415 GB contro 690 GB), portando a significativi aumenti di throughput ed efficienza dei costi .

Predizione multi-token (MTP)

L' MTP genera più token per passaggio forward, aumentando il throughput. Il primo supporto MTP per DeepSeek V4 è arrivato al terzo giorno da SGLang . Usando MTP, SGLang ha poi superato i 12.000 token/secondo per GPU su hardware GB300 NVL72 .

Kernel CUDA ottimizzati

Non tutte le ottimizzazioni sono arrivate da NVIDIA. SemiAnalysis ha dovuto correggere il codice di lancio del kernel mHC (manifold-constrained hyper-connection) open-source di NVIDIA per la nuova architettura di DeepSeek V4, perché TensorRT-LLM inizialmente non funzionava bene con il modello . Questo contributo della comunità è stato essenziale per un'inferenza di qualità produttiva.

Ricette di serving SGLang

LMSYS Org ha ottenuto un aumento verificato del 5x del throughput su hardware NVIDIA GB300 NVL72 usando SGLang, passando da circa 2.200 a 11.200 token al secondo per GPU a circa 50 token al secondo per utente . La matrice di supporto di NVIDIA Dynamo elenca specificamente lmsysorg/sglang:deepseek-v4-blackwell come configurazione supportata .

Combinate, queste ottimizzazioni offrono fino a 20x più throughput per GPU su Blackwell .

Specifiche della famiglia di modelli DeepSeek V4

DeepSeek V4 è stato rilasciato il 24 aprile 2026, con licenza MIT, come famiglia di modelli a due livelli .

Fonti:

L'architettura di attenzione ibrida combina Compressed Sparse Attention (CSA) e Heavily Compressed Attention (HCA), raggiungendo solo il 27% dei FLOP di inferenza per singolo token di DeepSeek-V3.2 con contesto da 1 milione di token . Questa efficienza è ciò che rende computazionalmente sostenibili i contesti agentici da un milione di token.

Provider di inferenza che usano già queste ottimizzazioni

Diversi provider e motori di inferenza hanno implementato le ottimizzazioni software di NVIDIA per DeepSeek V4 su Blackwell:

• LMSYS Org (SGLang) — ha ottenuto un aumento verificato del 5x del throughput su hardware NVIDIA GB300 NVL72 (23 giugno 2026) . La matrice di supporto di NVIDIA Dynamo elenca lmsysorg/sglang:deepseek-v4-blackwell come configurazione supportata . SGLang ha anche superato i 12K tok/s per GPU sullo stesso hardware .
• NVIDIA NIM — lo stack di microservizi di inferenza di NVIDIA offre endpoint DeepSeek-V4-Pro attraverso il catalogo API NVIDIA .
• vLLM — il motore di inferenza open-source ha fornito il supporto per DeepSeek V4 entro pochi giorni dal lancio, integrato con NVIDIA Dynamo per l'inferenza distribuita su GB200 .
• TensorRT-LLM — il runtime ottimizzato di NVIDIA, anche se le prime adozioni hanno avuto problemi con il codice del kernel mHC che SemiAnalysis ha aiutato a risolvere .
• DeepInfra — offre endpoint DeepSeek V4 Pro a $0,435/M per input e $0,87/M per output .
• Together AI, Fireworks AI, Baseten — Il blog di NVIDIA nota un'ampia implementazione attraverso endpoint cloud accelerati da GPU, con questi provider che riducono il costo per token fino a 10x rispetto a Hopper .

Provider come Together AI e Baseten hanno ridotto il costo per token fino al 90% rispetto a Hopper dopo l'adozione di Blackwell, secondo NVIDIA .

L'inquadramento economico di NVIDIA per i carichi di lavoro di AI agentica

NVIDIA posiziona il costo per token come la metrica più importante per il costo totale di proprietà (TCO) dell'inferenza — rifiutando esplicitamente metriche più datate come il costo per ora-GPU o i FLOPS per dollaro . Jensen Huang ha dichiarato che "il costo per token di NVIDIA è il più basso al mondo" nell'aprile 2026, inquadrandolo come "un risultato diretto dell'eccellenza architetturale e del co-design estremo" .

Il ragionamento dietro questo cambio di metrica è direttamente legato all'AI agentica:

I carichi di lavoro agentici sono esplosivi dal punto di vista computazionale sull'inferenza

Mentre l'AI passa da risposte singole a ragionamenti multi-step — pianificazione, recupero del contesto, invocazione di strumenti, riflessione e auto-correzione — il numero di token generati per query può moltiplicarsi per 100x o 1.000x . Un singolo task agentico multi-step può costare da $0,10 a $1,00 in potenza di calcolo per inferenza . L'analisi di Gartner del marzo 2026 ha confermato che i modelli di AI agentica richiedono da 5 a 30 volte più token per task rispetto ai chatbot standard .

L'inferenza è ora il centro di costo dominante

Le stime del settore suggeriscono che dal 55 all'80% della spesa aziendale in GPU per l'AI va all'inferenza, non all'addestramento . Deloitte stima che l'inferenza rappresenti circa due terzi di tutta la potenza di calcolo AI nel 2026, rispetto a un terzo nel 2023 . L'inferenza rappresenta anche dall'80 al 90 percento del costo totale di un sistema AI in produzione .

L'ottimizzazione software sblocca un valore immenso senza nuovo hardware

NVIDIA inquadra esplicitamente questo come un vantaggio strategico: "NVIDIA ha ottenuto una riduzione del 5x del costo per token attraverso la sola ottimizzazione di TensorRT-LLM entro due mesi dal lancio di Blackwell, senza alcuna modifica hardware" . Su scala di datacenter, una riduzione del 5x del costo per token determina direttamente se i carichi di lavoro di AI agentica diventano economicamente sostenibili . Il software di inferenza di NVIDIA continua a ridurre i costi dei token molto dopo che l'infrastruttura AI è stata implementata .

Il costo per token è "l'unica metrica TCO che conta"

NVIDIA sostiene che il costo per token sia l'unica metrica che tiene conto direttamente delle prestazioni hardware, dell'ottimizzazione software, del supporto dell'ecosistema e dell'utilizzo nel mondo reale . L'azienda pubblica il "costo per token più basso" come proposta di valore principale di Blackwell . La NVIDIA B200 raggiunge i due centesimi per milione di token su GPT-OSS-120B, e l'architettura ha ridotto il costo per milione di token di 15x rispetto alla generazione precedente .

In sintesi, il messaggio di NVIDIA è chiaro: l'AI agentica richiede molti più token di inferenza per task; le ottimizzazioni software a livello di inferenza su Blackwell possono tagliare quei costi dei token del 5x senza nuovo hardware, determinando direttamente se le implementazioni agentiche su larga scala siano redditizie .