NVIDIA reduz custos de inferência do DeepSeek V4 em 5x com GPUs Blackwell — e tudo veio do software

Este artigo detalha exatamente quais otimizações a NVIDIA implantou, como é a família de modelos DeepSeek V4 por baixo do capô, quais provedores de inferência já estão usando essas melhorias e como a NVIDIA enquadra a lógica econômica por trás de seu foco no custo por token.

Otimizações de software por trás da redução de 5x nos custos

A NVIDIA organiza sua pilha de otimização de inferência em três camadas: operações de produção, aceleração de aplicativos e acesso à infraestrutura . Nessas camadas, as técnicas específicas que proporcionaram a melhoria de 5x incluem:

Framework de inferência NVIDIA Dynamo

O Dynamo é um framework de serving distribuído de código aberto que desagrega as fases de inferência em diferentes GPUs. Ele separa o prefill do decode, roteia inteligentemente as solicitações para a GPU correta para evitar computação redundante e estende a memória da GPU via cache baseado em NVLink para tiers de armazenamento mais econômicos . O Dynamo suporta SGLang, TensorRT-LLM e vLLM, e integra-se nativamente com esses engines de código aberto . O framework pode aumentar o número de solicitações atendidas em até 7x no NVIDIA Blackwell, conforme demonstrado no benchmark SemiAnalysis InferenceX .

Otimizações TensorRT-LLM

A NVIDIA alcançou uma redução de 5x no custo por token apenas com a otimização do TensorRT-LLM em dois meses após o lançamento do Blackwell, sem qualquer alteração de hardware . Em escala de datacenter, uma redução de 5x no custo por token representa uma melhoria de cinco vezes na capacidade de geração de receita do mesmo investimento em infraestrutura .

Serving desagregado

Ao separar as fases de prefill (processamento de entrada) e decode (geração de tokens) em diferentes GPUs, o serving desagregado elimina a contenção de recursos e permite que cada fase seja otimizada independentemente para suas necessidades específicas . Este é um recurso central do framework NVIDIA Dynamo .

Paralelismo de especialistas em larga escala

O DeepSeek V4 usa uma arquitetura Mixture-of-Experts (MoE) com 384 especialistas distribuídos . O roteamento otimizado despacha tokens por esses especialistas com computação redundante reduzida, melhorando a eficiência em todo o cluster de GPUs .

Comunicação paralela baseada em NVLink

O interconector de alta velocidade da NVIDIA permite comunicação all-to-all eficiente entre especialistas, o que é crítico para modelos MoE onde o paralelismo de especialistas requer trocas frequentes de dados entre GPUs .

Precisão NVFP4

O uso de precisão de ponto flutuante de 4 bits para inferência reduz os requisitos de largura de banda de memória e computação sem perda significativa de precisão . Para o DeepSeek-V3.2, a quantização NVFP4 da NVIDIA reduziu a pegada de memória em 1,7x em comparação com o formato FP8 original (415 GB vs. 690 GB), levando a aumentos significativos de throughput e eficiência de custos .

Predição multi-token (MTP)

O MTP gera múltiplos tokens por passagem direta, aumentando o throughput. O primeiro suporte a MTP para o DeepSeek V4 veio no Dia 3 do SGLang . Usando MTP, o SGLang posteriormente excedeu 12K tokens/segundo por GPU no hardware GB300 NVL72 .

Kernels CUDA otimizados

Nem todas as otimizações vieram apenas da NVIDIA. A SemiAnalysis teve que corrigir o código de kernel mHC (manifold-constrained hyper-connection) de código aberto da NVIDIA para a nova arquitetura do DeepSeek V4, porque o TensorRT-LLM inicialmente não funcionava bem com o modelo . Esta contribuição da comunidade foi essencial para a inferência de qualidade de produção.

Receitas de serving SGLang

O LMSYS Org alcançou um aumento de throughput verificado de 5x no hardware NVIDIA GB300 NVL72 usando SGLang, saltando de aproximadamente 2.200 para 11.200 tokens por segundo por GPU a cerca de 50 tokens por segundo por usuário . A matriz de suporte do NVIDIA Dynamo lista especificamente lmsysorg/sglang:deepseek-v4-blackwell como uma configuração suportada .

Combinadas, essas otimizações entregam até 20x mais throughput por GPU no Blackwell .

Especificações da família de modelos DeepSeek V4

O DeepSeek V4 foi lançado em 24 de abril de 2026, sob licença MIT, como uma família de modelos de dois níveis .

Fontes:

A arquitetura de atenção híbrida combina Compressed Sparse Attention (CSA) e Heavily Compressed Attention (HCA), alcançando apenas 27% dos FLOPs de inferência de token único do DeepSeek-V3.2 em contexto de 1M de tokens . Essa eficiência é o que torna contextos agentivos de um milhão de tokens computacionalmente viáveis.

Provedores de inferência já usando essas otimizações

Vários provedores e engines de inferência já implantaram as otimizações de software da NVIDIA para DeepSeek V4 no Blackwell:

• LMSYS Org (SGLang) — alcançou um aumento de throughput verificado de 5x no hardware NVIDIA GB300 NVL72 (23 de junho de 2026) . A matriz de suporte do NVIDIA Dynamo lista lmsysorg/sglang:deepseek-v4-blackwell como uma configuração suportada . O SGLang também excedeu 12K tok/s por GPU no mesmo hardware .
• NVIDIA NIM — a própria pilha de microsserviços de inferência da NVIDIA oferece endpoints DeepSeek-V4-Pro através do catálogo de API da NVIDIA .
• vLLM — o engine de inferência de código aberto enviou suporte ao DeepSeek V4 em dias após o lançamento, integrado ao NVIDIA Dynamo para inferência distribuída no GB200 .
• TensorRT-LLM — o runtime otimizado da própria NVIDIA, embora a adoção inicial tenha tido problemas com o código do kernel mHC que a SemiAnalysis ajudou a corrigir .
• DeepInfra — oferece endpoints DeepSeek V4 Pro a $0,435/M de entrada e $0,87/M de saída .
• Together AI, Fireworks AI, Baseten — o blog da NVIDIA observa implantação ampla através de endpoints de nuvem acelerados por GPU, com esses provedores reduzindo o custo por token em até 10x em comparação com Hopper .

Provedores como Together AI e Baseten reduziram o custo por token em até 90% em comparação com Hopper após adotar o Blackwell, de acordo com a NVIDIA .

O enquadramento econômico da NVIDIA para cargas de trabalho de IA agêntica

A NVIDIA posiciona o custo por token como a métrica mais importante para o custo total de propriedade (TCO) de inferência — rejeitando explicitamente métricas mais antigas como custo por hora de GPU ou FLOPS por dólar . Jensen Huang declarou que "o custo por token da NVIDIA é o mais baixo do mundo" em abril de 2026, enquadrando-o como "um resultado direto da excelência da arquitetura e do co-design extremo" .

O raciocínio por trás dessa mudança de métrica está diretamente ligado à IA agêntica:

Cargas de trabalho agênticas são explosivas em computação de inferência

À medida que a IA passa de respostas únicas para raciocínio de múltiplas etapas — planejamento, recuperação de contexto, invocação de ferramentas, reflexão e autocorreção — o número de tokens gerados por consulta pode multiplicar por 100x a 1.000x . Uma única tarefa de agente multi-etapas pode custar de $0,10 a $1,00 em computação de inferência . A análise da Gartner de março de 2026 confirmou que os modelos de IA agêntica exigem de 5 a 30x mais tokens por tarefa do que os chatbots padrão .

A inferência é agora o centro de custo dominante

As estimativas da indústria sugerem que 55-80% dos gastos empresariais com GPU de IA vão para inferência, não para treinamento . A Deloitte estima que a inferência representa aproximadamente dois terços de toda a computação de IA em 2026, contra um terço em 2023 . A inferência também é responsável por 80 a 90 por cento do custo vitalício de um sistema de IA de produção .

A otimização de software desbloqueia valor massivo sem novo hardware

A NVIDIA enquadra isso explicitamente como uma vantagem estratégica: "A NVIDIA alcançou uma redução de 5x no custo por token através da otimização do TensorRT-LLM sozinha em dois meses após o lançamento do Blackwell, sem qualquer alteração de hardware" . Em escala de datacenter, uma redução de 5x no custo por token determina diretamente se as cargas de trabalho de IA agêntica se tornam economicamente viáveis . O software de inferência da NVIDIA continua reduzindo os custos de token muito depois de a infraestrutura de IA ser implantada .

Custo por token é a "única métrica de TCO que importa"

A NVIDIA argumenta que o custo por token é a única métrica que contabiliza diretamente o desempenho do hardware, a otimização de software, o suporte do ecossistema e a utilização no mundo real . A empresa publica o "menor custo de token" como sua proposta de valor principal do Blackwell . O NVIDIA B200 alcança dois centavos por milhão de tokens no GPT-OSS-120B, e a arquitetura reduziu o custo por milhão de tokens em 15x em relação à geração anterior .

Em resumo, a mensagem da NVIDIA é clara: a IA agêntica requer dramaticamente mais tokens de inferência por tarefa; as otimizações de inferência em nível de software no Blackwell podem cortar esses custos de token em 5x sem novo hardware, determinando diretamente se as implantações agênticas em larga escala são lucrativas .