Este artículo desglosa exactamente qué optimizaciones implementó NVIDIA, cómo es la familia de modelos DeepSeek V4 internamente, qué proveedores de inferencia ya están usando estas mejoras y cómo NVIDIA enmarca la lógica económica detrás de su enfoque en el costo por token.

Optimizaciones de software detrás de la reducción de costo 5x

NVIDIA organiza su stack de optimización de inferencia en tres capas: operaciones de producción, aceleración de aplicaciones y acceso a infraestructura . En estas capas, las técnicas específicas que lograron la mejora de 5x incluyen:

Framework de inferencia NVIDIA Dynamo

Dynamo es un framework de servicio distribuido de código abierto que desagrega las fases de inferencia en diferentes GPUs. Separa el prefill (procesamiento de entrada) del decode (generación de tokens), enruta inteligentemente las solicitudes a la GPU adecuada para evitar cómputo redundante y extiende la memoria de la GPU mediante almacenamiento en caché basado en NVLink a niveles de almacenamiento más rentables . Dynamo es compatible con SGLang, TensorRT-LLM y vLLM, y se integra de forma nativa con estos motores de código abierto . El framework puede aumentar el número de solicitudes atendidas hasta 7x en NVIDIA Blackwell, según lo demostrado en el benchmark InferenceX de SemiAnalysis .

Optimizaciones de TensorRT-LLM

NVIDIA logró una reducción de 5x en el costo por token solo con la optimización de TensorRT-LLM dentro de los dos meses posteriores al lanzamiento de Blackwell, sin ningún cambio de hardware . A escala de centro de datos, una reducción de 5x en el costo por token representa una mejora de cinco veces en la capacidad de generación de ingresos de la misma inversión en infraestructura .

Servicio desagregado (Disaggregated Serving)

Al separar las fases de prefill y decode en diferentes GPUs, el servicio desagregado elimina la contención de recursos y permite optimizar cada fase de forma independiente para sus necesidades específicas . Esta es una característica central del framework NVIDIA Dynamo .

Paralelismo de expertos a gran escala

DeepSeek V4 utiliza una arquitectura de Mezcla de Expertos (MoE) con 384 expertos distribuidos . El enrutamiento optimizado envía tokens a través de estos expertos con un cómputo redundante reducido, mejorando la eficiencia en todo el clúster de GPUs .

Comunicación paralela basada en NVLink

El interconector de alta velocidad de NVIDIA permite una comunicación eficiente de todos contra todos entre expertos, lo cual es crítico para los modelos MoE donde el paralelismo de expertos requiere intercambios frecuentes de datos entre GPUs .

Precisión NVFP4

El uso de precisión de punto flotante de 4 bits para la inferencia reduce los requisitos de ancho de banda de memoria y cómputo sin una pérdida significativa de precisión . Para DeepSeek-V3.2, la cuantización NVFP4 de NVIDIA redujo la huella de memoria en 1.7x en comparación con el formato FP8 original (415 GB vs. 690 GB), lo que generó aumentos significativos en el rendimiento y la eficiencia de costos .

Predicción de múltiples tokens (MTP)

MTP genera múltiples tokens por pasada hacia adelante, aumentando el rendimiento. El primer soporte MTP para DeepSeek V4 llegó el día 3 de la mano de SGLang . Usando MTP, SGLang superó posteriormente los 12K tokens/segundo por GPU en hardware GB300 NVL72 .

Kernels CUDA optimizados

No todas las optimizaciones vinieron solo de NVIDIA. SemiAnalysis tuvo que corregir el código de lanzamiento del kernel mHC (conexiones hiper-restrictivas basadas en variedades) de código abierto de NVIDIA para la novedosa arquitectura de DeepSeek V4, porque TensorRT-LLM inicialmente no funcionaba bien con el modelo . Esta contribución de la comunidad fue esencial para la inferencia de calidad de producción.

Recetas de servicio de SGLang

LMSYS Org logró un aumento de rendimiento verificado de 5x en hardware NVIDIA GB300 NVL72 usando SGLang, pasando de aproximadamente 2,200 a 11,200 tokens por segundo por GPU a aproximadamente 50 tokens por segundo por usuario . La matriz de soporte de NVIDIA Dynamo enumera específicamente lmsysorg/sglang:deepseek-v4-blackwell como una configuración compatible .

En conjunto, estas optimizaciones ofrecen hasta 20 veces más rendimiento por GPU en Blackwell .

Especificaciones de la familia de modelos DeepSeek V4

DeepSeek V4 se lanzó el 24 de abril de 2026 bajo la licencia MIT como una familia de modelos de dos niveles .

Fuentes:

La arquitectura de atención híbrida combina Atención Dispersa Comprimida (CSA) y Atención Altamente Comprimida (HCA), logrando solo el 27% de los FLOPs de inferencia de un solo token de DeepSeek-V3.2 en un contexto de 1M de tokens . Esta eficiencia es lo que hace que los contextos de agente de un millón de tokens sean computacionalmente viables.

Proveedores de inferencia que ya usan estas optimizaciones

Varios proveedores y motores de inferencia han implementado las optimizaciones de software de NVIDIA para DeepSeek V4 en Blackwell:

• LMSYS Org (SGLang): logró un aumento de rendimiento verificado de 5x en hardware NVIDIA GB300 NVL72 (23 de junio de 2026) . La matriz de soporte de NVIDIA Dynamo enumera lmsysorg/sglang:deepseek-v4-blackwell como una configuración compatible . SGLang también superó los 12K tok/s por GPU en el mismo hardware .
• NVIDIA NIM: el propio stack de microservicios de inferencia de NVIDIA ofrece endpoints de DeepSeek-V4-Pro a través del catálogo de API de NVIDIA .
• vLLM: el motor de inferencia de código abierto envió soporte para DeepSeek V4 a los pocos días de su lanzamiento, integrado con NVIDIA Dynamo para inferencia distribuida en GB200 .
• TensorRT-LLM: el runtime optimizado de NVIDIA, aunque la adopción temprana tuvo problemas con el código del kernel mHC que SemiAnalysis ayudó a corregir .
• DeepInfra: ofrece endpoints de DeepSeek V4 Pro a $0.435/M de tokens de entrada y $0.87/M de tokens de salida .
• Together AI, Fireworks AI, Baseten: el blog de NVIDIA señala una implementación amplia a través de endpoints en la nube acelerados por GPU, y estos proveedores redujeron el costo por token hasta 10 veces en comparación con Hopper .

Proveedores como Together AI y Baseten redujeron el costo por token hasta en un 90% en comparación con Hopper después de adoptar Blackwell, según NVIDIA .

El marco económico de NVIDIA para cargas de trabajo de IA agente

NVIDIA posiciona el costo por token como la métrica más importante para el costo total de propiedad (TCO) de la inferencia, rechazando explícitamente métricas más antiguas como el costo por hora de GPU o los FLOPS por dólar . Jensen Huang declaró que "el costo por token de NVIDIA es el más bajo del mundo" en abril de 2026, enmarcándolo como "un resultado directo de la excelencia arquitectónica y el co-diseño extremo" .

El razonamiento detrás de este cambio de métrica está directamente vinculado a la IA agente:

Las cargas de trabajo de agente son explosivas en cómputo de inferencia

A medida que la IA pasa de respuestas únicas a razonamiento de múltiples pasos (planificación, recuperación de contexto, invocación de herramientas, reflexión y autocorrección), la cantidad de tokens generados por consulta puede multiplicarse de 100 a 1,000 veces . Una sola tarea de agente de varios pasos puede costar entre $0.10 y $1.00 en cómputo de inferencia . Un análisis de Gartner de marzo de 2026 confirmó que los modelos de IA agente requieren de 5 a 30 veces más tokens por tarea que los chatbots estándar .

La inferencia es ahora el centro de costos dominante

Las estimaciones de la industria sugieren que del 55 al 80% del gasto empresarial en GPU para IA se destina a la inferencia, no al entrenamiento . Deloitte estima que la inferencia representa aproximadamente dos tercios de todo el cómputo de IA en 2026, frente a un tercio en 2023 . La inferencia también representa del 80 al 90 por ciento del costo de por vida de un sistema de IA en producción .

La optimización del software desbloquea un valor masivo sin nuevo hardware

NVIDIA enmarca esto explícitamente como una ventaja estratégica: "NVIDIA logró una reducción de 5x en el costo por token solo con la optimización de TensorRT-LLM dentro de los dos meses posteriores al lanzamiento de Blackwell, sin ningún cambio de hardware" . A escala de centro de datos, una reducción de 5x en el costo por token determina directamente si las cargas de trabajo de IA agente se vuelven económicamente viables . El software de inferencia de NVIDIA sigue reduciendo los costos de token mucho después de que se implementa la infraestructura de IA .

El costo por token es la "única métrica de TCO que importa"

NVIDIA argumenta que el costo por token es la única métrica que tiene en cuenta directamente el rendimiento del hardware, la optimización del software, el soporte del ecosistema y la utilización del mundo real . La empresa publica el "costo de token más bajo" como su propuesta de valor principal de Blackwell . La NVIDIA B200 logra dos centavos por millón de tokens en GPT-OSS-120B, y la arquitectura redujo el costo por millón de tokens en 15 veces frente a la generación anterior .

En resumen, el mensaje de NVIDIA es claro: la IA agente requiere drásticamente más tokens de inferencia por tarea; las optimizaciones de inferencia a nivel de software en Blackwell pueden reducir esos costos de token en 5x sin nuevo hardware, determinando directamente si las implementaciones de agente a gran escala son rentables .

Este artículo desglosa exactamente qué optimizaciones implementó NVIDIA, cómo es la familia de modelos DeepSeek V4 internamente, qué proveedores de inferencia ya están usando estas mejoras y cómo NVIDIA enmarca la lógica económica detrás de su enfoque en el costo por token.

Optimizaciones de software detrás de la reducción de costo 5x

NVIDIA organiza su stack de optimización de inferencia en tres capas: operaciones de producción, aceleración de aplicaciones y acceso a infraestructura . En estas capas, las técnicas específicas que lograron la mejora de 5x incluyen:

Framework de inferencia NVIDIA Dynamo

Dynamo es un framework de servicio distribuido de código abierto que desagrega las fases de inferencia en diferentes GPUs. Separa el prefill (procesamiento de entrada) del decode (generación de tokens), enruta inteligentemente las solicitudes a la GPU adecuada para evitar cómputo redundante y extiende la memoria de la GPU mediante almacenamiento en caché basado en NVLink a niveles de almacenamiento más rentables . Dynamo es compatible con SGLang, TensorRT-LLM y vLLM, y se integra de forma nativa con estos motores de código abierto . El framework puede aumentar el número de solicitudes atendidas hasta 7x en NVIDIA Blackwell, según lo demostrado en el benchmark InferenceX de SemiAnalysis .

Optimizaciones de TensorRT-LLM

NVIDIA logró una reducción de 5x en el costo por token solo con la optimización de TensorRT-LLM dentro de los dos meses posteriores al lanzamiento de Blackwell, sin ningún cambio de hardware . A escala de centro de datos, una reducción de 5x en el costo por token representa una mejora de cinco veces en la capacidad de generación de ingresos de la misma inversión en infraestructura .

Servicio desagregado (Disaggregated Serving)

Al separar las fases de prefill y decode en diferentes GPUs, el servicio desagregado elimina la contención de recursos y permite optimizar cada fase de forma independiente para sus necesidades específicas . Esta es una característica central del framework NVIDIA Dynamo .

Paralelismo de expertos a gran escala

DeepSeek V4 utiliza una arquitectura de Mezcla de Expertos (MoE) con 384 expertos distribuidos . El enrutamiento optimizado envía tokens a través de estos expertos con un cómputo redundante reducido, mejorando la eficiencia en todo el clúster de GPUs .

Comunicación paralela basada en NVLink

El interconector de alta velocidad de NVIDIA permite una comunicación eficiente de todos contra todos entre expertos, lo cual es crítico para los modelos MoE donde el paralelismo de expertos requiere intercambios frecuentes de datos entre GPUs .

Precisión NVFP4

El uso de precisión de punto flotante de 4 bits para la inferencia reduce los requisitos de ancho de banda de memoria y cómputo sin una pérdida significativa de precisión . Para DeepSeek-V3.2, la cuantización NVFP4 de NVIDIA redujo la huella de memoria en 1.7x en comparación con el formato FP8 original (415 GB vs. 690 GB), lo que generó aumentos significativos en el rendimiento y la eficiencia de costos .

Predicción de múltiples tokens (MTP)

MTP genera múltiples tokens por pasada hacia adelante, aumentando el rendimiento. El primer soporte MTP para DeepSeek V4 llegó el día 3 de la mano de SGLang . Usando MTP, SGLang superó posteriormente los 12K tokens/segundo por GPU en hardware GB300 NVL72 .

Kernels CUDA optimizados

No todas las optimizaciones vinieron solo de NVIDIA. SemiAnalysis tuvo que corregir el código de lanzamiento del kernel mHC (conexiones hiper-restrictivas basadas en variedades) de código abierto de NVIDIA para la novedosa arquitectura de DeepSeek V4, porque TensorRT-LLM inicialmente no funcionaba bien con el modelo . Esta contribución de la comunidad fue esencial para la inferencia de calidad de producción.

Recetas de servicio de SGLang

LMSYS Org logró un aumento de rendimiento verificado de 5x en hardware NVIDIA GB300 NVL72 usando SGLang, pasando de aproximadamente 2,200 a 11,200 tokens por segundo por GPU a aproximadamente 50 tokens por segundo por usuario . La matriz de soporte de NVIDIA Dynamo enumera específicamente lmsysorg/sglang:deepseek-v4-blackwell como una configuración compatible .

En conjunto, estas optimizaciones ofrecen hasta 20 veces más rendimiento por GPU en Blackwell .

Especificaciones de la familia de modelos DeepSeek V4

DeepSeek V4 se lanzó el 24 de abril de 2026 bajo la licencia MIT como una familia de modelos de dos niveles .

Fuentes:

La arquitectura de atención híbrida combina Atención Dispersa Comprimida (CSA) y Atención Altamente Comprimida (HCA), logrando solo el 27% de los FLOPs de inferencia de un solo token de DeepSeek-V3.2 en un contexto de 1M de tokens . Esta eficiencia es lo que hace que los contextos de agente de un millón de tokens sean computacionalmente viables.

Proveedores de inferencia que ya usan estas optimizaciones

Varios proveedores y motores de inferencia han implementado las optimizaciones de software de NVIDIA para DeepSeek V4 en Blackwell:

• LMSYS Org (SGLang): logró un aumento de rendimiento verificado de 5x en hardware NVIDIA GB300 NVL72 (23 de junio de 2026) . La matriz de soporte de NVIDIA Dynamo enumera lmsysorg/sglang:deepseek-v4-blackwell como una configuración compatible . SGLang también superó los 12K tok/s por GPU en el mismo hardware .
• NVIDIA NIM: el propio stack de microservicios de inferencia de NVIDIA ofrece endpoints de DeepSeek-V4-Pro a través del catálogo de API de NVIDIA .
• vLLM: el motor de inferencia de código abierto envió soporte para DeepSeek V4 a los pocos días de su lanzamiento, integrado con NVIDIA Dynamo para inferencia distribuida en GB200 .
• TensorRT-LLM: el runtime optimizado de NVIDIA, aunque la adopción temprana tuvo problemas con el código del kernel mHC que SemiAnalysis ayudó a corregir .
• DeepInfra: ofrece endpoints de DeepSeek V4 Pro a $0.435/M de tokens de entrada y $0.87/M de tokens de salida .
• Together AI, Fireworks AI, Baseten: el blog de NVIDIA señala una implementación amplia a través de endpoints en la nube acelerados por GPU, y estos proveedores redujeron el costo por token hasta 10 veces en comparación con Hopper .

Proveedores como Together AI y Baseten redujeron el costo por token hasta en un 90% en comparación con Hopper después de adoptar Blackwell, según NVIDIA .

El marco económico de NVIDIA para cargas de trabajo de IA agente

NVIDIA posiciona el costo por token como la métrica más importante para el costo total de propiedad (TCO) de la inferencia, rechazando explícitamente métricas más antiguas como el costo por hora de GPU o los FLOPS por dólar . Jensen Huang declaró que "el costo por token de NVIDIA es el más bajo del mundo" en abril de 2026, enmarcándolo como "un resultado directo de la excelencia arquitectónica y el co-diseño extremo" .

El razonamiento detrás de este cambio de métrica está directamente vinculado a la IA agente:

Las cargas de trabajo de agente son explosivas en cómputo de inferencia

A medida que la IA pasa de respuestas únicas a razonamiento de múltiples pasos (planificación, recuperación de contexto, invocación de herramientas, reflexión y autocorrección), la cantidad de tokens generados por consulta puede multiplicarse de 100 a 1,000 veces . Una sola tarea de agente de varios pasos puede costar entre $0.10 y $1.00 en cómputo de inferencia . Un análisis de Gartner de marzo de 2026 confirmó que los modelos de IA agente requieren de 5 a 30 veces más tokens por tarea que los chatbots estándar .

La inferencia es ahora el centro de costos dominante

Las estimaciones de la industria sugieren que del 55 al 80% del gasto empresarial en GPU para IA se destina a la inferencia, no al entrenamiento . Deloitte estima que la inferencia representa aproximadamente dos tercios de todo el cómputo de IA en 2026, frente a un tercio en 2023 . La inferencia también representa del 80 al 90 por ciento del costo de por vida de un sistema de IA en producción .

La optimización del software desbloquea un valor masivo sin nuevo hardware

NVIDIA enmarca esto explícitamente como una ventaja estratégica: "NVIDIA logró una reducción de 5x en el costo por token solo con la optimización de TensorRT-LLM dentro de los dos meses posteriores al lanzamiento de Blackwell, sin ningún cambio de hardware" . A escala de centro de datos, una reducción de 5x en el costo por token determina directamente si las cargas de trabajo de IA agente se vuelven económicamente viables . El software de inferencia de NVIDIA sigue reduciendo los costos de token mucho después de que se implementa la infraestructura de IA .

El costo por token es la "única métrica de TCO que importa"

NVIDIA argumenta que el costo por token es la única métrica que tiene en cuenta directamente el rendimiento del hardware, la optimización del software, el soporte del ecosistema y la utilización del mundo real . La empresa publica el "costo de token más bajo" como su propuesta de valor principal de Blackwell . La NVIDIA B200 logra dos centavos por millón de tokens en GPT-OSS-120B, y la arquitectura redujo el costo por millón de tokens en 15 veces frente a la generación anterior .

En resumen, el mensaje de NVIDIA es claro: la IA agente requiere drásticamente más tokens de inferencia por tarea; las optimizaciones de inferencia a nivel de software en Blackwell pueden reducir esos costos de token en 5x sin nuevo hardware, determinando directamente si las implementaciones de agente a gran escala son rentables .