El GB300 NVL72 se describe como el "nuevo caballo de batalla para inferencia/entrenamiento" con una narrativa explícita de coste por token, lo que refleja el giro de la industria hacia la operacionalización de modelos de IA a escala para aplicaciones en tiempo real . Según la página de producto de NVIDIA, ofrece 1,5 veces más FLOPS Tensor Core FP4 densos y 2 veces más rendimiento de atención en comparación con las GPU NVIDIA Blackwell
.
Las redes de alta velocidad son un pilar fundamental del despliegue. Los sistemas NVIDIA GB300 NVL72 están interconectados mediante redes Ethernet NVIDIA Spectrum-X, una estructura Ethernet de alto rendimiento y sin pérdidas diseñada para eliminar cuellos de botella en cargas de trabajo de IA multinodo .
El despliegue incluye interconexiones de 400GbE y 800GbE, transceptores ópticos, switches Ethernet NVIDIA Spectrum-X y SuperNICs . Sin esta estructura, escalar la inferencia a un rendimiento de nivel empresarial crearía latencia y cuellos de botella de ancho de banda paralizantes. La Arquitectura de Referencia Empresarial de NVIDIA para la Fábrica de IA NVL72 confirma que esta arquitectura de red de doble plano está diseñada para alimentar centros de datos empresariales para entrenamiento e inferencia de IA a escala masiva, permitiendo aplicaciones en tiempo real y modelos de billones de parámetros
.
Si bien la infraestructura es compatible tanto con entrenamiento como con inferencia , el anuncio enfatiza un creciente enfoque empresarial en la inferencia de IA (despliegue en producción) junto con el entrenamiento. Varias señales apuntan a este cambio:
La implicación es clara: las empresas han superado la fase de experimentación y ahora buscan infraestructura optimizada para desplegar modelos de IA a escala en entornos de producción.
Más allá de la alianza con Vultr, HPE destacó varias iniciativas relacionadas:
La elección de Vultr por HPE y NVIDIA señala un punto de inflexión importante. Como el hyperscaler privado más grande, Vultr apuesta a que los clientes empresariales necesitan una infraestructura que pueda manejar tanto el entrenamiento como la inferencia en tiempo real a escala de nube. Al combinar la informática a escala de rack de NVIDIA con la arquitectura de fábrica, la refrigeración líquida y los servicios de HPE, Vultr se posiciona para servir a la próxima ola de cargas de trabajo de IA empresarial, desde el entrenamiento de modelos hasta la inferencia en producción en modelos de billones de parámetros.
Comments
0 comments