Le GB300 NVL72 est décrit comme le « nouveau cheval de bataille pour l'inférence et l'entraînement », avec une logique de coût par token, reflétant le virage du secteur vers l'opérationnalisation des modèles IA à grande échelle pour des applications en temps réel . Selon la fiche produit NVIDIA, il offre 1,5x plus de FLOPS Tensor Core FP4 denses et 2x plus de performances d'attention par rapport aux GPU NVIDIA Blackwell
.
Le réseau à haute bande passante est un pilier fondamental du déploiement. Les systèmes NVIDIA GB300 NVL72 sont interconnectés via le réseau Ethernet NVIDIA Spectrum-X, une structure Ethernet sans perte et à haut débit conçue pour éliminer les goulots d'étranglement dans les charges de travail IA multi-nœuds .
Le déploiement comprend des interconnexions 400GbE et 800GbE, des émetteurs-récepteurs optiques, des commutateurs Ethernet NVIDIA Spectrum-X et des SuperNICs . Sans cette structure, passer à l'échelle de l'inférence pour un débit de niveau entreprise créerait des latences et des goulots d'étranglement de bande passante rédhibitoires. L'architecture de référence NVIDIA Enterprise pour l'AI Factory NVL72 confirme que cette architecture réseau à double plan est conçue pour alimenter les data centers d'entreprise pour l'entraînement et l'inférence IA à une échelle massive, permettant des applications en temps réel et des modèles à 1 000 milliards de paramètres
.
Bien que l'infrastructure supporte à la fois l'entraînement et l'inférence , l'annonce met l'accent sur l'intérêt croissant des entreprises pour l'inférence IA (le déploiement en production) parallèlement à l'entraînement. Plusieurs signaux indiquent ce changement :
L'implication est claire : les entreprises ont dépassé la phase d'expérimentation et recherchent désormais une infrastructure optimisée pour déployer des modèles IA à grande échelle dans des environnements de production.
Au-delà du partenariat avec Vultr, HPE a mis en avant plusieurs initiatives connexes :
Le choix de Vultr en faveur de HPE et NVIDIA marque un point d'inflexion majeur. En tant que plus grand hyperscaler privé, Vultr parie que les clients entreprises ont besoin d'une infrastructure capable de gérer à la fois l'entraînement et l'inférence en temps réel à l'échelle du cloud. En combinant le calcul GPU rack-scale de NVIDIA avec l'architecture d'usine, le refroidissement liquide et les services de HPE, Vultr se positionne pour servir la prochaine vague de charges de travail IA en entreprise – de l'entraînement de modèles à l'inférence de production sur des modèles à 1 000 milliards de paramètres.
Comments
0 comments