GB300 NVL72, sektörün yapay zeka modellerini gerçek zamanlı uygulamalar için ölçeklendirme çabasını yansıtan, açık bir "token başına maliyet" (cost-per-token) anlatısına sahip "yeni çıkarım/eğitim iş makinesi" olarak tanımlanıyor . NVIDIA'nın ürün sayfasına göre, NVIDIA Blackwell GPU'larına kıyasla 1,5 kat daha yoğun FP4 Tensor Core FLOPS ve 2 kat daha yüksek dikkat (attention) performansı sunuyor
.
Yüksek bantlı ağ altyapısı, bu yatırımın temel direklerinden biri. NVIDIA GB300 NVL72 sistemleri, çok düğümlü yapay zeka iş yüklerinde darboğazları ortadan kaldırmak için tasarlanmış kayıpsız, yüksek verimli bir Ethernet dokusu olan NVIDIA Spectrum-X Ethernet ağı ile birbirine bağlanıyor .
Yatırım kapsamında 400GbE ve 800GbE ara bağlantıları, optik alıcı-vericiler, NVIDIA Spectrum-X Ethernet anahtarları ve SuperNIC'ler kullanılıyor . Bu altyapı olmadan, çıkarımı kurumsal düzeyde bir verime ölçeklendirmek, dayanılmaz gecikme ve bant genişliği darboğazları yaratırdı. NVIDIA Enterprise Referans Mimarisi, bu çift katmanlı ağ yapısının, gerçek zamanlı uygulamalar ve trilyon parametreli modeller için devasa ölçekte yapay zeka eğitimi ve çıkarımı yapacak şekilde tasarlandığını doğruluyor
.
Altyapı hem eğitimi hem de çıkarımı desteklese de , duyuru kurumsal odakta yapay zeka çıkarımının (üretim dağıtımı) eğitimin yanında giderek daha fazla önem kazandığını vurguluyor. Bu dönüşüme işaret eden birkaç sinyal var:
Buradaki mesaj açık: Şirketler deneme aşamasını geride bıraktı ve artık yapay zeka modellerini üretim ortamlarında ölçeklendirmek için optimize edilmiş altyapı arıyor.
Vultr ortaklığının ötesinde, HPE birkaç önemli girişimi daha duyurdu:
Vultr'ın HPE ve NVIDIA'yı seçmesi, önemli bir dönüm noktasına işaret ediyor. En büyük özel hiper ölçekli bulut sağlayıcısı olarak Vultr, kurumsal müşterilerin hem eğitimi hem de gerçek zamanlı çıkarımı bulut ölçeğinde yönetebilecek bir altyapıya ihtiyaç duyduğuna inanıyor. Vultr, NVIDIA'nın raf ölçekli GPU bilgi işlemini HPE'nin AI fabrikası mimarisi, sıvı soğutma ve hizmetleriyle birleştirerek, trilyon parametreli modellerde model eğitiminden üretim çıkarımına kadar kurumsal yapay zeka iş yüklerinin bir sonraki dalgasına hizmet etmeye hazırlanıyor.