GB300 NVL72 beskrives som den "nye inferens-/træningsarbejdshest" med et eksplicit fokus på omkostninger per token, hvilket afspejler industriens drejning mod at operationalisere AI-modeller i stor skala til realtidsapplikationer . Ifølge NVIDIA's produktside leverer den 1,5 gange flere tætte FP4 Tensor Core FLOPS og 2 gange højere attention-ydelse sammenlignet med NVIDIA Blackwell GPU'er
.
Højhastigheds-netværk er en grundlæggende søjle i udrulningen. NVIDIA GB300 NVL72-systemerne forbindes via NVIDIA Spectrum-X Ethernet-netværk – en tabsfri Ethernet-fabric med høj gennemstrømning, designet til at eliminere flaskehalse i multi-node AI-workloads .
Udrulningen inkluderer 400GbE- og 800GbE-interconnect, optiske transceivere, NVIDIA Spectrum-X Ethernet-switches og SuperNIC'er . Uden denne fabric ville skalering af inferens til enterprise-gennemstrømning skabe alvorlige latens- og båndbreddeproblemer. NVIDIA Enterprise Reference Architecture for NVL72 AI Factory bekræfter, at denne dual-plane-netværksarkitektur er designet til at drive virksomhedsdatacentre til AI-træning og inferens i massiv skala, hvilket muliggør realtidsapplikationer og trillion-parameter-modeller
.
Selvom infrastrukturen understøtter både træning og inferens , lægger annonceringen vægt på en voksende tendens: AI-inferens (produktionsimplementering) bliver lige så vigtig som træning. Flere signaler peger på dette skift:
Implikationen er klar: Virksomhederne er gået fra eksperimenteringsfasen og søger nu infrastruktur optimeret til at implementere AI-modeller i stor skala i produktionsmiljøer.
Ud over Vultr-partnerskabet fremhævede HPE flere relaterede initiativer:
Vultrs valg af HPE og NVIDIA markerer et stort vendepunkt. Som den største privatejede hyperscaler satser Vultr på, at virksomheder har brug for infrastruktur, der kan håndtere både træning og realtidsinferens i cloud-skala. Ved at kombinere NVIDIA's rack-skala GPU-computing med HPE's fabriksarkitektur, væskekøling og services positionerer Vultr sig til at betjene den næste bølge af enterprise AI-workloads – fra modeltræning til produktionsinferens på trillion-parameter-modeller.
Comments
0 comments