GB300 NVL72 beskrivs som den nya ”inferens-/träningsarbetshästen” med ett uttalat cost-per-token-perspektiv, vilket speglar branschens skifte mot att operationalisera AI-modeller för realtidsapplikationer i stor skala . Enligt NVIDIA:s produktsida levererar den 1,5 gånger fler täta FP4 Tensor Core FLOPS och 2 gånger högre attention-prestanda jämfört med NVIDIA Blackwell GPU:er
.
Höghastighetsnätverk är en grundläggande pelare i utbyggnaden. NVIDIA GB300 NVL72-systemen kopplas samman med NVIDIA Spectrum-X Ethernet-nätverk, en förlustfri, högenomströmnings Ethernet-fabric som är utformad för att eliminera flaskhalsar i AI-arbetsbelastningar över flera noder .
Installationen använder 400GbE- och 800GbE-interconnects, optiska sändtagare, NVIDIA Spectrum-X Ethernet-switchar och SuperNIC:er . Utan denna fabric skulle skalning av inferens till företagsgenomströmning skapa förlamande latens- och bandbreddsflaskhalsar. NVIDIA Enterprise Reference Architecture för NVL72 AI Factory bekräftar att denna dubbelplansnätverksarkitektur är utformad för att driva företagsdatacenter för AI-träning och inferens i massiv skala, vilket möjliggör realtidsapplikationer och modeller med biljoner parametrar
.
Även om infrastrukturen stöder både träning och inferens , lägger tillkännagivandet tonvikt på ett växande fokus hos företag på AI-inferens (produktionsdistribution) vid sidan av träning. Flera signaler pekar på detta skifte:
Implikationen är tydlig: företag har gått från experimenteringsfasen och söker nu infrastruktur optimerad för att distribuera AI-modeller i stor skala i produktionsmiljöer.
Utöver Vultr-partnerskapet lyfte HPE fram flera relaterade initiativ:
Vultrs val av HPE och NVIDIA signalerar en viktig brytpunkt. Som den största privatägda hyperscalern satsar Vultr på att företagskunder behöver infrastruktur som kan hantera både träning och realtidsinferens i molnskala. Genom att kombinera NVIDIA:s rack-skala GPU-beräkning med HPE:s fabriksarkitektur, flytande kylning och tjänster positionerar Vultr sig för att betjäna nästa våg av AI-arbetsbelastningar – från modellträning till produktionsinferens på modeller med biljoner parametrar.
Comments
0 comments