GB300 NVL72 je popisován jako „nový pracovní kůň pro inferenci i trénink“ s explicitním důrazem na náklady na token – tedy metriku, která měří hodnotu v samotném výstupu modelu, nikoli jen v hrubém trénovacím výkonu . Podle produktové stránky NVIDIA dosahuje 1,5× vyšší hustoty FP4 Tensor Core FLOPS a 2× vyššího výkonu pro pozornostní mechanismy oproti předchozí generaci GPU Blackwell
.
Zásadním pilířem nasazení je vysokorychlostní síťová infrastruktura. Systémy GB300 NVL72 budou propojeny NVIDIA Spectrum-X Ethernet – bezztrátovou, vysoce propustnou Ethernetovou sítí navrženou tak, aby eliminovala úzká hrdla při multiuzlových AI úlohách .
Nasazení zahrnuje 400GbE a 800GbE propojení, optické transceivery, přepínače NVIDIA Spectrum-X a SuperNIC . Bez této sítě by škálování inference na podnikovou úroveň vytvářelo kritické latence a propustnostní úzká hrdla. NVIDIA Enterprise Reference Architecture pro NVL72 AI Factory potvrzuje, že tato dvourovinná síťová architektura je navržena tak, aby poháněla datová centra pro trénink i inferenci v obrovském měřítku a umožnila aplikace v reálném čase s modely o bilionu parametrů
.
Ačkoli infrastruktura podporuje jak trénování, tak inferenci , oznámení zdůrazňuje rostoucí zaměření podniků na AI inferenci (produkční nasazení) vedle trénování. Několik signálů ukazuje na tento posun:
Důsledek je jasný: podniky opustily fázi experimentování a nyní hledají infrastrukturu optimalizovanou pro nasazování AI modelů v produkčním prostředí ve velkém měřítku.
Kromě partnerství s Vultrem HPE představila několik souvisejících iniciativ:
Volba Vultru pro HPE a NVIDIA signalizuje významný zlom. Jako největší soukromě vlastněný hyperscaler Vultr sází na to, že podniky potřebují infrastrukturu schopnou zvládnout jak trénování, tak inferenci v reálném čase v cloudovém měřítku. Kombinací rackového GPU computingu NVIDIA s tovární architekturou HPE, kapalinovým chlazením a službami se Vultr staví do pozice, která má obsloužit další vlnu podnikových AI úloh – od trénování modelů až po produkční inferenci na modelech s bilionem parametrů.
Comments
0 comments