GB300 NVL72 俾人形容為「新嘅 inference/training 主力機」,有明確嘅 cost-per-token 論述,反映業界而家係要將 AI 模型大規模商業化用喺即時應用 。根據 NVIDIA 產品頁面,佢嘅密集 FP4 Tensor Core FLOPS 比 NVIDIA Blackwell GPU 多 1.5 倍,注意力性能高 2 倍
。
高頻寬網絡係成個部署嘅基石。NVIDIA GB300 NVL72 系統用 NVIDIA Spectrum-X Ethernet 網絡 連接,呢個係一個無損、高吞吐量嘅乙太網結構,專門消除多節點 AI 工作負載嘅瓶頸 。
部署包括 400GbE 同 800GbE 互連、光收發器、NVIDIA Spectrum-X Ethernet 交換機同上級 NIC 。無咗呢個網絡結構,將推理擴展到企業級吞吐量就會造成致命嘅延遲同頻寬瓶頸。NVIDIA 企業參考架構確認咗呢個雙平面網絡設計係用嚟推動大規模 AI 訓練同推理嘅企業數據中心,支援即時應用同萬億參數模型
。
意思好清楚:企業已經過咗實驗階段,而家係要搵專為生產環境部署 AI 模型而優化嘅基建。
除咗 Vultr 合作之外,HPE 仲宣佈咗幾項相關計劃:
Vultr 揀 HPE 同 NVIDIA 係一個重要嘅轉捩點。作為全球最大嘅私營超大規模雲商,Vultr 賭嘅係企業客戶需要嘅基建要同時應付訓練同即時推理,仲要達到雲級規模。將 NVIDIA 嘅機架級 GPU 運算同 HPE 嘅工廠架構、液冷技術同服務結合埋一齊,Vultr 係要自己做下一波企業 AI 工作負載嘅主要供應商——由模型訓練到萬億參數模型嘅生產推理。
Comments
0 comments