GB300 NVL72被业界称为“新的推理/训练工作马”,其核心叙事围绕“每Token成本”(cost-per-token)展开。这反映了整个行业正在向大规模、实时推理应用转型。根据NVIDIA官方产品页面,与NVIDIA Blackwell GPU相比,该系统的密集FP4 Tensor Core FLOPS提升1.5倍,注意力计算性能提升2倍
。
高带宽网络是该部署的基石。所有NVIDIA GB300 NVL72系统通过NVIDIA Spectrum-X以太网互联——这是一种无损、高吞吐量的以太网架构,专门设计用于消除多节点AI工作负载中的性能瓶颈。
本次部署全面采用400GbE和800GbE互联、光收发器、NVIDIA Spectrum-X以太网交换机及SuperNIC。没有这套网络架构,企业级推理吞吐量将遭遇严重的延迟和带宽瓶颈。NVIDIA官方发布的NVL72 AI工厂企业参考架构确认,这种双平面网络设计正是为了支撑企业级数据中心以超大规模运行AI训练和推理,支持实时应用和万亿参数模型
。
结论很明确:企业已走出AI实验阶段,转而寻求为生产环境中大规模部署AI模型而优化的基础设施。
除了Vultr合作,HPE还发布了多项相关计划:
Vultr选择HPE和NVIDIA,标志着行业的一个重要转折点。作为全球最大的私有超大规模云服务商,Vultr押注企业客户需要既能处理训练、又能处理大规模实时推理的基础设施。通过将NVIDIA的机架级GPU计算与HPE的工厂架构、液冷技术和服务深度结合,Vultr正将自己定位为服务下一波企业AI工作负载的核心伙伴——从模型训练到万亿参数模型的生产级推理。