GB300 NVL72 называют «новой рабочей лошадкой для инференса и обучения» с явным акцентом на стоимость токена, что отражает сдвиг отрасли в сторону эксплуатации ИИ-моделей в реальном времени . Согласно странице продукта NVIDIA, система обеспечивает в 1,5 раза больше плотных вычислений FP4 Tensor Core FLOPS и вдвое более высокую производительность внимания (attention) по сравнению с GPU NVIDIA Blackwell
.
Высокоскоростные сети — фундаментальная опора развертывания. Системы GB300 NVL72 объединяются с помощью сетей NVIDIA Spectrum-X Ethernet — надежной высокопроизводительной Ethernet-структуры, спроектированной для устранения «бутылочных горлышек» в многодневных ИИ-нагрузках .
В состав развертывания входят межсоединения 400GbE и 800GbE, оптические трансиверы, коммутаторы NVIDIA Spectrum-X Ethernet и SuperNIC . Без такой структуры масштабирование инференса до корпоративных объемов создало бы критическую задержку и узкие места пропускной способности. Эталонная архитектура NVIDIA Enterprise для NVL72 AI Factory подтверждает, что такая двухплоскостная сетевая архитектура предназначена для поддержки дата-центров корпоративного класса для обучения и инференса ИИ в огромных масштабах, обеспечивая работу приложений реального времени и моделей с триллионами параметров
.
Хотя инфраструктура поддерживает как обучение, так и инференс , анонс подчеркивает растущий корпоративный фокус на инференс ИИ (промышленное развертывание) наряду с обучением. На это указывают несколько сигналов:
Вывод очевиден: предприятия вышли из фазы экспериментов и теперь ищут инфраструктуру, оптимизированную для развертывания ИИ-моделей в промышленных масштабах.
Помимо партнерства с Vultr, HPE выделила несколько смежных инициатив:
Выбор Vultr в пользу HPE и NVIDIA сигнализирует о важной переломной точке. Будучи крупнейшим частным гиперскейлером, Vultr делает ставку на то, что корпоративным заказчикам нужна инфраструктура, способная одновременно обрабатывать обучение и инференс в реальном времени в облачных масштабах. Комбинируя стоечные GPU-вычисления NVIDIA с фабричной архитектурой HPE, жидкостным охлаждением и услугами, Vultr позиционирует себя для обслуживания следующей волны корпоративных ИИ-нагрузок — от обучения моделей до промышленного инференса на моделях с триллионами параметров.
Comments
0 comments