d-Matrix встраивает Raptor в ИИ-стойки NVIDIA через NVLink Fusion

d-Matrix намерена использовать NVLink Fusion, чтобы Raptor стал штатным участником стоечной архитектуры NVIDIA для «ИИ-фабрик», а не отдельным ускорителем инференса на PCIe. Для заказчика это означает возможность применять ориентированный на память XPU для задач с жёсткими требованиями к задержке, сохраняя при этом инфраструктуру NVIDIA: внутреннюю фабрику соединений, сеть, управляющие компоненты и готовую конструкцию стойки. 35

Как Raptor подключается к стойке NVIDIA

Raptor должен реализовать интерфейс NVLink Fusion и интегрироваться в жидкостно охлаждаемую эталонную архитектуру NVIDIA NVL144/MGX. NVLink обеспечивает высокую пропускную способность и низкую задержку для объединения устройств внутри системы (scale-up), а Spectrum-X отвечает за соединение систем и стоек между собой (scale-out). 35

Иными словами, d-Matrix поставляет специализированный XPU, но значительная часть «обвязки» вычислительного комплекса остаётся на стороне NVIDIA.

Из чего будет состоять такая система

В стойке на базе Raptor могут применяться:

• процессоры NVIDIA Vera;
• коммутаторы NVLink;
• DPU NVIDIA BlueField-4;
• сетевые адаптеры ConnectX-9 SuperNIC;
• Ethernet-сеть NVIDIA Spectrum-X.

Таким образом, NVIDIA предоставляет вычислительную платформу, ввод-вывод, сеть, средства управления и референсный дизайн стойки, а d-Matrix добавляет XPU для инференса. 5

Зачем выделять инференс в отдельный XPU

GPU по-прежнему подходят для префилла модели — первоначальной обработки запроса — и универсальных вычислений. d-Matrix, напротив, нацеливает Raptor на этап декодирования, когда модель генерирует ответ токен за токеном и многократно обращается к своим весам. На этой стадии особенно важны объём и пропускная способность памяти.

Предполагаемая схема — не полная замена GPU, а совместный конвейер GPU–XPU: GPU выполняет одни части нагрузки, а Raptor ускоряет чувствительную к задержке генерацию токенов. 310

Память и пропускная способность: что заявлено

d-Matrix заявляет для стойки до 144 Raptor XPU, 2,3 ТБ 3D-стековой DRAM и суммарную пропускную способность памяти 7,2 ПБ/с. При делении этих стоечных показателей на 144 получается примерно 16 ГБ памяти и 50 ТБ/с на XPU. В принципе 2,3 ТБ достаточно для хранения модели более чем с четырьмя триллионами параметров при 4-битном представлении, однако реальный доступный размер модели будет меньше и зависит от метаданных, состояния выполнения и накладных расходов программного стека. 3

При этом в отдельных публикациях о Raptor приводятся другие характеристики одного ускорителя — 32 ГБ и 100 ТБ/с. Поэтому параметры уровня отдельного XPU и агрегированные показатели стойки следует воспринимать как предварительные до появления окончательных спецификаций продукта. 312

Сроки выпуска

Raptor описывается как решение с 4-нм вычислительным кристаллом и специализированной DRAM. d-Matrix рассчитывает завершить tape-out к концу 2026 года, а первые интегрированные в стойку системы ожидаются в IV квартале 2027 года. 104

Что получает NVIDIA

Для NVIDIA NVLink Fusion позволяет удерживать специализированные сторонние ускорители внутри собственной платформы, вместо того чтобы отдавать всю систему альтернативной экосистеме. Даже если основной чип инференса произведён не NVIDIA, компания может поставлять фабрику NVLink, коммутаторы, CPU, DPU, SuperNIC, Ethernet-инфраструктуру и элементы программно-инфраструктурного слоя.

Это вывод из архитектуры и модели поставки, а не раскрытая сторонами информация об экономике сделки. 35

Значение для экосистемы

d-Matrix вошла в число участников инициативы NVLink Fusion. Среди публично связанных с ней партнёров также упоминались AWS, Arm, Intel, Fujitsu, MediaTek и Marvell. Цель стратегии — превратить NVLink в платформенный интерфейс для разнородного оборудования ИИ-фабрик и расширить роль NVIDIA с поставщика ускорителей до поставщика всей окружающей системной фабрики. 3

Контекст d-Matrix и условия сделки

В ноябре 2024 года d-Matrix представила ускоритель инференса Corsair. В более позднем финансировании участвовал венчурный фонд Microsoft M12: раунд Series C на 275 млн долларов оценил компанию в 2 млрд долларов, а совокупный объём привлечённого финансирования в отдельных сообщениях указывался примерно в 450 млн долларов. Эти цифры не следует считать одним раундом на 450 млн долларов. 26

ParaSail сообщала об ускорении инференса до десяти раз при совместном использовании Corsair и GPU NVIDIA, но это заявление компании или клиента, а не независимый бенчмарк. 12

Финансовые условия сотрудничества d-Matrix и NVIDIA не раскрывались. 1