d-Matrix「Raptor」はNVIDIAラックにどう入る？ NVLink Fusionが開く推論チップの新しい接続方法

「PCIeカード」から、ラック全体の構成要素へ

d-MatrixがNVIDIAのNVLink Fusionを採用する意味は、次世代の推論プロセッサー「Raptor」を単体のPCIe接続アクセラレーターとして扱うのではなく、NVIDIAが設計するラックスケールの「AIファクトリー」へネイティブに組み込める点にある。

RaptorはNVLink Fusionのインターフェースを実装し、NVIDIAの液冷対応NVL144/MGX参照アーキテクチャに収まる計画だ。ラック内でデバイス同士を高帯域・低遅延で結ぶスケールアップ接続にはNVLinkを使い、ラックを越えてクラスタを拡張するスケールアウト接続にはSpectrum-Xを使う。35

言い換えれば、d-Matrixは推論向けのXPUを提供しつつ、システムの「配線・接続・運用」の中核はNVIDIAのプラットフォームを活用できる。自前のチップを大規模なデータセンター設備へ載せる際に必要となる設計・検証の負担を抑え、既存のNVIDIAエコシステムに沿って展開しやすくする狙いだ。4

ラックを構成するNVIDIA側の部品

Raptorを搭載するMGXベースのラックには、次のようなNVIDIA製コンポーネントを組み合わせられるとされる。

• NVIDIA Vera CPU
• NVLinkスイッチ
• BlueField-4 DPU（データ処理ユニット）
• ConnectX-9 SuperNIC
• Spectrum-X Ethernetネットワーキング

つまりd-Matrixの担当は主にXPUであり、I/O、ネットワーク、管理・制御系のハードウェア、参照ラック設計といったシステム基盤の多くはNVIDIA側が担う構図になる。56

GPUを置き換えるのではなく、推論の「デコード」を補完

この協業の焦点は、GPUを一括で置き換えることではない。大規模言語モデルの推論では、入力をまとめて処理するプリフィルと、トークンを1つずつ生成するデコードで、求められる特性が異なる。

GPUはプリフィルや汎用計算で引き続き有用である一方、d-Matrixは、モデル重みを繰り返し読み出すデコード処理を主戦場に据える。ここではメモリー容量と帯域幅が特に重要になるため、同社のメモリ中心型アーキテクチャでトークン生成の遅延を下げることを狙う。想定されるのは、GPUとXPUを役割分担させる補完的な推論パイプラインだ。310

容量・帯域幅の公表値は要確認

d-Matrixは、144基のRaptor XPUをNVLinkファブリックで接続するラック構成を掲げ、ラック全体で約2.3TBの3D積層DRAM、ピーク約7.2PB/秒のメモリー帯域幅を目標としている。3

4ビット量子化だけを単純計算した場合、2.3TBは4兆超のパラメーターを格納し得る容量だ。ただし実際には、メタデータ、ランタイム状態、システムのオーバーヘッドが必要であり、搭載可能なモデル規模はモデル形式とソフトウェア実装に左右される。

なお、Raptorについては、1基当たり32GB・100TB/秒という別の公表値も報じられている。144基分として単純に掛け算した値は上記のラック総計と一致しないため、最終製品における有効容量・帯域幅の定義や構成は、正式仕様で確認する必要がある。37

製造・提供のスケジュール

Raptorは、4nmのコンピュートダイとカスタムDRAMを組み合わせる設計と説明されている。d-Matrixは2026年末までのテープアウトを予定し、ラックへ統合した初期システムは2027年第4四半期に提供開始する見通しだ。104

NVIDIAにとっての意味：アクセラレーター以外も含むプラットフォーム化

NVLink Fusionは、専用アクセラレーターを選ぶ顧客がNVIDIAのシステム基盤から完全に離脱しないようにする仕組みとも読める。d-MatrixのXPUが主計算チップであっても、NVIDIAはラックアーキテクチャ、ファブリック、スイッチ、CPU、DPU、SuperNIC、Ethernet、周辺ソフトウェアに近いインフラを提供できる。

これは公表された取引条件ではなく、アーキテクチャと商業モデルから導ける戦略上の解釈である。協業の金銭条件は開示されていない。135

NVLink Fusionエコシステムの広がり

d-MatrixはNVLink Fusionのパートナー群に加わった。AWS、Arm、Intel、Fujitsu、MediaTek、Marvellなどもこの取り組みに関係する企業として公表されている。NVIDIAにとっては、NVLinkを自社GPU間の接続技術にとどめず、異種チップを含むAIファクトリー向けのプラットフォーム・インターフェースへ広げる動きと位置付けられる。3

同社は2024年11月に推論アクセラレーター「Corsair」を発表している。資金面では、MicrosoftのM12も参加した2億7500万ドルのシリーズCで企業価値が20億ドルと報じられ、累計調達額は約4億5000万ドルとされる。後者は1回の4億5000万ドル調達を意味する数字ではない。2

またParaSailは、CorsairとNVIDIA GPUの組み合わせで最大10倍の推論速度改善を報告している。ただし、これは企業・顧客側による性能主張であり、独立したベンチマークではない。12