AIクラスタの性能は、GPUやAIアクセラレータの速さだけでは決まりません。多数のチップがデータをやり取りする際、通信が滞れば、高価なアクセラレータは次の計算を待つだけになります。
QualcommとCornelis Networksが打ち出した協業は、まさにこの「待ち時間」を減らす狙いです。焦点は、AIインフラにおけるネットワークを単なる転送経路ではなく、処理にも関与する層へ変えられるかにあります。とりわけ、推論処理の拡大や、異なる種類の計算資源を組み合わせるヘテロジニアスなクラスタで重要になるテーマです。
ただし、ここで注意したい点があります。今回発表されたのは戦略的協業とAI Infra Summitでの共同登壇であり、QualcommとCornelisが共同開発した製品をすでに出荷するという発表ではありません。Qualcommは、オープンでプログラマブルなファブリックというCornelisの構想が、AI基盤の利用率と経済性を高める自社の考え方に合致するとしています。
5
7
ネットワークを「能動的な計算層」にする
Cornelisが掲げるアーキテクチャがActive Compute Fabricです。一般的にスイッチやネットワークインターフェースは、パケットを目的地へ転送する役割が中心です。これに対しActive Compute Fabricでは、ファブリック内にプログラマブルな計算機能とアクセラレーションを組み込みます。
Cornelisによると、データがネットワークを通過する間に、通信処理や集団通信(collective)に関わる作業の一部を実行できるため、処理をすべてホストCPUやAIアクセラレータ側へ負わせずに済むといいます。
5
15
対象は、性質の異なる2種類の接続です。
- スケールアウト:クラスタ内でサーバー/ノード同士を接続するネットワーク
- スケールアップ:ラック規模のシステム内でアクセラレータ同士をより密に接続するネットワーク
分散AIでは、多数のアクセラレータ間で同期やデータ集約が繰り返されます。こうした通信、とくに多数の送信元が一つの受信先へ集中する通信はボトルネックになりやすく、GPUなどが入力待ちになる原因になります。Cornelisの狙いは、データ移動を原因とする待機を抑え、アクセラレータの稼働時間をモデル実行により多く振り向けることです。
1
21
ロスレス転送とネットワーク内処理は何を変えるのか
Active Compute Fabricは、ロスレス転送、ファブリック内アクセラレーション、プログラマブルコンピュートの3要素を組み合わせる構想です。
5
すでに提供されているOmni-PathベースのCN5000では、Cornelisは次の仕組みを挙げています。
- 受信側のバッファー空き容量を基準に送信を制御する、クレジットベースのロスレス転送
- パケット単位で経路を選ぶ細粒度の適応ルーティング
- 多対一の通信集中を検知・緩和するフロー制御
- 局所的なエラーを即時に訂正するリンクレベル再送
同社の説明では、これらはバッファーあふれや輻輳によるデータ配信の乱れを抑えるための仕組みです。
18
仮に通信が安定して完了し、アクセラレータ側の通信処理負荷を小さくできれば、アクセラレータの実効利用率は上げられます。AI基盤では計算ハードウェアの投資額が非常に大きいため、ネットワークへの投資によって計算資源の遊休を減らせるなら、学習・推論の実質コストや設備投資効率(ROI)の改善につながる可能性があります。
もっとも、これは設計上の仮説であって、確立した普遍的なベンチマーク結果ではありません。Cornelisは性能比較や利用率に関する主張を公表していますが、導入側は自社のモデル、集団通信のパターン、ソフトウェアスタック、クラスタ構成で検証する必要があります。
15
製品ロードマップ:今使えるもの、これからのもの
この構想を評価するうえでは、各製品の成熟度を分けて見る必要があります。
- CN5000:400Gb/sのエンドツーエンドOmni-Pathスケールアウト・ファブリック。SuperNIC、スイッチ、ソフトウェア、ケーブルを含む構成で、CornelisはAIとHPC向けのロスレスかつ輻輳制御された製品として位置付けています。すでに出荷済みです。
17
- CN6000:AI学習、推論、HPC向けの次世代インテリジェント・ネットワーキング・プラットフォーム。報道ではEthernet対応を追加し、より広い提供に向けて準備中とされています。Cornelisは次世代スケールアウト製品群の一部と説明しています。
6
8
- CN7000:ネイティブなスケールアップ向けとして計画されている製品。ラック内でアクセラレータを密結合する、NVLink型インターコネクトに対する直接的な代替候補として最も重要な位置にあります。ただし、NVIDIAのスケールアップ技術の置き換えとして広く導入済みの製品ではありません。
2
19
つまりCornelisは、商用のスケールアウト製品をすでに持つ一方、Active Compute Fabricのうちスケールアップに関する最も野心的な部分は、まだ将来のロードマップに属します。
「オープン」と「異種混在」が売りになる理由
Cornelisは、スケールアップとスケールアウトをまたぐオープンなアーキテクチャとしてActive Compute Fabricを位置付けています。ロードマップでは、特定のアクセラレータ供給元に紐付いたネットワークではなく、Ethernet、Ultra Ethernet、RoCE、UALink関連の技術を参照しています。
11
19
これは、選択肢を重視するインフラ運用者にとって魅力になり得ます。原理的には、GPU、CPU、独自設計のアクセラレータなどを組み合わせ、計算チップの選択とネットワークの選択を分離できるためです。CornelisはCN5000について、AMD、Intel、NVIDIAなどのアクセラレータとの相互運用性をうたっています。
23
一方で、オープンで異種混在の基盤には実行力が問われます。部品単位での互換性だけでなく、システム全体としてのソフトウェア成熟度、安定した相互運用性、ハードウェア供給量を示さなければなりません。
Qualcommのデータセンター戦略にどうつながるか
Cornelisとの関係は、QualcommがAIデータセンター向けの計算と接続の両方で存在感を高めようとする動きの一部とみられます。
QualcommとAmazonは、大規模AI推論向けのカスタムシリコンと、最大1.6Tb/sの光接続を対象に、複数世代にわたる協業を発表しています。Reutersは、この長期的な取り決めの条件に従い、AmazonがQualcommのAIデータセンター向けチップおよび関連製品を最大600億ドル分購入する可能性があると報じました。
33
24
またQualcommは、Alphawave Semiの買収を完了しました。同社は、高速有線接続技術がOryon CPUとHexagon NPUを補完すると説明しています。
44
これらを合わせると、QualcommはAIインフラの「計算」と「接続」の双方に関与する戦略を進めていると読めます。Cornelisはそこに、オープンなネットワーキングという選択肢を加える可能性があります。ただし両社は、統合済みの完成プラットフォームを発表したわけではありません。
NVIDIAに対抗する「方向性」は示したが、置き換えはまだ先
Cornelisが入ろうとしているのは、NVIDIAがアクセラレータ、ネットワーク、ソフトウェアを深く統合してきた領域です。NVIDIAのInfiniBandやNVLinkは、すでに製品・エコシステムとして広く定着しています。
Active Compute Fabricの魅力は、ネットワーク自体に計算を担わせながら、異種ハードウェアで利用できるモジュール性にあります。単一の独自ファブリックに全面的に依存せず、より広いハードウェア選択肢を確保できるという提案です。
Cornelisは、スケールアップ/スケールアウト製品、製造、導入を進めるために2億500万ドルを調達しました。これは構想を実行に移すための資金面の後押しになります。
5
7
ただし、資金調達やアーキテクチャ発表だけで市場での同等性が証明されるわけではありません。評価を決めるのは、CN6000とCN7000の実際の提供、ソフトウェア対応、相互運用性、供給能力、そして本番環境で再現できる性能です。
現段階でQualcommとCornelisの協業は、「ネットワークを賢くすればAIインフラの利用率を上げられる」「顧客は最高性能だけでなく、オープンな代替手段も求める」という二つの仮説に賭ける取り組みと捉えるのが妥当です。