Huaweiは、ハイパースケールデータセンターでのAI推論向けに、OceanStor M900 Context Memory Storageを発表した。これはアクセラレータのHBMやDRAMを置き換える製品ではない。超大規模なSuperPoDで、長いプロンプトや複数ステップのエージェント処理に伴って膨らむKVキャッシュを、共有かつ拡張可能な層として扱うためのストレージ基盤である。223

なぜKVキャッシュが課題になるのか

大規模言語モデルの推論では、すでに処理したトークンの中間状態をKVキャッシュに保持する。同じ会話の続きを処理する場合や、近い文脈をエージェントが繰り返し参照する場合、このキャッシュを再利用できれば計算の重複を抑えられる。

一方で、極めて長いコンテキストウィンドウやマルチターン推論では、オンチップメモリやDRAMだけでKVキャッシュを抱え続けることが容量・コストの両面で制約になり得る。HuaweiはM900を、その制約に対応するコンテキスト記憶層として位置付ける。

同社によると、**UnifiedBus（Lingqu）**を用いて、ワンホップ接続のPB級グローバル・マルチ階層KVキャッシュを構築する。これにより、KVキャッシュの配置先をアクセラレータメモリとDRAMからSSDまで拡張するという。226

要するに、最も高価で高速なメモリ階層だけにすべての文脈を常駐させるのではなく、より大きな範囲のコンテキストを保存、共有、再利用できるようにする構想だ。

容量の主張：1クラスタ当たり最大64PB

Huaweiは、M900の1クラスタで最大64PBのKVキャッシュを提供できるとしている。また、NPU当たりで利用可能なKVキャッシュをGB級からTB級へ引き上げ、長大なコンテキストを伴うリクエストでのキャッシュヒット率向上を狙うとしている。226

ただし、これはチップ単体のローカルHBMを増量する話ではない。SuperPoD全体で共有するメモリ／ストレージ層の設計であり、実運用での効果は、ソフトウェアがKVキャッシュをどう配置・取得・再利用するか、さらに実際のリクエスト構成がどうなっているかに左右される。

NPUからSSDへワンホップ、ネイティブKVセマンティクス

Huaweiによれば、M900はCPU、ネットワークコントローラ、NANDコントローラを統合するアーキテクチャを採用する。ネイティブのKVセマンティクスを提供し、プロトコル変換やCPUフォワーディングを避けながら、NPUからSSDへワンホップでアクセスできるとしている。2026

同社が公表した主な数値は次の通りである。

• アクセス遅延：約60マイクロ秒
• クラスタ当たりの集約帯域幅：最大40TB/s
• 帯域幅：Huaweiの比較では既存の業界ソリューション比1.5倍26

これらはHuaweiによるベンダー発表の数値だ。発表には、使用したモデル、同時実行数、キャッシュヒット率、クラスタ構成、比較手法といった検証条件の詳細が示されていない。実用的な評価には、代表的な本番ワークロードでの第三者ベンチマークが必要になる。

トークン処理量とSSD耐久性に関する主張

Huaweiは、典型的なAIコーディング推論のシナリオにおいて、トークン処理量が2倍、初回トークン生成時間（TTFT）が半減したと説明している。14 ただし、ベースラインやワークロードの詳細が公開されていないため、この数値をすべてのモデルや推論スタックに一般化することはできない。

また同社は、キャッシュの価値や保持期間を考慮して適切な記憶媒体を選ぶ「KV-aware adaptive storage」も説明している。ハイブリッドメディアと最適化した保持アルゴリズムにより、最大24 DWPD、SSDの読み書き寿命を約16倍に延ばせると主張する。1618

この耐久性についても、実際の書き込み量、キャッシュ管理ポリシー、媒体構成の下で確認する必要がある。

AscendとUnifiedBusを補完する位置付け

M900は単体のストレージ製品というより、Huaweiが示すSuperPoDアーキテクチャの一部として理解するのが適切だ。UnifiedBusは、エージェントAI向けにクラスタとSuperPoDを接続し、リソース共有を支えるインターコネクトとして説明されている。M900はその中で、コンテキストを保持するストレージ層を担う。23

構成を整理すると、

• Ascendアクセラレータが計算処理を担当
• UnifiedBus／Lingquが接続とリソース共有を担当
• OceanStor M900がPB級の永続的・共有型KVキャッシュを提供

という役割分担になる。M900そのものがモデルの演算能力を増やすわけでも、アクセラレータや高速インターコネクトを代替するわけでもない。長大なコンテキストと反復的なエージェント処理によって、KVキャッシュが計算資源と同じほど重要な制約になり得る場面で、メモリ圧迫を緩和することが同製品の狙いだ。223

Huaweiは、ハイパースケールデータセンターでのAI推論向けに、OceanStor M900 Context Memory Storageを発表した。これはアクセラレータのHBMやDRAMを置き換える製品ではない。超大規模なSuperPoDで、長いプロンプトや複数ステップのエージェント処理に伴って膨らむKVキャッシュを、共有かつ拡張可能な層として扱うためのストレージ基盤である。223

なぜKVキャッシュが課題になるのか

大規模言語モデルの推論では、すでに処理したトークンの中間状態をKVキャッシュに保持する。同じ会話の続きを処理する場合や、近い文脈をエージェントが繰り返し参照する場合、このキャッシュを再利用できれば計算の重複を抑えられる。

一方で、極めて長いコンテキストウィンドウやマルチターン推論では、オンチップメモリやDRAMだけでKVキャッシュを抱え続けることが容量・コストの両面で制約になり得る。HuaweiはM900を、その制約に対応するコンテキスト記憶層として位置付ける。

同社によると、**UnifiedBus（Lingqu）**を用いて、ワンホップ接続のPB級グローバル・マルチ階層KVキャッシュを構築する。これにより、KVキャッシュの配置先をアクセラレータメモリとDRAMからSSDまで拡張するという。226

要するに、最も高価で高速なメモリ階層だけにすべての文脈を常駐させるのではなく、より大きな範囲のコンテキストを保存、共有、再利用できるようにする構想だ。

容量の主張：1クラスタ当たり最大64PB

Huaweiは、M900の1クラスタで最大64PBのKVキャッシュを提供できるとしている。また、NPU当たりで利用可能なKVキャッシュをGB級からTB級へ引き上げ、長大なコンテキストを伴うリクエストでのキャッシュヒット率向上を狙うとしている。226

ただし、これはチップ単体のローカルHBMを増量する話ではない。SuperPoD全体で共有するメモリ／ストレージ層の設計であり、実運用での効果は、ソフトウェアがKVキャッシュをどう配置・取得・再利用するか、さらに実際のリクエスト構成がどうなっているかに左右される。

NPUからSSDへワンホップ、ネイティブKVセマンティクス

Huaweiによれば、M900はCPU、ネットワークコントローラ、NANDコントローラを統合するアーキテクチャを採用する。ネイティブのKVセマンティクスを提供し、プロトコル変換やCPUフォワーディングを避けながら、NPUからSSDへワンホップでアクセスできるとしている。2026

同社が公表した主な数値は次の通りである。

• アクセス遅延：約60マイクロ秒
• クラスタ当たりの集約帯域幅：最大40TB/s
• 帯域幅：Huaweiの比較では既存の業界ソリューション比1.5倍26

これらはHuaweiによるベンダー発表の数値だ。発表には、使用したモデル、同時実行数、キャッシュヒット率、クラスタ構成、比較手法といった検証条件の詳細が示されていない。実用的な評価には、代表的な本番ワークロードでの第三者ベンチマークが必要になる。

トークン処理量とSSD耐久性に関する主張

Huaweiは、典型的なAIコーディング推論のシナリオにおいて、トークン処理量が2倍、初回トークン生成時間（TTFT）が半減したと説明している。14 ただし、ベースラインやワークロードの詳細が公開されていないため、この数値をすべてのモデルや推論スタックに一般化することはできない。

また同社は、キャッシュの価値や保持期間を考慮して適切な記憶媒体を選ぶ「KV-aware adaptive storage」も説明している。ハイブリッドメディアと最適化した保持アルゴリズムにより、最大24 DWPD、SSDの読み書き寿命を約16倍に延ばせると主張する。1618

この耐久性についても、実際の書き込み量、キャッシュ管理ポリシー、媒体構成の下で確認する必要がある。

AscendとUnifiedBusを補完する位置付け

M900は単体のストレージ製品というより、Huaweiが示すSuperPoDアーキテクチャの一部として理解するのが適切だ。UnifiedBusは、エージェントAI向けにクラスタとSuperPoDを接続し、リソース共有を支えるインターコネクトとして説明されている。M900はその中で、コンテキストを保持するストレージ層を担う。23

構成を整理すると、

• Ascendアクセラレータが計算処理を担当
• UnifiedBus／Lingquが接続とリソース共有を担当
• OceanStor M900がPB級の永続的・共有型KVキャッシュを提供

という役割分担になる。M900そのものがモデルの演算能力を増やすわけでも、アクセラレータや高速インターコネクトを代替するわけでもない。長大なコンテキストと反復的なエージェント処理によって、KVキャッシュが計算資源と同じほど重要な制約になり得る場面で、メモリ圧迫を緩和することが同製品の狙いだ。223