トークン数だけでは計算需要は測れない

大規模言語モデルが処理する文章の基本単位である「トークン」は、需要を測る便利な指標だ。しかし、すべてのトークンが同じ価値や計算負荷を持つわけではない。

単純な会話や分類に使われる低コストの出力は、安価なチップに任せられる。一方、より高性能なモデル、長い推論過程、複数回のツール呼び出しを通じて生み出される「高品質なトークン」は、顧客にとって価値が高い分、より多くの計算資源を消費する。

したがって、総トークン数が増えていても、プレミアムな推論能力の不足はそれ以上に深刻になり得る。市場全体では処理トークンが増えているのに、複雑なタスクで安定した結果を出せるハードウェアが足りない――という状況だ。高品質なトークンの生産能力や、異なる種類の計算資源を組み合わせるシステムへの投資が注目されるのは、この違いがあるためである。

需要は2年余りで1,000倍超に

中国の1日平均のトークン呼び出し量は、2024年初めの約1,000億から、2026年3月には140兆を超えたと報告されている。増加幅は1,000倍以上に達する。

この数字は、AIの利用形態が変わったことを示している。AIは実験的な利用や単発のプロンプトから、消費者向けアシスタント、企業向けソフトウェア、現実の業務を遂行するエージェントへと広がっている。推論はもはや、モデル学習後の補助的な工程ではない。計算資源の消費を押し上げる主要因になりつつある。

なぜソフトウェア最適化が最も早い対策なのか

輸出規制によって先端NVIDIA製品へのアクセスが制限され、ハイエンド製品の供給も限られるなか、同等のプロセッサを短期間で増やすのは難しい。さらに、既存のモデル、ツール、開発手順は特定のソフトウェア基盤に深く依存している。ハードウェアを切り替えるには、大規模な再設計と高い移行コストが伴う。

ソフトウェアの改善は新しい半導体を生み出さないが、手元にあるプロセッサから取り出せる実用的な処理量を増やせる。具体的には、次のような手法がある。

• ワークロードの振り分け：簡単なリクエストを安価な国産アクセラレーターへ送り、複雑な処理のためにNVIDIA製GPUを確保する。
• サービングの効率化：リクエストの束ね方や処理順序を改善し、ハードウェアの待機時間を減らす。
• 資源を意識した展開：リクエストの難易度や顧客価値に応じて、モデルの大きさ、文脈の長さ、回答方法を調整する。
• 異種計算基盤の統合：すべての処理を単一のプラットフォームに限定せず、異なるチップ構成を組み合わせる。

これらは、急増する需要と限られた供給の間をつなぐ現実的な手段だ。ただし、品質が重視される処理まで含めて最先端ハードウェアを完全に代替できるわけではない。

低価格競争が追い打ちをかける

問題をさらに難しくしているのが、推論サービスの価格競争だ。Jefferiesのアナリストは、中国のモデルのトークン当たり価格が、米国の大手企業のサービスに比べて平均で約6分の1だと推定している。

低価格は利用拡大を促す一方、希少な高性能計算資源に投じられる売上を抑える。コーディング支援やAIエージェントは、単純なチャットより多くの処理を必要とするため、中国企業は「需要は急増する」「利用者は安価なサービスを求める」「高性能な推論能力は簡単に増やせない」という三重の圧力に直面している。

この緊張は、サービスの提供状況にも表れている。市場報道によると、需要が利用可能な計算資源を上回り、複数の中国大手モデル開発企業やクラウド事業者が、特に計算負荷の高いコーディング支援サービスで処理速度を制限したり、アクセスを配分したり、価格を引き上げたりしている。

問われているのは「チップの数」だけではない

中国のAIインフラ不足は、単純なチップ不足ではない。必要なのは、先端プロセッサ、対応ソフトウェア、そして高価値の推論を採算に乗せられる計算能力の組み合わせだ。

ソフトウェアが改善され、国産チップの得意分野に合わせてシステムを設計できれば、国産ハードウェアが担える範囲は広がるだろう。現時点で見えているのは、過渡期の戦略である。推論処理のあらゆる層を最適化し、国産チップが有効な仕事にはそれを使い、最も難しいタスクには限られたNVIDIA製GPUを温存する。

この方法は既存の計算資源を長く使うための橋渡しにはなる。しかし、AIエージェントの利用が拡大し続けるなら、中国の成長は、ハードウェアの供給だけでなく、異なるプロセッサを実用的に統合できるソフトウェア・エコシステムをどこまで整備できるかにも左右される。

トークン数だけでは計算需要は測れない

大規模言語モデルが処理する文章の基本単位である「トークン」は、需要を測る便利な指標だ。しかし、すべてのトークンが同じ価値や計算負荷を持つわけではない。

単純な会話や分類に使われる低コストの出力は、安価なチップに任せられる。一方、より高性能なモデル、長い推論過程、複数回のツール呼び出しを通じて生み出される「高品質なトークン」は、顧客にとって価値が高い分、より多くの計算資源を消費する。

したがって、総トークン数が増えていても、プレミアムな推論能力の不足はそれ以上に深刻になり得る。市場全体では処理トークンが増えているのに、複雑なタスクで安定した結果を出せるハードウェアが足りない――という状況だ。高品質なトークンの生産能力や、異なる種類の計算資源を組み合わせるシステムへの投資が注目されるのは、この違いがあるためである。

需要は2年余りで1,000倍超に

中国の1日平均のトークン呼び出し量は、2024年初めの約1,000億から、2026年3月には140兆を超えたと報告されている。増加幅は1,000倍以上に達する。

この数字は、AIの利用形態が変わったことを示している。AIは実験的な利用や単発のプロンプトから、消費者向けアシスタント、企業向けソフトウェア、現実の業務を遂行するエージェントへと広がっている。推論はもはや、モデル学習後の補助的な工程ではない。計算資源の消費を押し上げる主要因になりつつある。

なぜソフトウェア最適化が最も早い対策なのか

輸出規制によって先端NVIDIA製品へのアクセスが制限され、ハイエンド製品の供給も限られるなか、同等のプロセッサを短期間で増やすのは難しい。さらに、既存のモデル、ツール、開発手順は特定のソフトウェア基盤に深く依存している。ハードウェアを切り替えるには、大規模な再設計と高い移行コストが伴う。

ソフトウェアの改善は新しい半導体を生み出さないが、手元にあるプロセッサから取り出せる実用的な処理量を増やせる。具体的には、次のような手法がある。

• ワークロードの振り分け：簡単なリクエストを安価な国産アクセラレーターへ送り、複雑な処理のためにNVIDIA製GPUを確保する。
• サービングの効率化：リクエストの束ね方や処理順序を改善し、ハードウェアの待機時間を減らす。
• 資源を意識した展開：リクエストの難易度や顧客価値に応じて、モデルの大きさ、文脈の長さ、回答方法を調整する。
• 異種計算基盤の統合：すべての処理を単一のプラットフォームに限定せず、異なるチップ構成を組み合わせる。

これらは、急増する需要と限られた供給の間をつなぐ現実的な手段だ。ただし、品質が重視される処理まで含めて最先端ハードウェアを完全に代替できるわけではない。

低価格競争が追い打ちをかける

問題をさらに難しくしているのが、推論サービスの価格競争だ。Jefferiesのアナリストは、中国のモデルのトークン当たり価格が、米国の大手企業のサービスに比べて平均で約6分の1だと推定している。

低価格は利用拡大を促す一方、希少な高性能計算資源に投じられる売上を抑える。コーディング支援やAIエージェントは、単純なチャットより多くの処理を必要とするため、中国企業は「需要は急増する」「利用者は安価なサービスを求める」「高性能な推論能力は簡単に増やせない」という三重の圧力に直面している。

この緊張は、サービスの提供状況にも表れている。市場報道によると、需要が利用可能な計算資源を上回り、複数の中国大手モデル開発企業やクラウド事業者が、特に計算負荷の高いコーディング支援サービスで処理速度を制限したり、アクセスを配分したり、価格を引き上げたりしている。

問われているのは「チップの数」だけではない

中国のAIインフラ不足は、単純なチップ不足ではない。必要なのは、先端プロセッサ、対応ソフトウェア、そして高価値の推論を採算に乗せられる計算能力の組み合わせだ。

ソフトウェアが改善され、国産チップの得意分野に合わせてシステムを設計できれば、国産ハードウェアが担える範囲は広がるだろう。現時点で見えているのは、過渡期の戦略である。推論処理のあらゆる層を最適化し、国産チップが有効な仕事にはそれを使い、最も難しいタスクには限られたNVIDIA製GPUを温存する。

この方法は既存の計算資源を長く使うための橋渡しにはなる。しかし、AIエージェントの利用が拡大し続けるなら、中国の成長は、ハードウェアの供給だけでなく、異なるプロセッサを実用的に統合できるソフトウェア・エコシステムをどこまで整備できるかにも左右される。