NVIDIA、Blackwell GPUでのDeepSeek V4推論コストをソフトウェア最適化だけで5倍削減

NVIDIA Dynamo推論フレームワーク

Dynamoはオープンソースの分散型サーバフレームワークで、推論の各フェーズを異なるGPUに分離（ディスアグリゲーション）します。プリフィル（入力処理）とデコード（トークン生成）を分離し、冗長な計算を避けるためにリクエストを適切なGPUにルーティング。NVLinkベースのキャッシングによりGPUメモリをコスト効率の良いストレージ階層に拡張します 。DynamoはSGLang、TensorRT-LLM、vLLMをサポートし、これらのオープンソースエンジンとネイティブに統合されています 。SemiAnalysisのInferenceXベンチマークでは、DynamoによりBlackwell上で処理可能なリクエスト数が最大7倍に向上したことが示されています 。

TensorRT-LLM最適化

NVIDIAはTensorRT-LLMの最適化のみで、Blackwell発売から2ヶ月以内にトークンあたりコストを5倍削減することに成功しました（ハードウェア変更なし）。データセンター規模では、トークンあたりコストの5倍削減は、同じインフラ投資から得られる収益生成能力が5倍になることを意味します 。

分離型サーバ（Disaggregated Serving）

プリフィルとデコードのフェーズを異なるGPUに分離することで、リソースの競合を排除し、各フェーズを独立に最適化できるようにします 。これはNVIDIA Dynamoフレームワークの中核機能です 。

大規模エキスパート並列処理

DeepSeek V4は384の分散エキスパートを持つMixture-of-Experts（MoE）アーキテクチャを採用しています 。最適化されたルーティングにより、トークンをこれらのエキスパートに効率的に分配し、GPUクラスタ全体の効率を向上させます 。

NVLinkベースの並列通信

NVIDIAの高速GPUインターコネクトにより、エキスパート間の効率的なオールトゥオール通信が可能になります。これは、エキスパート並列処理で頻繁なデータ交換が必要となるMoEモデルにとって極めて重要です 。

NVFP4精度

4ビット浮動小数点精度による推論は、精度を大きく損なうことなくメモリ帯域幅と計算要件を削減します 。DeepSeek-V3.2では、NVFP4量子化によりメモリフットプリントが元のFP8フォーマット比で1.7倍削減（690GB→415GB）され、スループットとコスト効率が大幅に向上しました 。

マルチトークン予測（MTP）

MTPは1回のフォワードパスで複数のトークンを生成し、スループットを向上させます。DeepSeek V4向けの最初のMTPサポートは、SGLangからリリース3日目に提供されました 。MTPを活用することで、SGLangは後にGB300 NVL72ハードウェア上でGPUあたり毎秒12,000トークンを超える速度を達成しています 。

最適化されたCUDAカーネル

最適化のすべてがNVIDIA単独で行われたわけではありません。SemiAnalysisは、DeepSeek V4の新しいアーキテクチャ向けに、NVIDIAのオープンソースmHC（manifold-constrained hyper-connection）カーネル起動コードを修正する必要がありました。TensorRT-LLMは当初、このモデルでうまく動作しなかったためです 。このコミュニティの貢献は、プロダクション品質の推論に不可欠でした。

SGLangサーバレシピ

LMSYS Orgは、SGLangを使用してNVIDIA GB300 NVL72ハードウェア上で検証済みの5倍のスループット向上を達成しました（GPUあたり約2,200トークン/秒から約11,200トークン/秒、ユーザーあたり約50トークン/秒）。NVIDIAのDynamoサポートマトリックスには、lmsysorg/sglang:deepseek-v4-blackwellがサポート対象として明記されています 。

これらの最適化を組み合わせることで、Blackwell上ではGPUあたりのスループットが最大20倍向上します 。

DeepSeek V4モデルファミリーの仕様

DeepSeek V4は2026年4月24日、MITライセンスのもとで2層構成のモデルファミリーとしてリリースされました 。

出典:

ハイブリッドアテンションアーキテクチャは、圧縮スパースアテンション（CSA） と強圧縮アテンション（HCA） を組み合わせ、100万トークンのコンテキストにおいて、DeepSeek-V3.2のわずか27％の推論FLOPsで動作します 。この効率性により、100万トークンを超えるエージェント型の長文脈処理が計算的に実行可能になります。

既に最適化を導入している推論プロバイダ

複数のプロバイダおよび推論エンジンが、DeepSeek V4向けのNVIDIAのソフトウェア最適化をBlackwell上で展開しています。

• LMSYS Org（SGLang） — NVIDIA GB300 NVL72ハードウェア上で、検証済み5倍のスループット向上を達成（2026年6月23日）。NVIDIAのDynamoサポートマトリックスには lmsysorg/sglang:deepseek-v4-blackwell がサポート対象として記載されています 。SGLangは同じハードウェア上でGPUあたり12,000トークン/秒を超える速度も記録しました 。
• NVIDIA NIM — NVIDIA自身の推論マイクロサービススタック。NVIDIA APIカタログを通じてDeepSeek-V4-Proのエンドポイントを提供しています 。
• vLLM — オープンソース推論エンジン。リリースから数日以内にDeepSeek V4対応を実装し、GB200上の分散推論のためにNVIDIA Dynamoと統合されています 。
• TensorRT-LLM — NVIDIAの最適化ランタイム。ただし初期導入時にはmHCカーネルコードに問題があり、SemiAnalysisの修正を必要としました 。
• DeepInfra — DeepSeek V4 Proのエンドポイントを、入力100万トークンあたり0.435ドル、出力100万トークンあたり0.87ドルで提供しています 。
• Together AI、Fireworks AI、Baseten — NVIDIAのブログでは、GPUアクセラレーションクラウドエンドポイントを通じた広範な展開が報告されており、これらのプロバイダはHopper比で最大10倍のトークンあたりコスト削減を達成しています 。

Together AIやBasetenなどのプロバイダは、Blackwellへの移行後、Hopper比でトークンあたりコストを最大90%削減したとNVIDIAは述べています 。

エージェント型AIワークロードに関するNVIDIAの経済的フレーミング

NVIDIAは、トークンあたりコストを推論総保有コスト（TCO）の最も重要な指標として明確に位置づけており、従来のGPU時間あたりコストやFLOPSあたりのドルといった指標を否定しています 。ジェンスン・フアン（Jensen Huang）CEOは2026年4月、「NVIDIAのトークンあたりコストは世界最低である」と宣言し、その理由を「アーキテクチャの卓越性と極限の共同設計の直接的な結果」と説明しています 。

この指標のシフトの背後にある論理は、エージェント型AI（Agentic AI） に直接結びついています。

エージェント型ワークロードは推論において計算爆発を起こす

AIが単発の回答から、計画立案、コンテキスト検索、ツール呼び出し、振り返り、自己修正といった多段階の推論へと移行するにつれ、1回のクエリあたりに生成されるトークン数は100倍から1,000倍に増加する可能性があります 。単一のマルチステップエージェントタスクの推論コストは0.10ドルから1.00ドルにもなり得ます 。Gartnerの2026年3月の分析では、エージェント型AIモデルは標準的なチャットボットに比べて、タスクあたり5〜30倍のトークンを必要とすることが確認されています 。

推論は現在、最大のコストセンターである

業界推定によれば、企業のAI向けGPU支出の55〜80％はトレーニングではなく推論に充てられています 。Deloitteは、推論が2026年の全AIコンピューティングの約3分の2を占めると推定しており、2023年の3分の1から増加しています 。また、推論はプロダクションAIシステムのライフタイムコストの80〜90％を占めるとされています 。

ソフトウェア最適化は新しいハードウェアなしで大きな価値を解放する

NVIDIAはこれを戦略的優位性として明確に位置づけています。「NVIDIAはBlackwell発売から2ヶ月以内に、TensorRT-LLMの最適化だけで、ハードウェア変更なしにトークンあたりコストを5倍削減した」。データセンター規模では、トークンあたりコストの5倍削減は、エージェント型AIワークロードが経済的に成立するかどうかを直接決定します 。NVIDIAの推論ソフトウェアは、AIインフラが導入された後も長期間にわたってトークンコストを引き下げ続けます 。

トークンあたりコストが「唯一重要視すべきTCO指標」

NVIDIAは、トークンあたりコストこそが、ハードウェア性能、ソフトウェア最適化、エコシステムサポート、実世界での利用率を直接的に考慮する唯一の指標であると主張しています 。同社は「最低トークンコスト」をBlackwellの最大の価値提案として掲げています 。NVIDIA B200はGPT-OSS-120B上で100万トークンあたり2セントを達成し、そのアーキテクチャは前世代と比較して100万トークンあたりのコストを15倍削減しました 。

結論として、NVIDIAのメッセージは明確です。エージェント型AIはタスクあたりに劇的に多くの推論トークンを必要とする。Blackwell上のソフトウェアレベルの推論最適化は、新しいハードウェアなしでそれらのトークンコストを5倍削減でき、それが大規模なエージェント型デプロイメントが収益を生むかどうかを直接決定する、というものです 。