小米が1兆パラメーターモデルで1000トークン/秒を突破、汎用GPUのみで ～ UltraSpeedモード発表

この発表で小米は、「速さ」「性能」「汎用GPUでの実現」の三つを同時に満たせないという、業界の「不可能の三角形」を打ち破ったと宣言しています 。小米の創業者であり会長兼CEOの雷軍氏も自らのSNSでこの成果を取り上げ、1兆パラメーターモデルでの1000トークン/秒超えは業界初だと強調しました 。特筆すべきは、この高速処理が、特別な専用シリコンではなく、Commodity GPU（汎用品のGPU）8基を搭載した標準的なサーバーノード1台で実現されている点です 。つまり、私たち開発者にとって馴染み深い、一般的なインフラ環境でこの速度が出せる、という点に大きな意義があります。

高速化を支える3つの技術

この速度向上は、モデルとシステムを極限まで擦り合わせた「Codesign（共同設計）」によるものであり、公式ドキュメントでは以下の3つの技術の組み合わせが解説されています 。

1. FP4混合精度量子化

モデルの大部分ではなく、MoE（Mixture of Experts）アーキテクチャの「エキスパート層」のみを対象に、FP4という極めて低い精度（4ビット浮動小数点）に量子化します。その他の成分は元の精度（FP16やBF16など）のまま保持します 。

これにより、量子化による品質劣化を最小限に抑えつつ、モデルのメモリ占有量とGPUメモリ帯域幅への負荷（いわゆる「メモリ律速」問題）を劇的に低減します。量子化を考慮した学習（QAT）を併用することで、量子化前とほぼ同等の性能を維持することを目指しています 。

2. DFlash投機的デコード

従来の投機的デコード（小さなDraftモデルで次トークンの候補を自回帰的に生成し、大きなモデルで検証する手法）を改良した技術です 。

DFlashでは、逐次的な生成ではなく、「ブロックレベルのマスク並列予測」を採用しています。Draftモデルがスライディングウィンドウアテンション（SWA）を用いることで、将来予測の計算コストを系列長に依存しない定数時間に抑えています 。これにMuonオプティマイザと自己蒸留を組み合わせ、検証時のトークン受入率（Acceptance Rate）を向上させることで、推論全体のスループットを底上げします 。コーディングシナリオでは、検証ステップごとに平均6.30トークンが受理されたという報告もあります 。

3. TileRT 常駐カーネルエンジンとワープ特殊化

GPU上で演算を行う際、通常は処理の区切り（オペレーター）ごとにカーネルを起動・終了するオーバーヘッドが発生します。TileRTはこの従来の方式を根本から変えました 。

• 常駐カーネルエンジン: 計算パイプラインをGPU上に常駐させ、継続的にデータ処理を流し続けます。命令のプリフェッチ（先読み）とデータ転送、計算を極限までオーバーラップさせることで、GPUの遊休サイクルを劇的に削減します 。
• 異種パイプライン協調（ワープ特殊化）: GPU内部の並列処理単位である「ワープ」に対し、通信、データ移動、テンソル計算といった異なる役割を「タイル単位」で分解して専門的に割り当てます。これにより、GPU全体があたかも一つの流れるような異種混合実行システムへと変貌します 。

「3倍の価格、10倍の出力体験」という価格設定

UltraSpeedモードのAPIは、期間限定のトライアル価格として、通常版「MiMo-V2.5-Pro」の正確に3倍の価格に設定されています 。

• 通常版: 出力トークン100万あたり $0.87 USD（海外）/ 6 CNY（中国国内）
• UltraSpeed（トライアル）: 出力トークン100万あたり $2.61 USD（海外）/ 18 CNY（中国国内）

入力価格も同様に3倍で、キャッシュヒット時は100万トークンあたり$0.0108、キャッシュミス時は$1.305です 。小米はこの価格体系を**「3倍の価格で、10倍の出力体験」**と表現し、コスト上昇を上回る速度向上（約10倍）をマーケティング上の訴求点としています 。

期間限定トライアルと利用ルール

この高速API体験は、期間と利用者が限定されています。

• トライアル期間: 2026年6月9日 から 6月23日 23時59分 まで
• アクセス方式: 高速な推論リソースに限りがあるため、申請制が取られます。審査は、実際のビジネス需要を持つ企業やプロフェッショナルな開発者の利用シナリオが優先されます 。
• 無料体験のルール: 審査に通過したユーザーは、期間中無料でチャット体験が可能ですが、公平性を保つための利用制限があります 。
  • アカウントごとに1日最大10回までしか処理キューに並べない
  • 1回のセッションは最大30分まで
  • 5分間操作がないと、自動的にリソースが解放される

なお、小米は審査の迅速性や通過率については明言していません 。

オープンソースでの公開

今回の発表のもう一つの重要なポイントは、基盤技術の公開です。UltraSpeedモードの裏側にあるモデル「MiMo-V2.5-Pro-FP4-DFlash」が、オープンソースとしてHuggingFace上で公開されました 。公開内容には、FP4で量子化された重みと、DFlashのモデルチェックポイントが含まれています 。これにより、開発者は自身の環境でこの高速モデルを検証したり、応用研究に活用したりすることが可能です。

開発者にとっての意味

小米の今回の成果は、「1兆パラメーター級の超巨大モデルであっても、もはや専用ハードウェアに頼らず、市販のGPUで対話的な速度が出せる」という明確なメッセージです 。

レイテンシ（応答遅延）に敏感な「エージェントアプリケーション」や、動的にツールを呼び出すパイプライン、リアルタイムのコード生成といった分野において、この圧倒的なスループットと100万トークンの広大なコンテキストウィンドウの組み合わせは、実用的な製品開発を大きく加速させる可能性を秘めています。トライアル期間の枠を勝ち取ることができれば、その一端をいち早く体験できるでしょう。