ローカルAIはすでに実用域に：スタンフォード大「Intelligence Per Watt」研究の衝撃

• ローカルモデルはクエリの88.7%を正確に回答: 200億パラメータ以下のモデルが、消費者向けハードウェア上で、シングルターンリクエストの圧倒的多数を成功裡に処理する。精度は分野により異なり、クリエイティブタスクでは90%超、技術分野では約68%となる。
• IPWは2023年から2025年の間に5.3倍向上: これは複合的な進歩によるもので、モデルのワットあたり精度が3.1倍向上し、ハードウェアの進歩が1.7倍の貢献をした。
• ローカル対応クエリの範囲が急拡大: ローカルモデルが適切に処理できるクエリの割合は、2023年のわずか23.2%から、2025年には71.3%にまで上昇した。
• ローカルアクセラレータにはまだ改善の余地: 同じモデルを実行した場合、ローカルアクセラレータのIPWはエンタープライズ向けクラウドアクセラレータに比べて少なくとも1.4倍低く、さらなる最適化の余地が大きいことが示された。

「Intelligence Per Watt（IPW）」指標の解説

IPW指標は非常にシンプルだ。モデルが特定のタスクで達成した精度を、その推論時に消費する電力で割る。これは、AIモデルをエネルギーコストやハードウェア要件を無視して単独で評価する一般的な手法とは対照的だ。

この指標が捉える重要な洞察は、「最も高性能なモデルが必ずしも最も効率的または実用的であるとは限らない」ということだ。ノートPC上で動作する小規模モデルが、巨大なクラウドモデルの精度の95%を提供しながら、消費エネルギーはそのごく一部で済む可能性がある。

ハイブリッドルーティング：60%のコスト削減

この研究で経済的に最も重要な発見の一つは、ローカルとクラウドを「二者択一」ではなく、「両方をインテリジェントに使い分ける」場合の効果だ。

オラクルルーティングと呼ばれる、各クエリを処理可能な最小のモデルに割り当てる理想的なシステムは、クラウドのみの運用と比較して、エネルギー消費を80.4%、計算リソースを77.3%、コストを73.8%削減できる可能性がある。

関連研究でテストされた、より現実的なルーターでも同様の結果を示した。実世界のトラフィック分布において、同等のタスク精度を維持しながら、エネルギーを77.1%、計算リソースを67.1%、コストを60.2%削減したのだ。

これは遠い未来の話ではない。研究は、ハイブリッドなローカル・クラウドアーキテクチャがすでに実用可能であり、AI推論の提供コストを劇的に引き下げられることを実証している。

OpenAI、Anthropic、xAIへの影響

このスタンフォード研究は、特定の企業に対する財務予測を明示的に行っているわけではない。しかし、研究が示す軌跡は、クラウドAPIに依存したAI企業にとって明確かつ構造的な意味合いを持つ。

ローカルモデルは、劇的に低いコストで、シングルターンクエリの約89%をすでにカバーしている。IPWはわずか2年で5.3倍向上し、そのペースは加速し続けている。スマートルーティングは、クラウドに送られる残りのクエリのコストを60%以上削減できる。

このトレンドが大規模に運用されるようになれば、顧客はクラウドAPIクエリの大部分を、ほぼゼロコストのローカル推論に置き換え、クラウドはローカルモデルがまだ扱えない難易度の高い約11%のタスクだけに予約するというモデルが現実となる。

この研究を解説する論評では、フロンティアAI企業にとってのAIの未来は「小さく、安く、儲からない」ものになるかもしれないと指摘されている。経済的インセンティブは、クラウドAPIの価格を下回るローカルでオープンな軽量モデルへとシフトする。この力学は、OpenAI、Anthropic、xAIといった企業のビジネスモデルを根本から変える可能性を秘めている。

より広範なトレンド：AIは急速に安価に、そして高速に

この研究は、より大きなトレンドの中の一つのデータ点に過ぎない。スタンフォードHAIの「2025 AI Index Report」によると、GPT-3.5レベルの性能を持つシステムの推論コストは、2022年11月から2024年10月までの間に280分の1以上に低下した。ハードウェアレベルでは、コストは年間30%ずつ低下し、エネルギー効率は年間40%ずつ改善している。

また、オープンウェイトモデルとクローズドモデルの性能差も縮まっており、あるベンチマークではわずか1年で8%から1.7%にまで縮小している。

注意点：研究の限界

結果は印象的だが、その適用範囲を理解することが重要だ。研究はシングルターンクエリのみをテストしている。すなわち、単純なチャット応答と自己完結型の推論タスクだ。マルチターン会話、長文コンテキスト推論、複雑なエージェント的ワークフローは評価対象外であり、これらの領域では今なおクラウドモデルが大きな優位性を持つ。

また、テストされたローカルモデル（200億パラメータ以下）は、最も難しい問題において、最高峰のクラウドモデルに匹敵することはできない。研究著者らはこの点を明確にしており、精度は分野によって大きく異なり、88.7%という数字は技術的・科学的な分野での低いパフォーマンスを隠していると指摘している。

結論

スタンフォード大学の「Intelligence Per Watt」研究は、ローカルAIが重要な閾値を超えたという強力な実証的証拠を提供している。日常的なクエリの大半——クリエイティブタスク、管理、営業、エンターテイメント——においては、ノートPC上の小規模モデルで既に十分なのだ。急速な改善ペースは、このカバレッジが今後さらに拡大することを示唆している。

企業にとっての含意は明確だ。最も費用対効果の高いAIインフラは、ますますハイブリッドなものになりつつある。単純なクエリはローカルモデルにルーティングし、最も難しいタスクのためにクラウドキャパシティを温存する。あらゆるクエリをトークン単位の課金で巨大なクラウドモデルに送る時代は、終わりに近づいているのかもしれない。