史丹佛研究發現了什麼？關鍵數字一覽

這項研究的實證工作相當廣泛：它在8種不同的加速器（包括 Apple、AMD 和 NVIDIA 的產品）上，對超過20個本地語言模型進行了基準測試，使用了100萬個真實世界的單輪對話與推理查詢 。以下是幾項驚人的發現：

• 本地模型能準確回答 88.7% 的查詢：參數量在200億或以下的模型，在消費級硬體上運行時，能成功處理絕大多數的單輪請求。準確率因領域而異——在創意類任務上超過90%，但在技術領域則降至約68% 。
• 「每瓦智慧」在2023至2025年間提升了5.3倍：這是模型演算法進步與硬體效能提升的複合成長結果，分別貢獻了3.1倍與1.7倍的增益 。
• 本地查詢覆蓋率暴增：本地模型能勝任處理的查詢比例，從2023年的僅23.2%，一舉躍升至2025年的71.3% 。
• 本地加速器仍有巨大潛力：研究發現，運行相同模型時，本地加速器的IPW至少比企業級雲端加速器低1.4倍，顯示本地端仍有顯著的優化空間 。

拆解「每瓦智慧」(IPW) 指標

IPW 的概念非常簡潔：它將模型在特定任務上的準確率，除以推論時消耗的功率 。這與業界常見、僅評估AI模型本身能力而忽略能源成本與硬體需求的作法，形成了鮮明對比。

這個指標捕捉到一個核心洞見：能力最強的模型，並不見得是最有效率或最實用的。一台筆電上的小型模型，可能只需消耗雲端巨型模型一小部分的能源，就能達到其95%的準確率 。

混合路由：節省60%的關鍵

這項研究在財務面上最重要的發現之一，是關於「不選擇」只用本地或只用雲端，而是「兩者兼用」的智慧做法。

理想路由 (Oracle routing)——一種能將每個查詢完美分配給最小、但足以勝任的模型的理想系統——理論上可將能源消耗降低80.4%，運算量降低77.3%，成本降低73.8%，相較於純雲端部署 。

更實際的測試中，一個在相關研究中測試過的現實路由系統，在真實網路流量分布下，實現了能源減少77.1%、運算量減少67.1%、成本減少 60.2% 的驚人成效，同時維持了可比的任務準確率 。

這並非遙遠的未來。該研究證明了混合本地-雲端架構的可行性，它已能大幅降低AI推理服務的成本。

這對 OpenAI、Anthropic 和 xAI 意味著什麼？

史丹佛的研究並未對任何特定公司做出明確的財務預測，但它所記錄的趨勢，對依賴雲端API的AI公司有著清晰且結構性的影響 。

本地模型已經能以極低的成本，處理約89%的單輪查詢 。IPW在短短兩年內提升了5.3倍，並且還在加速 。智慧路由可以將剩餘需送至雲端的查詢成本削減60%或更多 。

如果這個趨勢大規模落地，客戶可能會將絕大多數的雲端API查詢替換為近乎零成本的本地推理，僅將最困難的約11%任務保留給雲端處理 。

相關評論指出，AI的未來可能屬於「小型、便宜、無利可圖」的模型，這對前沿AI公司而言是一大警訊 。經濟誘因正轉向能大幅削減雲端API費用的本地開源替代方案——這個動態可能重塑 OpenAI、Anthropic 及 xAI 等公司的商業模式。

更大的趨勢：AI正變得越來越便宜、越來越快

這項研究只是宏觀趨勢中的一個數據點。史丹佛 HAI 發布的《2025 AI指數報告》指出，達到 GPT-3.5 等級系統的推理成本，在2022年11月至2024年10月間下降了超過280倍 。在硬體層面，成本每年下降30%，而能源效率每年提升40% 。

開源模型的表現也正在快速追趕封閉模型，在某些基準測試上，兩者的性能差距在一年內從8%縮小到僅1.7% 。

需要注意的研究限制

儘管結果驚人，但仍需注意其研究範圍。這項研究僅測試了單輪查詢——即簡單的對話回應與獨立的推理任務。它並未評估本地模型在多輪對話、長文本推理或複雜的代理工作流程（Agentic Workflows）上的表現，而這些正是雲端模型目前仍保有顯著優勢的領域 。

此外，受測的本地模型（≤200億參數）在最困難的問題上仍無法與最頂尖的雲端模型匹敵。研究作者也明確指出，準確率因領域而有很大差異，88.7%的整體數字掩蓋了其在技術與科學領域較弱的表現 。

結論

史丹佛的「每瓦智慧」研究提供了強而有力的實證，顯示本地AI已經跨越了一個關鍵門檻。對於絕大多數日常查詢——創意工作、管理、銷售、娛樂——一台筆電上的小型模型已綽綽有餘 。快速進步的趨勢表明，這種覆蓋範圍只會持續擴大。

對企業而言，其啟示非常明確：最具成本效益的AI基礎設施，將越來越多地採用混合模式——將簡單查詢導向本地模型，同時保留雲端運算能力來處理最困難的任務。那種將每一個查詢都發送到龐大雲端模型、並按token付費的時代，可能正走向終結。

史丹佛研究發現了什麼？關鍵數字一覽

這項研究的實證工作相當廣泛：它在8種不同的加速器（包括 Apple、AMD 和 NVIDIA 的產品）上，對超過20個本地語言模型進行了基準測試，使用了100萬個真實世界的單輪對話與推理查詢 。以下是幾項驚人的發現：

• 本地模型能準確回答 88.7% 的查詢：參數量在200億或以下的模型，在消費級硬體上運行時，能成功處理絕大多數的單輪請求。準確率因領域而異——在創意類任務上超過90%，但在技術領域則降至約68% 。
• 「每瓦智慧」在2023至2025年間提升了5.3倍：這是模型演算法進步與硬體效能提升的複合成長結果，分別貢獻了3.1倍與1.7倍的增益 。
• 本地查詢覆蓋率暴增：本地模型能勝任處理的查詢比例，從2023年的僅23.2%，一舉躍升至2025年的71.3% 。
• 本地加速器仍有巨大潛力：研究發現，運行相同模型時，本地加速器的IPW至少比企業級雲端加速器低1.4倍，顯示本地端仍有顯著的優化空間 。

拆解「每瓦智慧」(IPW) 指標

IPW 的概念非常簡潔：它將模型在特定任務上的準確率，除以推論時消耗的功率 。這與業界常見、僅評估AI模型本身能力而忽略能源成本與硬體需求的作法，形成了鮮明對比。

這個指標捕捉到一個核心洞見：能力最強的模型，並不見得是最有效率或最實用的。一台筆電上的小型模型，可能只需消耗雲端巨型模型一小部分的能源，就能達到其95%的準確率 。

混合路由：節省60%的關鍵

這項研究在財務面上最重要的發現之一，是關於「不選擇」只用本地或只用雲端，而是「兩者兼用」的智慧做法。

理想路由 (Oracle routing)——一種能將每個查詢完美分配給最小、但足以勝任的模型的理想系統——理論上可將能源消耗降低80.4%，運算量降低77.3%，成本降低73.8%，相較於純雲端部署 。

更實際的測試中，一個在相關研究中測試過的現實路由系統，在真實網路流量分布下，實現了能源減少77.1%、運算量減少67.1%、成本減少 60.2% 的驚人成效，同時維持了可比的任務準確率 。

這並非遙遠的未來。該研究證明了混合本地-雲端架構的可行性，它已能大幅降低AI推理服務的成本。

這對 OpenAI、Anthropic 和 xAI 意味著什麼？

史丹佛的研究並未對任何特定公司做出明確的財務預測，但它所記錄的趨勢，對依賴雲端API的AI公司有著清晰且結構性的影響 。

本地模型已經能以極低的成本，處理約89%的單輪查詢 。IPW在短短兩年內提升了5.3倍，並且還在加速 。智慧路由可以將剩餘需送至雲端的查詢成本削減60%或更多 。

如果這個趨勢大規模落地，客戶可能會將絕大多數的雲端API查詢替換為近乎零成本的本地推理，僅將最困難的約11%任務保留給雲端處理 。

相關評論指出，AI的未來可能屬於「小型、便宜、無利可圖」的模型，這對前沿AI公司而言是一大警訊 。經濟誘因正轉向能大幅削減雲端API費用的本地開源替代方案——這個動態可能重塑 OpenAI、Anthropic 及 xAI 等公司的商業模式。

更大的趨勢：AI正變得越來越便宜、越來越快

這項研究只是宏觀趨勢中的一個數據點。史丹佛 HAI 發布的《2025 AI指數報告》指出，達到 GPT-3.5 等級系統的推理成本，在2022年11月至2024年10月間下降了超過280倍 。在硬體層面，成本每年下降30%，而能源效率每年提升40% 。

開源模型的表現也正在快速追趕封閉模型，在某些基準測試上，兩者的性能差距在一年內從8%縮小到僅1.7% 。

需要注意的研究限制

儘管結果驚人，但仍需注意其研究範圍。這項研究僅測試了單輪查詢——即簡單的對話回應與獨立的推理任務。它並未評估本地模型在多輪對話、長文本推理或複雜的代理工作流程（Agentic Workflows）上的表現，而這些正是雲端模型目前仍保有顯著優勢的領域 。

此外，受測的本地模型（≤200億參數）在最困難的問題上仍無法與最頂尖的雲端模型匹敵。研究作者也明確指出，準確率因領域而有很大差異，88.7%的整體數字掩蓋了其在技術與科學領域較弱的表現 。

結論

史丹佛的「每瓦智慧」研究提供了強而有力的實證，顯示本地AI已經跨越了一個關鍵門檻。對於絕大多數日常查詢——創意工作、管理、銷售、娛樂——一台筆電上的小型模型已綽綽有餘 。快速進步的趨勢表明，這種覆蓋範圍只會持續擴大。

對企業而言，其啟示非常明確：最具成本效益的AI基礎設施，將越來越多地採用混合模式——將簡單查詢導向本地模型，同時保留雲端運算能力來處理最困難的任務。那種將每一個查詢都發送到龐大雲端模型、並按token付費的時代，可能正走向終結。