手提電腦AI勁過你想像？Stanford研究：本地AI成功處理88.7%查詢，雲端巨頭面臨大考驗

• 本地模型準確回答88.7%查詢：參數量喺200億或以下嘅模型，行喺普通消費級硬件上，已經能夠成功處理絕大部分單輪請求。準確度會因應唔同範疇而異——創意類任務超過90%，但技術領域就回落到大約68% 。
• 「智能每瓦特」兩年間提升5.3倍：呢個係複合增長，其中模型演算法進步貢獻咗3.1倍嘅提升，硬件效率改進就貢獻咗1.7倍 。
• 本地模型能處理嘅查詢比例暴升：由2023年得23.2%，到2025年已經躍升至71.3% 。
• 本地加速硬件仲有大把進步空間：研究發現，喺運行相同模型嘅情況下，本地加速硬件嘅IPW比企業級雲端加速硬件至少要低1.4倍，反映本地硬件優化嘅潛力仍然巨大 。

「智能每瓦特」係咩玩法？

IPW呢個指標其實好簡單直接：將模型喺某個任務嘅準確度除以佢推理時消耗嘅電力 。呢個做法同業界以往習慣——只係孤立噉評估模型能力，完全唔理能源成本同硬件要求——好唔同。

呢個指標捕捉到一個關鍵洞察：最勁嘅模型，唔一定係最有效率或者最實用嗰個。一個行喺手提電腦上面嘅小型模型，可能做到大型雲端模型95%嘅準確度，但用嘅能量可能只係後者嘅一個零頭 。

混合路由：最高慳六成成本

研究中一個最有商業價值嘅發現，係當你唔再「二揀一」，而係聰明地同時使用本地同雲端AI時，會發生咩事。

Oracle路由，一個理論上完美嘅系統，會將每個查詢分配俾有能力處理佢嘅最小型號。研究推算，相比完全依賴雲端，呢種方法理論上可以減少能源消耗80.4%、運算量77.3%、成本73.8% 。

而喺相關研究入面測試嘅一個更實際、可行嘅路由器，喺真實流量分佈下都做到驚人效果：能源消耗減少77.1%、運算量減少67.1%，成本就減咗60.2%，而且任務準確度幾乎無影響 。

呢啲唔係遙不可及嘅未來科技。研究清楚表明，混合本地-雲端嘅AI架構已經行得通，而且可以大幅降低AI推理嘅成本。

對OpenAI、Anthropic同xAI意味住咩？

Stanford呢份研究冇直接對任何公司嘅盈利能力作出預測。但係，研究展示嘅發展趨勢，對呢啲依賴雲端API收費嘅AI公司嚟講，結構性影響係好明確嘅 。

本地模型已經可以用極低成本處理大約89%嘅單輪查詢 。「智能每瓦特」兩年間提升咗5.3倍，而且仲喺度加速緊 。智能路由可以將其餘需要送去雲端嘅查詢成本再斬低六成或以上 。

如果呢個趨勢大規模落實，客戶可以將大部分雲端API查詢轉晒做近乎零成本嘅本地推理，淨係將最難搞嘅大約11%任務先送去雲端處理 。

有分析評論就指出，AI未來可能係屬於「細細粒、平價、但賺唔到錢」嘅模型，尤其係對於前沿AI公司嚟講 。經濟誘因正正轉向本地、開源嘅替代方案，呢啲方案可以喺價格上完勝雲端API——呢股動力隨時會重塑OpenAI、Anthropic同xAI呢類公司嘅商業模式。

更大趨勢：AI正以前所未有嘅速度變平

呢份研究係一個更大趨勢入面嘅重要訊號。Stanford HAI嘅《2025 AI指數報告》就指出，一個表現達到GPT-3.5水平嘅系統，其推理成本喺2022年11月至2024年10月期間，暴跌超過280倍 。硬件層面，成本每年下降30%，能源效率每年提升40% 。

另外，開放權重嘅模型同閉源模型之間嘅差距亦急速收窄，兩者喺某啲基準測試上嘅表現差異，由8%大幅縮細到得返1.7% 。

都要留意：研究有局限

雖然結果令人眼前一亮，但都要留意研究嘅範圍。呢項研究只係測試咗單輪查詢——即係簡單嘅對話回覆同一次性推理。佢哋冇測試本地模型喺多輪對話、長篇上下文推理，或者複雜嘅自主代理工作流程上嘅表現，而呢啲正正係雲端模型仍然有顯著優勢嘅領域 。

另外，佢哋測試嘅本地模型（參數量≤200億）喺最難嘅問題上，仍然冇辦法同最頂尖嘅雲端模型匹敵。研究人員對此講得好清楚：準確度會因範疇而有明顯差異，88.7%呢個數字背後，隱藏咗技術同科學領域上較弱嘅表現 。

總結

Stanford呢份「智能每瓦特」研究提供咗強而有力嘅實證，顯示本地AI已經跨越咗一個關鍵門檻。對於絕大部分日常查詢——創意寫作、管理、銷售、娛樂——一部手提電腦上面嘅小型模型已經足夠有餘 。以咁快嘅進步速度，本地AI嘅覆蓋範圍只會繼續擴張。

對企業嚟講，訊息好清晰：最符合成本效益嘅AI基建，將會係一個混合模式——將簡單查詢分流俾本地模型，雲端留俾最難嘅任務。每個查詢都要按用量畀錢、送去巨型雲端模型處理嘅時代，可能已經踏入尾聲。