Google Android Bench大更新：Anthropic Claude Fable 5奪冠，Harbor框架取代舊制，成本與準確度嘅殘酷對決

2026年7月8日，Google正式發布Android Bench嘅重大更新^D9。Android Bench係Google官方用來評估大型語言模型（LLM）喺Android開發任務上表現嘅排行榜。呢次更新帶嚟咗全新嘅冠軍模型、全面改用開源Harbor框架、首次開放社群貢獻，仲有一張反映成本同準確度之間殘酷取捨嘅全新排行榜^DA。

新科冠軍：Anthropic Claude Fable 5

Anthropic嘅Claude Fable 5以84.5分成為Android Bench新霸主，領先第二名超過4分^DA。呢個分數反映咗模型喺100個真實Android編程任務嘅表現，呢啲任務係從大約39,000個開源pull request入面揀出嚟嘅^DG。

Fable 5喺其他業界編程指標都係頂尖水平：

• SWE-bench Verified：95.0%^WLM
• SWE-bench Pro：80.0%^WLM
• Terminal-Bench 2.0：84.3%^WB

多個獨立排行榜喺2026年7月都將Fable 5列為整體最強AI模型^BB。

最新排名：GPT 5.5、Gemini 3.1 Pro及其他

所有之前上榜嘅模型都係用新嘅Harbor方法重新評分，所以得出咗一張煥然一新嘅排行榜^DA。以下係Android Bench前十名：

排名	模型	分數	平均延遲（秒）	平均成本（$/1K任務）
1	Claude Fable 5（Anthropic）	84.5	8.0	$133.20
2	GPT 5.5（OpenAI）	80.2	15.7	$138.30
3	Claude Sonnet 5（Anthropic）	76.2	12.3	$99.90
4	GPT 5.4（OpenAI）	74.1	8.4	$83.40
5	Gemini 3.1 Pro Preview（Google）	73.7	10.6	$87.40
6	Claude Opus 4.8（Anthropic）	72.4	6.7	$88.00
7	GLM 5.2	72.2	38.9	$117.00
8	Gemini 3.5 Flash（Google）	71.1	28.3	$165.60
9	Kimi K2.7 Code	70.4	31.8	$48.10
10	（省略）	—	—	—

來源：9to5Google報導Android Bench更新後嘅排名^A

值得留意嘅幾點：

• Anthropic霸佔咗前六名入面嘅三個位置（Fable 5、Sonnet 5、Opus 4.8），陣容最完整^A。
• OpenAI嘅GPT 5.5係最接近嘅單一對手，但落後4.3分，而且延遲幾乎係Fable 5嘅一倍^A。
• Google自己嘅Gemini 3.1 Pro Preview排第五，仲輸畀Anthropic嘅兩個型號同OpenAI嘅兩個型號^A。輕量版Gemini 3.5 Flash更低至第八，而且成本同延遲都好突出^A。
• Kimi K2.7 Code成本最低（48.1美元），但準確度係前十入面最低（70.4），係成本同準確度之間最明顯嘅取捨^A。

全面轉用Harbor框架

Google將Android Bench標準化咗喺Harbor框架上面。Harbor係由Laude Institute（即Terminal-Bench嘅開發團隊）開發嘅開源評估生態系統^DATG。之前Android Bench用嘅係自家開發嘅mini-swe-agent v1測試工具。Harbor提供咗一個標準化、基於容器嘅評估流程，支援雲端部署、社群任務提交同強化學習訓練^ATQ。

呢個轉變意味住所有之前嘅模型分數都冇得直接比較——上面列出嘅每個分數都係用Harbor方法重新評估嘅結果^9A。Google話咁做係為咗令評估標準跟得上LLM嘅快速發展^D。

首次開放開發者貢獻

Google第一次開放Android Bench畀社群貢獻^9A。開發者而家可以：

• 提交真實Android開發任務，加入基準測試數據集^9A
• 分享自己嘅模型評測結果，用同一套Harbor工具做比較^9A

Google話呢個係回應開發者要求「提供一個渠道反饋我哋嘅數據集」，係同Android開發社群更深層合作嘅一步⁹。

成本vs準確度：殘酷嘅現實

更新後嘅排行榜揭示咗一個充滿取捨嘅市場^A：

• 最準嘅模型（Claude Fable 5，84.5分）每1K任務成本133.2美元
• 前十入面最平嘅模型（Kimi K2.7 Code，成本48.1美元）只係得70.4分，相差14.1分
• Gemini 3.5 Flash係最貴嘅選項（165.6美元），但得分得71.1分
• GPT 5.5提供咗高準確度同中等成本之間最佳平衡：80.2分，成本138.3美元
• Claude Sonnet 5係中階嘅抵玩之選：76.2分，成本99.9美元

競爭格局：Anthropic、OpenAI、Google三強鼎立

2026年7月嘅更新再次確認咗Anthropic、OpenAI同Google之間嘅三強競爭^A：

• Anthropic係純準確度嘅明顯領導者。Fable 5嘅84.5分，加上三款型號打入前六，證明咗佢哋喺Android專用編程能力嘅投資係有回報嘅^AM。
• OpenAI係最強嘅單一型號競爭者，GPT 5.5以80.2分位居第二，GPT 5.4嘅74.1分都算穩陣，但Anthropic嘅陣容深度明顯優勝^A。
• Google嘅Gemini系列喺準確度上落後晒兩個對手。雖然係自己個排行榜嘅主人，但Google自家型號只排第五同第八——呢個競爭弱點，Google自己都公開承認，所以先開放排行榜畀社群同邀請第三方模型參賽^9AA。

今次係Anthropic嘅型號首次喺Google自己嘅Android編程排行榜上登頂，喺手機AI助手市場上有標誌性嘅意義。