Google Android Bench大更新：Anthropic Claude Fable 5奪冠，Harbor框架取代舊制，成本與準確度嘅殘酷對決

Fable 5喺其他業界編程指標都係頂尖水平：

• SWE-bench Verified：95.0%
• SWE-bench Pro：80.0%
• Terminal-Bench 2.0：84.3%

多個獨立排行榜喺2026年7月都將Fable 5列為整體最強AI模型。

最新排名：GPT 5.5、Gemini 3.1 Pro及其他

所有之前上榜嘅模型都係用新嘅Harbor方法重新評分，所以得出咗一張煥然一新嘅排行榜。以下係Android Bench前十名：

來源：9to5Google報導Android Bench更新後嘅排名

值得留意嘅幾點：

• Anthropic霸佔咗前六名入面嘅三個位置（Fable 5、Sonnet 5、Opus 4.8），陣容最完整。
• OpenAI嘅GPT 5.5係最接近嘅單一對手，但落後4.3分，而且延遲幾乎係Fable 5嘅一倍。
• Google自己嘅Gemini 3.1 Pro Preview排第五，仲輸畀Anthropic嘅兩個型號同OpenAI嘅兩個型號。輕量版Gemini 3.5 Flash更低至第八，而且成本同延遲都好突出。
• Kimi K2.7 Code成本最低（48.1美元），但準確度係前十入面最低（70.4），係成本同準確度之間最明顯嘅取捨。

全面轉用Harbor框架

Google將Android Bench標準化咗喺Harbor框架上面。Harbor係由Laude Institute（即Terminal-Bench嘅開發團隊）開發嘅開源評估生態系統。之前Android Bench用嘅係自家開發嘅mini-swe-agent v1測試工具。Harbor提供咗一個標準化、基於容器嘅評估流程，支援雲端部署、社群任務提交同強化學習訓練。

呢個轉變意味住所有之前嘅模型分數都冇得直接比較——上面列出嘅每個分數都係用Harbor方法重新評估嘅結果。Google話咁做係為咗令評估標準跟得上LLM嘅快速發展。

首次開放開發者貢獻

Google第一次開放Android Bench畀社群貢獻。開發者而家可以：

• 提交真實Android開發任務，加入基準測試數據集
• 分享自己嘅模型評測結果，用同一套Harbor工具做比較

Google話呢個係回應開發者要求「提供一個渠道反饋我哋嘅數據集」，係同Android開發社群更深層合作嘅一步。

成本vs準確度：殘酷嘅現實

更新後嘅排行榜揭示咗一個充滿取捨嘅市場：

• 最準嘅模型（Claude Fable 5，84.5分）每1K任務成本133.2美元
• 前十入面最平嘅模型（Kimi K2.7 Code，成本48.1美元）只係得70.4分，相差14.1分
• Gemini 3.5 Flash係最貴嘅選項（165.6美元），但得分得71.1分
• GPT 5.5提供咗高準確度同中等成本之間最佳平衡：80.2分，成本138.3美元
• Claude Sonnet 5係中階嘅抵玩之選：76.2分，成本99.9美元

競爭格局：Anthropic、OpenAI、Google三強鼎立

2026年7月嘅更新再次確認咗Anthropic、OpenAI同Google之間嘅三強競爭：

• Anthropic係純準確度嘅明顯領導者。Fable 5嘅84.5分，加上三款型號打入前六，證明咗佢哋喺Android專用編程能力嘅投資係有回報嘅。
• OpenAI係最強嘅單一型號競爭者，GPT 5.5以80.2分位居第二，GPT 5.4嘅74.1分都算穩陣，但Anthropic嘅陣容深度明顯優勝。
• Google嘅Gemini系列喺準確度上落後晒兩個對手。雖然係自己個排行榜嘅主人，但Google自家型號只排第五同第八——呢個競爭弱點，Google自己都公開承認，所以先開放排行榜畀社群同邀請第三方模型參賽。

今次係Anthropic嘅型號首次喺Google自己嘅Android編程排行榜上登頂，喺手機AI助手市場上有標誌性嘅意義。