Claude 喺 SWE-bench 表現幾勁？高分背後真正代表乜

Claude 的編程基準成績升得非常快：升級版 Claude 3.5 Sonnet 喺 2025 年初於 SWE-bench Verified 取得 49.0%；到同年 5 月，Claude 4 系列報稱約 72.5% 至 72.7%；其後榜單更出現接近滿分的結果。23249

不過，最合理的結論唔係「Claude 已經解決咗軟件工程」，而係：Claude 已成為公開編程代理評測中極具競爭力、而且經常領先的選擇。 當有限而公開的基準分數逼近 100%，真正值得問的是：邊一種評測，最能預測佢喺你公司私有 repository、工具鏈同 code review 流程入面做成點？

三個常見基準，一次睇清

基準	代理要做乜	範圍與計分	點解值得睇
SWE-bench Verified	取得一個真實 GitHub issue 同某個 repository 快照，然後交出修復用 patch。	由人手篩選的 500 個 SWE-bench 個案，主要來自熱門開源 Python repository。patch 能喺評測環境通過基準測試，先算成功解決。 1216	廣受認可的真實 codebase issue 修復指標。
SWE-bench Pro	喺標準化代理框架下處理更難、需時更長的 repository 任務。	報稱有 41 個 repository、1,865 項任務、涵蓋 123 種程式語言，通常以 Pass@1 計分。 312	嘗試跳出 Verified 的公開 Python 任務範圍，亦希望降低資料污染風險。
Terminal-Bench 4.0	喺終端機環境完成端到端技術工作。	任務要求調查問題、執行指令、改檔、測試，甚至失敗後復原；唔只係對一張 GitHub issue 寫 patch。 3844	加入實際工具操作與工作流要求，更貼近代理的日常使用情境。

Claude 喺 SWE-bench Verified：由 49% 去到 97%

Anthropic 曾報稱，升級版 Claude 3.5 Sonnet 喺 SWE-bench Verified 取得 49.0%，超過當時報稱的 45% 最佳成績。當時 Anthropic 指，仲未有模型突破 50%。2337

到 2025 年 5 月，Anthropic 報稱 Claude Opus 4 為 72.5%、Claude Sonnet 4 為 72.7%；以上結果並無使用延伸思考（extended thinking）。24

去到 2026 年，榜單已大幅變樣。Vals AI 列出 Claude Opus 5 為 97.0%，而 86 個受評模型中有 7 個達到 95% 或以上；DeepSeek V4 Pro 0813 亦有 96.4%。9 所以，講「Opus 5 大約 96%」可以視為對高九成成績的概括，但唔係唯一權威數字：模型版本、代理框架、token／時間預算同評測設定，都會左右結果。

97% 點解要審慎解讀？

喺 500 題的資料集攞 97%，前沿系統之間已經幾乎冇乜分數空間可拉開。更關鍵是，Verified 由公開 repository 的有限公開任務組成；基準指南將佢列為有較高資料污染風險，而且正走向飽和。3

呢個唔代表成績冇意義。佢的確證明代理好擅長處理這類規格相對清晰、可用測試驗證的 issue；但用嚟預測一個私有、持續演變的 codebase 裏面從未見過的工作，參考價值就有限得多。

SWE-bench Pro：更難、更多語言，但分數未必可直接比較

SWE-bench Pro 的定位，是比 Verified 更難、亦更抗污染的替代方案。其報稱涵蓋 1,865 項任務、41 個 repository、123 種程式語言；相較之下，Verified 是 500 個人手篩選、集中於熱門 Python repository 的個案。1216

2026 年 9 月的綜合榜單列出 Claude Fable 5.1 為 81.2%，高過 Claude Mythos 5 的 80.3% 及 Claude Fable 5 的 80.0%；該榜單首三位都屬 Claude。53

但要特別留意：Pro 的數字未必可以橫向直接比較。有來源分開了 Scale 標準化公開集合的領先 59.1%，與較高的供應商綜合榜數字，反映代理 harness（即圍繞模型的提示、工具、執行流程）及報告方法可造成很大差異。13 另一來源更明確提醒，81.2% 的 Fable 5.1 數字未見有直接、按該特定模型發表的 SWE-bench 結果支持，可能涉及綜合計算或版本歸屬問題。55

實際做選型時，最好把 81.2% 當成榜單報稱值，而唔好當成只反映基礎模型、已獨立重複驗證的定論。

Terminal-Bench 4.0：Claude 對 GPT 的 18.5 分差距代表乜？

Terminal-Bench 評估代理喺 command line（命令列）做端到端技術任務，例如編譯軟件或訓練機器學習模型。相較於 SWE-bench Verified 的「issue 加 patch」格式，佢測試的是更具操作性的工作流程。38

引用的比較結果顯示，Claude Fable 5.1 為 55.8%，GPT-5.6 Sol 為 37.3%，相差 18.5 個百分點。44 呢個係有意義的證據：在該次指定設定下，報稱的 Claude 代理配置表現較好。

但佢唔能夠證明 Anthropic 整體必然贏過 OpenAI、Google、Cognition 或 AWS。若要作出廣泛的廠商排名，至少要有配對的模型、完全相同的代理框架、相近的 token 和時間預算，並在多個獨立任務組合上比較。現有資料未提供呢種完整對照。

呢堆成績實際證明咗乜？

現有結果支持三個較穩妥的說法：

1. Claude 喺 SWE-bench Verified 的報稱進步很大：由升級版 Claude 3.5 Sonnet 的 49.0%，去到與 Opus 5 相關的高九成榜單結果。239
2. Claude 喺已發表的 SWE-bench Pro 綜合榜單屬於榜首或接近榜首，但每個數字的來源與方法都要逐項核實。5355
3. 在引用的 Terminal-Bench 4.0 比較中，Claude Fable 5.1 配置勝過 GPT-5.6 Sol。44

不過，呢啲結果唔表示 Claude 已可自動完成長達數星期的專案、可靠理解無文件記錄的內部系統、作出穩健架構決策，或者毋須人手審核就安全出貨。真實工程除咗修正可測試的 bug，仲包括釐清需求、權衡取捨、整合系統、資安、部署同跨團隊協作。

公開基準接近飽和後，點樣揀 AI 編程工具？

SWE-bench Verified 的價值在於佢超越了短篇 coding puzzle：代理要面對真實 repository 和 issue 描述，而 patch 由測試判定。138 但根據 Anthropic 對代理評測的討論，模型在一年內已由約 40% 升到超過 80%。38

現階段，一套較有用的評測組合應包括：

• 公開 issue 修復：例如 SWE-bench Verified，作可重複比較的基線；
• 更廣泛、保留度更高的 repository 工作：例如 SWE-bench Pro；
• 終端機與工具操作任務：測試反覆執行、驗證和失敗後復原；
• 公司自己的代表性私有任務：採用自身的語言、build system、權限設定、測試要求及 code review 標準。

Anthropic 曾把 SWE-bench Verified 和 Terminal-Bench 都視為代理評測例子，亦強調 Claude 4 能持續處理長時間任務。3842 但現有資料不足以證明 Anthropic 已正式、全面地由 SWE-bench 轉向更長時程的評測；這個更強的說法仍未獲證實。

總結

截至 2026 年 9 月，Claude 的報稱基準表現足以令佢成為最值得納入評估名單的編程代理之一。最清楚的里程碑，是由 2025 年初 SWE-bench Verified 的 49%，去到 Opus 5 在榜單報稱的 97.0%，再加上 SWE-bench Pro 報稱 81.2% 的領先成績。23953

但揀工具唔好只睇一個聳動 headline。用榜單先篩選候選代理，之後喺自家 repository 用具代表性的任務做受控測試。接近飽和的公開基準只說明模型能修好大量「已知類型」問題，並不能單憑分數證明佢可在生產環境可靠地自主做完整軟件工程。