Claude 的 SWE-bench 成績：分數說了什麼，又沒說什麼

Claude 的程式基準成績確實出現大幅躍升：2025 年初，升級版 Claude 3.5 Sonnet 在 SWE-bench Verified 達到 49.0%；數月後，Claude 4 系列來到約 72.5% 至 72.7%；後續榜單則出現接近該基準上限的結果。23249

但正確的結論不是「Claude 已經解決軟體工程」，而是：Claude 已成為公開程式代理評測中極具競爭力、且經常居於領先位置的選項。 當一個有限、公開的測試集分數逼近 100%，更重要的問題就變成：哪一種評測，最能預測它在團隊自己的程式庫、工具鏈與審查流程中的表現？

三個基準，分別在測什麼？

基準	代理要做什麼	題目與計分方式	為何值得看
SWE-bench Verified	取得真實 GitHub issue 與程式庫快照，產生修正用的程式碼補丁。	由人工篩選的 500 個 SWE-bench 題目，主要來自熱門開源 Python 專案；補丁在評測環境中通過測試，即計為解決。 1216	廣受採用的真實程式庫問題修復指標。
SWE-bench Pro	在標準化代理框架下，完成更困難、所需時間更長的程式庫任務。	據報涵蓋 41 個程式庫、1,865 個任務與 123 種程式語言，常以 Pass@1 計分。 312	擴大至 Verified 以外的任務範圍，並試圖降低資料污染風險。
Terminal-Bench 4.0	在終端機環境完成端到端技術工作。	任務可要求調查問題、執行指令、編輯檔案、測試及從失敗中恢復，而非僅針對 GitHub issue 提交補丁。 3844	多了操作與工具使用要求，較貼近代理實際工作流。

Claude 在 SWE-bench Verified 的推進速度

Anthropic 曾報告，升級版 Claude 3.5 Sonnet 在 SWE-bench Verified 取得 49.0%，高於此前所報的 45% 最佳成績。當時 Anthropic 指出，尚未有模型跨過 50% 門檻。2337

到了 2025 年 5 月，Anthropic 報告 Claude Opus 4 為 72.5%、Claude Sonnet 4 為 72.7%；兩項數字皆是在未使用延伸思考（extended thinking）的條件下取得。24

至 2026 年，榜單情勢已明顯不同。Vals AI 列出 Claude Opus 5 為 97.0%，並指出有 7 個受評模型達到 95% 以上，DeepSeek V4 Pro 0813 也有 96.4%。9 因此，把 Opus 5 說成「約 96%」可視為對高九成分數的概略說法，卻不是唯一權威數字：模型版本、代理框架、預算與評測設定，都會改變結果。

為何 97% 仍須保留解讀空間？

500 題測試集拿到 97%，能用來拉開前沿系統差距的空間已很小。更關鍵的是，Verified 使用公開程式庫中的有限公開題目；相關基準說明將其列為有較高資料污染風險、且正走向飽和的評測。3

這不表示分數沒有意義。它代表這個分數最能說明：代理能處理這一類需求相對明確、可由測試驗證的問題；但它較難完整預測代理面對私有、持續演變的程式庫與新型任務時的表現。

SWE-bench Pro：更難、也更廣的測試

SWE-bench Pro 被定位為難度更高、較能抵抗資料污染的替代方案。據報它包含 1,865 個任務、41 個程式庫與 123 種程式語言；相較之下，Verified 為 500 個經人工篩選、以熱門 Python 程式庫為主的題目。1216

2026 年 9 月公布的彙整榜單列出 Claude Fable 5.1 為 81.2%，高於 Claude Mythos 5 的 80.3% 與 Claude Fable 5 的 80.0%。53 依此榜單，Claude 占據前三名。

不過，Pro 的數字不一定能直接橫向比較。一個來源區分了 Scale 標準化公開測試集的領先 59.1%，以及較高的供應商彙整數字，顯示代理框架與報告方法足以顯著影響結果。13 另一來源更明確提醒，81.2% 的 Fable 5.1 數字未見直接發布的模型專屬 SWE-bench 成績支持，可能涉及彙整或版本歸屬問題。55

實務上，最穩妥的讀法是：把 81.2% 視為已報導的榜單數值，而非已獲獨立複現、只反映基礎模型本身的定論。

Terminal-Bench 4.0：常被引用的 Claude 與 OpenAI 差距

Terminal-Bench 測量代理在命令列環境完成技術工作的能力，例如建置軟體或訓練機器學習模型。相較於 SWE-bench Verified 的「issue 加補丁」格式，它測試的是更具操作性的工作流。38

引用的比較中，Claude Fable 5.1 為 55.8%，GPT-5.6 Sol 為 37.3%，相差 18.5 個百分點。44 這是該份評測中，所報 Claude 組態表現更好的有力證據。

但它不能證明 Anthropic 對 OpenAI、Google、Cognition 或 AWS 有普遍性領先。若要提出廣泛的供應商排名，需要在相同代理框架、相近權杖與時間預算下，使用匹配模型並跨多個獨立任務集比較；現有資料並未提供這樣的完整對照。

這些結果能證明、又不能證明什麼？

現有資料可支持三項較精確的說法：

1. Claude 在 SWE-bench Verified 的報導成績有明顯提升：從升級版 Claude 3.5 Sonnet 的 49.0%，到與 Opus 5 相關的高九成榜單結果。239
2. Claude 位於或接近已發布 SWE-bench Pro 彙整榜單的前列，但每一個數字的來源與方法都必須核對。5355
3. 在引用的 Terminal-Bench 4.0 比較中，Claude Fable 5.1 的代理組態優於 GPT-5.6 Sol。 44

然而，這些結果不能證明 Claude 能自主完成數週專案、可靠理解未文件化的內部系統、作出穩健架構決策，或在無人審查下安全部署。SWE-bench 的任務有可驗證的測試結果；真實軟體工程還包含需求釐清、取捨、整合、安全性、部署與團隊協作。

現在，比起 Verified 再多一分，更重要的是評測設計

SWE-bench Verified 的價值，在於它超越了短小的程式解題：代理必須處理真實程式庫與 issue 說明，補丁再由測試評分。138 不過，依 Anthropic 對代理評測的討論，模型在一年內已從約 40% 進展到此評測的 80% 以上。38

在這個階段，較有意義的評估組合應包括：

• 公開 issue 修復：作為可重複比較的基準線，例如 SWE-bench Verified；
• 範圍更廣、保留程度更高的程式庫任務：例如 SWE-bench Pro；
• 終端機與工具使用任務：驗證反覆執行、測試與故障恢復能力；
• 私有且具代表性的內部任務：納入組織實際使用的語言、建置系統、權限、測試與程式碼審查標準。

Anthropic 將 SWE-bench Verified 與 Terminal-Bench 都列為代理評測案例，也強調 Claude 4 的長時程任務能力。3842 不過，提供的資料不足以證實 Anthropic 已正式、全面地把評測重心從 SWE-bench 轉向長時程基準；這個更強的說法仍不宜當成既定事實。

結論

截至 2026 年 9 月，Claude 的已報導基準成績，足以讓它成為最值得評估的程式代理選項之一。最醒目的里程碑，是從 2025 年初 SWE-bench Verified 的 49%，走到 Opus 5 在某一榜單上的 97.0%，並伴隨 SWE-bench Pro 的 81.2% 領先報導。23953

選工具時，不應只看單一頭條分數。先用這些成績建立候選清單，再在自家程式庫上，針對具代表性的任務進行受控測試。接近飽和的公開基準能證明模型可修復許多已知型態的問題，卻無法單獨證明它能在正式生產環境中可靠地自主完成軟體工程。