| GPT-5.5 | 58.6% | — | 82.7% | Expert-SWE(Internal)73.1%;OpenAI 註記其他實驗室在此 eval 上見到 memorization evidence。 | A-:SWE-Bench Pro 同 Terminal-Bench 2.0 來自 OpenAI 同一張比較表,可同 Claude Opus 4.7 直接對照;Expert-SWE 屬 internal eval,要保守睇。 |
| Claude Opus 4.7 | 64.3% | 87.6% | |||
| Kimi K2.6 | 58.6% | 80.2% | — | Hugging Face 頁面將 Kimi K2.6 描述為 open-source、native multimodal agentic model。 | B(有限):SWE-Bench 分數來自第三方文章;本文來源未見到可同 GPT-5.5、Claude Opus 4.7 同表交叉驗證嘅官方完整 benchmark。 |
| DeepSeek V4 | — | — | — | — | C(資料不足):本文可用來源未有可引用 DeepSeek V4 benchmark,因此唔做數值排名。 |
喺 OpenAI 嘅 GPT-5.5 評測表,Claude Opus 4.7 在 SWE-Bench Pro 係 64.3%,高過 GPT-5.5 嘅 58.6%。 呢組係今次最值得直接比較嘅數據之一,因為兩個模型出自同一張 OpenAI 表。
Kimi K2.6 亦被 Kilo AI 第三方文章列為 SWE-Bench Pro 58.6%,表面上接近 GPT-5.5;不過呢個數字未同 GPT-5.5、Claude Opus 4.7 出現喺同一張可引用交叉表,所以只適合作參考訊號,唔宜當成嚴格勝負。
同一張 OpenAI 評測表顯示,GPT-5.5 在 Terminal-Bench 2.0 係 82.7%,Claude Opus 4.7 係 69.4%。 如果你嘅場景偏向終端機操作、命令列工作流,或者 coding agent 真正落手執行任務,GPT-5.5 應該優先入測試名單。
但要留意,本文來源未有 Kimi K2.6 或 DeepSeek V4 在 Terminal-Bench 2.0 嘅可引用分數,所以呢一欄唔能夠排四模型完整名次。
Claude Opus 4.7 的 SWE-Bench Verified 87.6% 見於第三方 Claude Opus 4.7 評測整理;Verdent 將呢個數字標示為 Anthropic-conducted,並提到有 memorization screens applied。 Kimi K2.6 的 SWE-Bench Verified 80.2% 則來自 Kilo AI 第三方文章。
兩組數字都有參考價值,但唔似 OpenAI 同表入面嘅 SWE-Bench Pro 同 Terminal-Bench 2.0 咁適合直接硬比。
GPT-5.5 在 Expert-SWE(Internal)為 73.1%,但 OpenAI 自己將其標示為 internal eval,並註記其他實驗室在此 eval 上見到 memorization evidence。 所以 Expert-SWE 可以話係 OpenAI 內部能力訊號,但唔適合作為四模型總排名嘅核心依據。
如果你處理嘅係 GitHub issue 修復、multi-file bug 或複雜軟件工程任務,Claude Opus 4.7 值得先試。 喺最可直接對照嘅 SWE-Bench Pro 數據中,Claude Opus 4.7 以 64.3% 高過 GPT-5.5 嘅 58.6%。 Vellum 亦將呢組差距放喺 real GitHub issue resolution 嘅語境下解讀。
如果你嘅工作流似終端機操作型 coding agent,GPT-5.5 值得先試。 GPT-5.5 在 Terminal-Bench 2.0 的可引用分數係 82.7%,高過 Claude Opus 4.7 的 69.4%。 呢點唔代表 GPT-5.5 在所有 coding 任務都較好,只代表它喺呢個特定 benchmark 有明確優勢。
如果你需要開放模型候選,Kimi K2.6 可以放入 shortlist。 Hugging Face 將 Kimi K2.6 描述為 open-source、native multimodal agentic model;Kilo AI 第三方文章列出它在 SWE-Bench Pro 58.6%、SWE-Bench Verified 80.2%。 但因為本文來源未見到同 GPT-5.5、Claude Opus 4.7 同表嘅官方交叉比較,最好仍然用你自己嘅任務集重測。
如果你正在評估 DeepSeek V4,最穩陣係等更多可引用 benchmark,或者自己重跑。 本文可用來源未有 DeepSeek V4 嘅可核驗分數;硬將佢排入榜,反而比留白更容易誤導。
LLM benchmark 最易出事嘅位,就係將唔同來源、唔同測試設定、唔同任務類型嘅分數撈埋。今次可以分三層睇:
按呢個標準,結論其實幾清楚:Claude Opus 4.7 在 SWE-Bench Pro 領先 GPT-5.5;GPT-5.5 在 Terminal-Bench 2.0 領先 Claude Opus 4.7;Kimi K2.6 的 SWE-Bench 數字有競爭力,但證據等級較低;DeepSeek V4 暫時應列為資料不足。
真正落地選型,唔應該停喺 benchmark 表。最好用呢張表先縮窄 shortlist,下一步再用你自己嘅 repo 類型、程式語言、測試環境、工具調用、延遲、成本同失敗恢復方式重測。咁得出嚟嘅結果,會比一個「四模型總排名」更貼近實際產品表現。
| 69.4% |
| CursorBench 70%。 |
| A-/B:SWE-Bench Pro 同 Terminal-Bench 2.0 可同 GPT-5.5 同表比較;SWE-Bench Verified 同 CursorBench 主要來自第三方整理,Verdent 將前者標示為 Anthropic-conducted、後者標示為 partner eval。 |