如果只可以先試一個,用嚟做認真軟件工程工作,Claude Code 配 Opus-class 模型係現有證據下最清晰嘅 default。Emergent 將 Claude Code(Opus 4.6)列為複雜 debugging、多檔案推理同高風險改動嘅選擇;Awesome Agents 亦指,當 Scale SEAL 在 SWE-bench Pro 用標準化工具設定比較模型時,Claude Opus 4.5/4.6 會排在前面。
但呢個唔代表 Claude 可以「通殺」。Awesome Agents 同時報告,GPT-5.4 在自訂 agent scaffolding 下,於 SWE-bench Pro 達到 57.7%;而 SWE-bench leaderboard 顯示,Gemini 3 Flash(high reasoning)為 75.80,GPT-5-2 Codex 為 72.80。
| 你要做嘅事 | 先試邊個 | 點解 |
|---|---|---|
| 複雜 debugging、多檔案修改、高風險 repo 改動 | Claude Code + Opus-class 模型 | Emergent 指 Claude Code(Opus 4.6)適合複雜 debugging、多檔案推理同高風險改動;Awesome Agents 指在標準化 SWE-bench Pro 工具設定下,Claude Opus 4.5/4.6 領先。 |
| 用自訂 agent scaffolding 跑 SWE-bench Pro | GPT-5.4 | Awesome Agents 報告 GPT-5.4 在自訂 agent scaffolding 下,SWE-bench Pro 成績為 57.7%。 |
| 以 SWE-bench leaderboard 做 shortlist | Gemini 3 Flash、GPT-5-2 Codex | SWE-bench leaderboard 顯示 Gemini 3 Flash 為 75.80,GPT-5-2 Codex 為 72.80。 |
| 想廣泛比較多個模型 | 睇多幾個 leaderboard | LLM Stats 指其 coding 排名結合 live coding arenas、benchmark 表現同生成例子,涵蓋 144 個模型、7 個 coding arenas、46 個 benchmarks,以及 726 次 blind votes。 |
| 想搵一個所有團隊都啱用嘅冠軍 | 未有可靠 universal pick | 評測一轉,排名就可能轉;尤其自訂 scaffolding 同標準化 scaffolding 會得出不同結果。 |
Claude 最有說服力嘅地方,唔係單純「寫一段 code」寫得靚,而係較似真實工程嘅場景。Emergent 認為,coding 表現關鍵在於系統能否在壓力下處理多步、repository-level 工作,並點名 Claude Code 配 Opus 4.6 用於複雜 debugging、多檔案推理同高風險 code changes。
呢點對開發團隊好重要。真實 bug 好少只係改一個 function 就完,通常要睇現有架構、跨檔案追線索、跑測試、再修正。Emergent 特別提到,Claude Code 能夠在大型 codebase 保持上下文,並承受反覆 debugging 而不退化。
Benchmark 證據亦有利 Claude,但前提係工具設定受控。Awesome Agents 指,GPT-5.4 在自訂 scaffolding 下領先 SWE-bench Pro;不過當 Scale SEAL 在 SWE-bench Pro 用同一套標準化 agent tooling 比較各模型時,Claude Opus 4.5/4.6 反而排前。 對想買入或標準化 coding agent 嘅團隊嚟講,呢個分別好關鍵:你要分清楚,成績係模型本身強,定係外層 agent 流程特別配合某一個模型。
GPT-5.x Codex-class 模型一定要放入 shortlist,尤其你嘅評估本身偏向 OpenAI/Codex-style workflow,或者你有能力自訂 agent scaffolding。Awesome Agents 報告 GPT-5.4 在 SWE-bench Pro 以自訂 agent scaffolding 達到 57.7%,並指 SWE-bench Pro 係較難版本,包含來自 41 個 repositories 嘅 1,865 個 tasks。
SWE-bench leaderboard 亦顯示 GPT-5-2 Codex 為 72.80。 對重視公開 benchmark 嘅團隊,呢個係強訊號;但未足以一錘定音,因為同一組證據已經顯示,scaffolding 一變,排名可以跟住變。
Gemini 亦係 benchmark-driven 選型入面嘅重要候選。SWE-bench leaderboard 顯示 Gemini 3 Flash(high reasoning)為 75.80,高過同頁顯示嘅 GPT-5-2 Codex 72.80。
所以,如果 SWE-bench 表現係你篩選工具嘅核心,Gemini 值得一併測試。不過,公開 leaderboard 成績唔等於一定適合你自己個 repo;你嘅 codebase、權限設定、測試套件、review 標準同 agent tooling,都可能同公開評測環境唔同。
AI coding 排名睇落互相打架,通常係因為佢哋量度緊唔同嘢。
實用結論係:公開排名可以幫你開 shortlist,但唔應該代替你自己嘅測試。
最穩陣做法係用同一個 repo、同一套指示、同一批權限、同一時間限制、同一個 review 流程,畀幾個候選模型落場試。
一個有用嘅測試集,可以包括:
記住要分開記錄「模型」同「外層 agent framework」嘅效果。現有證據已經顯示,自訂 scaffolding 同標準化 scaffolding 會令領先模型改變。
評分時,唔好只睇一個 leaderboard 數字。更實際嘅指標包括:測試有冇過、解釋是否準確、模型有冇保持上下文、改動是否最少而必要,以及最後需要幾多人手 review。對 production code 嚟講,呢啲通常比單一分數更有用。
如果你處理嘅係最難、最接近真實世界嘅 coding 工作,Claude Code 配 Opus-class 模型係目前證據最支持嘅 default。
如果你嘅選型以 benchmark 為主,GPT-5.x Codex 同 Gemini 仍然係強候選:GPT-5.4 在自訂 scaffolding 下的 SWE-bench Pro 成績報告為 57.7%,而 SWE-bench 顯示 Gemini 3 Flash 為 75.80。
最安全、亦最工程化嘅答案係:唔好假設一個模型永遠贏。先用 Claude Code/Opus 試困難 repo-level 工作;再把 GPT-5.x Codex 同 Gemini 放入 benchmark-driven trial;最後用你自己個 codebase 嘅結果決定。