| SWE-bench Multilingual | 80.5% | 另一來源提到,並指 Opus 4.6 為 77.8%;但來源較薄,要保守看待。 |
呢張表刻意採取保守做法:只收錄目前公開資料中明確出現的數字。對企業採購、模型遷移或者生產系統選型而言,佢唔應該取代內部測試。
SWE-bench Verified 的 87.6%,係目前關於 Claude Opus 4.7 最有來源支撐的 benchmark 數字。無論係遷移/benchmark 文章,定係 LLM-Stats,都提到同一個 87.6% 分數。
LLM-Stats 亦將 87.6% 解讀為較 Opus 4.6 高 6.8 個百分點。 ALM Corp 亦形容 Opus 4.7 在困難 coding 同 agentic workflows 上有更強表現。
對做 software engineering workload 的團隊嚟講,SWE-bench Verified 可以作為公開比較的起點。它有用,但唔好將它當成終點:真實情況要睇模型能否處理你哋自己的 codebase、測試框架、CI/CD、工具調用、code review 標準同安全要求。
GPQA 的 94.2% 在 LLM-Stats 裡面有清楚列出。 同時,Anthropic 官方頁面作為一手來源當然重要;但在目前可見摘要中,較明確可確認的是開發者可以透過 Claude API 使用
claude-opus-4-7,未見完整 benchmark 表可在這裡直接引用。
所以,GPQA 可以視為 Claude Opus 4.7 的重要補充訊號,但可信度權重應該低過 SWE-bench Verified。若果 GPQA 會影響採購、遷移或者模型路線決定,最好再對照官方完整材料,或者用自己題庫和工作流重新測試。
如果團隊維護多語言 codebase,或者工程環境唔只用英文,SWE-bench Multilingual 80.5% 會幾值得留意。有來源提到 Claude Opus 4.7 在 SWE-bench Multilingual 升至 80.5%,並對比 Opus 4.6 的 77.8%。
但限制亦要講清楚:呢個數字在現有來源中冇 SWE-bench Verified 咁廣泛出現。所以它可以作為初步參考,特別係國際化 codebase、混合語言 stack、或者非英文開發環境;但仍然唔應該取代實測。
Claude Opus 4.7 唔只係一堆分數。VentureBeat 形容它是 Anthropic 當時公開發布的最強大型語言模型。 ALM Corp 則將 Opus 4.7 描述為已一般可用的 Opus 模型,面向高要求的 coding、agent、文件同 vision 工作流。
對實際選型嚟講,以下產品特性可能同 benchmark 一樣重要:
如果準備上 production: 唔好只跑接近 benchmark 的題目。應該一併測試長 context、工具調用、vision case、token 消耗、延遲、錯誤處理同回歸測試。Context window、vision、effort level 同 tokenizer 變動,都可能明顯影響實際使用體驗。
最保守而可引用的講法是:Claude Opus 4.7 目前公開資料中出現的主要 benchmark 包括 SWE-bench Verified 87.6%、GPQA 94.2%、SWE-bench Multilingual 80.5%。