Claude Opus 4.7 對 GPT-5.5 Spud：Benchmark 暫時證明唔到邊個贏

所以今次判斷係不對稱：Claude Opus 4.7 可視為證據集中已核實嘅模型；GPT-5.5 Spud 暫時唔應被當成已核實公開發布嘅 OpenAI 模型。換句話講，而家要話 Claude Opus 4.7 或 GPT-5.5 Spud 贏咗 head-to-head benchmark，證據未夠。

先分清：邊啲係已核實事實

Benchmark 其實可以證明乜？

一個 benchmark 最多證明：某個模型喺某批任務、某套 harness（測試框架）、某種評分方式、某啲工具權限同存取條件之下，交出某個表現。佢唔可以單獨證明模型喺所有場景都最強。

呢個分別好重要。大型語言模型評測文獻提醒，靜態 benchmark 可能受飽和效應、資料污染同獨立複現不足影響。 如果比較一方係新近發布，另一方甚至未經一手文件核實，貿然講贏輸就更加危險。

要可信地比較 Claude Opus 4.7 同 GPT-5.5 Spud，起碼要有：

1. OpenAI 一手來源確認 Spud。
2. 穩定 Spud 模型 ID。
3. 兩邊模型可重複嘅存取條件。
4. 公開 benchmark 設定，包括 prompts、工具、重試次數同評分方法。
5. 由獨立團隊喺相近條件下複現結果。

目前提供嘅 Spud 證據未達到呢個門檻。

資料污染：點解高分唔一定等於真功夫

Benchmark 污染或洩漏，意思係模型可能喺訓練資料、公開討論、解題文章或榜單相關資料入面，見過測試題、答案模式或相近解法。咁樣嘅高分，可能反映見過題，而唔係真正有穩健泛化能力。

近年 benchmark 研究反覆指出，靜態或公開資料集特別容易面對污染同洩漏風險。 有關 LLM benchmark 嘅綜述亦提到，像 LiveBench 呢類動態 benchmark 設計，可以降低資料洩漏風險。 但要留意，降低風險唔等於任何一個排行榜都係終極答案。

LiveBench：較強公開信號，但唔係採購結論

喺本文證據入面，LiveBench 算係較強嘅公開 benchmark 設計，因為佢強調 contamination-limited（限制污染）任務、經常用近期來源更新題目、以程序生成問題，並用客觀 ground truth 評分。 LiveBench 網站亦連到 leaderboard、details、code、data 同 paper，方法比一張孤立發布圖更容易檢查。

不過，LiveBench 仍然應被視為強信號，而唔係你公司或團隊嘅最終採購答案。公共 benchmark 可以幫你縮窄候選模型，但取代唔到你自己嘅 prompts、codebase、延遲要求、成本上限、工具權限同失敗容忍度測試。

SWE-bench 要睇版本，唔好只睇個名

SWE-bench 類評測對比較編程同軟件工程 agent 好有用，但只見到 SWE-bench 幾個字並不足夠。不同 variant、harness、工具存取、repository 狀態、重試政策同評分設定，都可以改變結果。

SWE-bench Live 旨在減低 pretraining contamination（預訓練污染），限制任務來自 2024 年 1 月 1 日至 2025 年 4 月 20 日期間建立嘅 issue；作者亦指出，SWE-bench leaderboard 上嘅設定可以有相當大差異。 SWE-bench Pro 則被描述為更具挑戰、較抗污染，針對較長時間跨度軟件工程任務嘅 benchmark。

限制亦唔少。SWE-Bench++ 指出，建基於開源軟件嘅 benchmark 面對關鍵資料污染風險，solution leakage（解法洩漏）可以扭曲排行榜排名。 另一項 2026 年針對 SWE-bench leaderboard 嘅分析亦報告，近期 SWE-bench Verified 提交中出現資料污染情況。

仲有飽和問題。一篇 benchmark infrastructure 論文指，模型喺 SWE-bench Verified 上嘅成績，去到 SWE-bench Pro 可以跌至 23%。 SWE-ABS 亦認為 SWE-bench Verified leaderboard 正接近飽和；在任務未經對抗式強化前，成功率可能被推高。

實用 benchmark 信任階梯

可以咁睇：公共 benchmark 係篩選器，唔係判決書。如果你要幫團隊揀模型，權重可大概咁排：

轉模型前，應該點測？

如果你正比較 Claude Opus 4.7 與任何 OpenAI、Google、Anthropic 或開源模型，建議由證據可信度開始，最後一定落到自己工作負載。

1. 先確認精確模型 ID。 Claude Opus 4.7 方面，Anthropic 文件列出 claude-opus-4-7 可供 Claude API 使用。 GPT-5.5 Spud 方面，本文證據未提供 OpenAI 一手模型 ID。
2. 所有模型用同一套 harness。 SWE-bench Live 明確提醒，leaderboard 設定可以有大差異；設定唔一致，好容易做出假排名。
3. 優先用近期、私有或抗污染任務。 動態 benchmark 同抗污染軟件工程 benchmark 嘅設計目的，就係降低洩漏風險。
4. 記低實際成本同限制。 包括重試次數、延遲、費用、工具權限、失敗模式，以及模型係一次清楚解決，定係靠多次昂貴嘗試先做到。
5. 重複測試再落決定。 單一 leaderboard 結果應先當假設，等內部測試或第三方複現支持後，先用嚟做高風險決策。

乜嘢會改變今次結論？

如果之後證據集中出現 OpenAI 一手公告、model card、system card 或 API 文件確認 GPT-5.5 Spud，再加上穩定模型 ID、可重複存取條件，以及用相近 harness 同工具權限跑出嘅獨立 benchmark，結論先有機會改變。

如果相關結果仲出現在 LiveBench、SWE-bench Live 或 SWE-bench Pro 呢類限制污染／抗污染評測，而且有獨立團隊能夠複現，證據會再強一層。

重要局限

本文只基於獲提供嘅證據。喺呢批資料入面未見 GPT-5.5 Spud 嘅 OpenAI 一手來源，並不等於世界上一定不存在相關來源；只代表呢個聲稱在本文證據中未被核實。

另外，本文引用嘅多個 benchmark 方法來源屬 arXiv、OpenReview 或 SSRN 記錄，而唔一定係最終期刊版本。佢哋對理解評測設計、污染風險同複現問題有參考價值，但閱讀時應留意出版狀態。

一句到尾

Claude Opus 4.7 喺本文證據中已核實；GPT-5.5 Spud 則未經 OpenAI 一手文件核實。 因此，Claude Opus 4.7 vs GPT-5.5 Spud 暫時唔應宣布 benchmark 贏家。等 Spud 被確認、有穩定模型 ID、可重複存取，並在相近條件下接受獨立測試後，先有資格做正面比較。

揀模型時，最值得信嘅唔係最大字嘅排行榜標題，而係方法可檢查、污染風險受控、結果可重複，最後仲要過到你自己工作負載。LiveBench、SWE-bench Live 同 SWE-bench Pro 比靜態或廠商單方面圖表更有參考價值，但都唔能夠取代你自己嘅受控測試。