Claude Opus 4.7 vs GPT-5.5 Spud：ベンチマークで本当に分かること

ベンチマークが証明できること、できないこと

ベンチマークが示せるのは、特定の課題セット、実行ハーネス、採点方法、ツール利用条件、アクセス条件の下で、そのモデルがどう振る舞ったかです。それだけで、あらゆる業務や用途での普遍的な優劣までは証明できません。

この点は、LLM評価の研究でも繰り返し指摘されています。静的なベンチマークには、スコアの飽和、データ汚染、独立再現の不足といった問題が起こり得ます。 片方のモデルは公式に確認でき、もう片方は一次資料で確認できない、という今回のような比較では、この注意点はいっそう重要です。

Claude Opus 4.7 vs GPT-5.5 Spudについて信頼できる主張をするなら、少なくとも次の条件が必要です。

1. OpenAIの一次情報でSpudが確認されていること。
2. 安定したSpudのモデルIDがあること。
3. 両モデルに再現可能なアクセス条件があること。
4. プロンプト、ツール、再試行、採点方法などの設定が開示されていること。
5. 同等条件で独立した再現が行われていること。

今回のSpud関連資料は、この水準を満たしていません。

データ汚染で順位は変わり得る

ベンチマーク汚染やリークが問題になるのは、高いスコアが「汎用能力」ではなく、テストデータ、解法パターン、公開された評価用アーティファクトへの接触を反映している可能性があるからです。近年のベンチマーク研究は、特に静的または公開データセットでこのリスクを指摘しています。

LLMベンチマークのサーベイは、LiveBenchのような動的ベンチマーク設計がデータリークのリスクを下げると述べています。 もちろん、動的だからといって単独の順位表が最終回答になるわけではありません。それでも、古い静的ベンチマークよりは、頻繁に更新され汚染を抑える設計の評価の方が、フロンティアモデルを見るうえで有益です。

LiveBenchは強いシグナル。ただし最終判断ではない

今回の資料群で見る限り、LiveBenchは比較的強い公開ベンチマークの一つです。汚染を抑えた課題、最近の情報源からの頻繁な問題更新、手続き的な問題生成、客観的な正解に基づく採点を特徴としています。 公式サイトからはリーダーボード、詳細、コード、データ、論文にもアクセスでき、単発のローンチ資料より検証しやすい構造になっています。

ただし、LiveBenchも「採用決定をそのまま任せるもの」ではありません。公開ベンチマークは候補を絞る材料にはなりますが、自社のプロンプト、コードベース、レイテンシ要件、コスト制約、失敗許容度を置き換えるものではありません。

SWE-bench系は有用だが、名前だけで読んではいけない

SWE-bench系の評価は、コーディングやソフトウェアエンジニアリング向けエージェントの比較に役立ちます。ただし、「SWE-benchで何点」という見出しだけでは不十分です。どの変種か、どのハーネスか、ツールアクセスはどうか、リポジトリの状態は何か、再試行を許したか、採点はどう行ったかで結果は変わります。

SWE-bench Liveは、事前学習データへの混入を減らすため、2024年1月1日から2025年4月20日までに作成されたissueに課題を限定したと説明されています。また、著者らはリーダーボードの設定が大きく異なり得るとも述べています。 SWE-bench Proは、より長い時間軸のソフトウェアエンジニアリング課題に対する、より難しく汚染耐性のあるベンチマークとして提示されています。

一方で、注意点も大きいです。SWE-Bench++は、オープンソースソフトウェアを使うベンチマークには重大なデータ汚染リスクがあり、解答の漏えいが順位を歪め得ると指摘しています。 2026年のSWE-benchリーダーボード分析も、SWE-bench Verifiedの最近の提出にデータ汚染が見られたと報告しています。

さらに、飽和の問題もあります。あるベンチマーク基盤に関する論文は、SWE-bench Verifiedでの結果がSWE-bench Proでは23%まで落ちる例を報告しています。 SWE-ABSも、SWE-bench Verifiedのリーダーボードは飽和に近づいており、課題を敵対的に強化するまでは成功率が高く見えすぎる可能性があると論じています。

ベンチマークを読むための信頼度の目安

公開ベンチマークは、最終判定ではなくフィルターとして使うのが現実的です。

モデルを切り替える前に見るべきこと

Claude Opus 4.7を、OpenAI、Google、Anthropic、またはオープンモデルと比較するなら、最初にベンチマークの信頼性を確認し、最後は自社の作業で試すべきです。

1. 正確なモデルIDを確認する。 Claude Opus 4.7については、Anthropicがclaude-opus-4-7をClaude API向けに示しています。 GPT-5.5 Spudについては、今回の資料群にOpenAIの一次的なモデルIDはありません。
2. 全モデルで同じハーネスを使う。 SWE-bench Liveは、リーダーボードの設定が大きく異なり得ると明記しています。条件が違えば、見かけの順位も変わります。
3. 最近の課題、非公開課題、汚染耐性のある課題を優先する。 動的ベンチマークや汚染耐性を意識したソフトウェアエンジニアリング評価は、リークの影響を下げるために設計されています。
4. 実務制約を記録する。 再試行回数、レイテンシ、コスト、ツール権限、失敗モード、そして高コストな試行の末に解けただけなのかを残すべきです。
5. 評価を繰り返す。 単一のリーダーボード結果は、社内テストや第三者再現で支えられるまで仮説として扱うのが安全です。

結論が変わる条件

GPT-5.5 Spudについて、OpenAIの一次発表、モデルカード、システムカード、API文書のいずれかが確認でき、安定したモデルID、再現可能なアクセス、比較可能なハーネスとツール権限を備えた独立ベンチマークが出てくれば、判断は変わります。

さらに、その結果がLiveBench、SWE-bench Live、SWE-bench Proのような汚染制限型または汚染耐性を意識した評価に掲載され、独立チームが再現できれば、証拠はより強くなります。

重要な限界

この分析は、今回参照している資料に限定されています。ここにOpenAIの一次資料がないことは、「GPT-5.5 Spudが存在しない」ことの証明ではありません。あくまで、この資料群では確認できないという意味です。

また、ここで引用したベンチマーク方法論の資料には、arXiv、OpenReview、SSRNの記録が含まれ、最終的な査読付きジャーナル論文ではないものもあります。評価設計、汚染リスク、再現性の問題を理解するうえでは有用ですが、出版状況は踏まえて読む必要があります。

要点

Claude Opus 4.7は、今回の資料群ではAnthropic公式資料と報道で確認できます。GPT-5.5 Spudは、ここではOpenAIの一次資料によって確認されていません。 そのため、Claude Opus 4.7 vs GPT-5.5 Spudの勝者を発表するには、Spudの確認、安定したモデルID、再現可能なアクセス、同等条件での評価が必要です。

モデル選定では、汚染制限型または汚染耐性を意識したベンチマーク、検証可能な方法、繰り返し評価を重視すべきです。LiveBench、SWE-bench Live、SWE-bench Proは、静的ベンチマークやベンダー単独のチャートより有益な材料になります。ただし、どれも自社ワークロードでの管理された評価の代わりにはなりません。