ClaudeのSWE-bench成績を読む：高得点が示すこと、示さないこと

Claudeのコーディング・ベンチマーク成績は、短期間で大きく伸びた。2025年初頭にはアップグレード版Claude 3.5 SonnetがSWE-bench Verifiedで49.0%、数か月後のClaude 4では約72.5〜72.7%、その後のリーダーボードでは上限に近いスコアが報告されている。23249

ただし、ここから「Claudeがソフトウェアエンジニアリングを解決した」と結論づけるのは早い。妥当な読み方は、Claudeが公開されたコーディングエージェント評価で非常に競争力が高く、しばしば先頭に立っているということだ。有限の公開ベンチマークでスコアが100%へ近づくほど重要になるのは、各社のリポジトリ、ツール、レビュー工程での実力を最もよく予測する評価は何か、という問いである。

主要ベンチマークの違い

ベンチマーク	エージェントに求められる作業	範囲と採点	注目点
SWE-bench Verified	実際のGitHub Issueとリポジトリのスナップショットを受け取り、修正パッチを作る。	人手で絞り込まれたSWE-benchの500件。主に著名なオープンソースPythonリポジトリが対象で、評価ハーネス内のテストをパッチが通過すれば解決と数える。1216	実在コードベースのIssue解決を測る、広く参照される評価。
SWE-bench Pro	標準化されたエージェント基盤で、より難しく長期的なリポジトリ作業を解く。	41リポジトリ・123言語にまたがる1,865タスクと報告され、一般にPass@1で採点される。312	Verifiedの公開・Python中心の課題を超え、汚染リスクを抑える目的の評価。
Terminal-Bench 4.0	ターミナル環境で技術作業をエンドツーエンドで実行する。	調査、コマンド実行、編集、テスト、失敗からの復旧を要するタスクを含み、GitHub Issueのパッチ作成だけにはとどまらない。3844	エージェントの実務的なツール利用・運用能力をより多く問う。

SWE-bench VerifiedにおけるClaudeの推移

Anthropicは、アップグレード版Claude 3.5 SonnetがSWE-bench Verifiedで**49.0%**を記録し、当時の従来最高値45%を上回ったと報告した。この時点では、50%を超えたモデルはまだなかったとされる。2337

2025年5月には、AnthropicがSWE-bench Verifiedで**Claude Opus 4は72.5%、Claude Sonnet 4は72.7%**と報告した。これらは拡張思考を使わない条件での数値である。24

2026年にはリーダーボードの様相が大きく変わった。Vals AIは**Claude Opus 5を97.0%**とし、評価済みモデルのうち7モデルが95%以上、DeepSeek V4 Pro 0813も96.4%と報告している。9 したがって「Opus 5は96%程度」という表現は、高90%台の結果を指す略記としては理解できる。ただし、唯一の決定的な数値ではない。スコアはモデルの版、エージェント基盤、トークンや時間の予算、評価設定に左右される。

97%を慎重に読むべき理由

500件のセットで97%という結果では、最先端システム間を見分ける余地がほとんど残らない。さらにVerifiedは、公開リポジトリから得た公開済み・有限の課題で構成される。ベンチマーク解説では、データ汚染のリスクが高く、飽和に近い評価と位置付けられている。3

これはスコアに意味がないということではない。むしろ、仕様が比較的明確でテスト可能なこの種のIssueを、エージェントが解ける証拠として有用である。一方、非公開で変化し続けるコードベースにおける未知の仕事全般を、完全に予測するものではない。

SWE-bench Pro：より難しく、より広い評価

SWE-bench Proは、より難度が高く、汚染への耐性も意識した代替評価として位置付けられている。報告されている対象範囲は、41リポジトリ、123プログラミング言語、1,865タスク。人気のPythonリポジトリを主対象とするVerifiedの500件よりも広い。1216

2026年9月の集計型リーダーボードでは、**Claude Fable 5.1が81.2%**で、Claude Mythos 5の80.3%、Claude Fable 5の80.0%を上回ったと掲載されている。53 このリーダーボードではClaudeが上位3枠を占める。

ただし、Proの数値同士はすべて直接比較できるわけではない。ある情報源は、Scaleの標準化公開セットにおける首位スコアを**59.1%**とし、より高いベンダー集計値とは区別している。これはエージェントハーネスと報告方法が結果を大きく変え得ることを示す。13 また、Fable 5.1の81.2%について、モデル固有のSWE-bench結果として直接公表された根拠が明確ではなく、集計やバージョン帰属の問題かもしれないと明示的に警告する情報源もある。55

実務上の要点は明快だ。81.2%は「報告されたリーダーボード値」として扱い、ベースモデル単体について独立に再現・確定した事実とはみなさないほうがよい。

Terminal-Bench 4.0でのClaudeとOpenAIの比較

Terminal-Benchは、ソフトウェアのビルドや機械学習モデルの訓練といった、コマンドライン環境での技術エージェント作業を評価する。Issueとパッチを中心とするSWE-bench Verifiedとは異なり、より運用的なワークフローを試すものだ。38

引用された比較では、**Claude Fable 5.1が55.8%、GPT-5.6 Solが37.3%**で、差は18.5ポイントだった。44 この結果は、報告されたClaudeの構成が当該評価でより良い成績を示した、有意義な証拠である。

ただし、これだけでAnthropic、OpenAI、Google、Cognition、AWSの総合的な優劣は決められない。幅広いベンダー比較には、対応するモデル、同じエージェント基盤、同程度のトークン・時間予算、複数の独立したタスク群での結果が必要になる。提示された根拠だけでは、その比較はできない。

結果が示すこと、示さないこと

利用可能な結果から支持できる測定上の主張は3つある。

1. ClaudeはSWE-bench Verifiedで大きな伸長を報告している。 アップグレード版Claude 3.5 Sonnetの49.0%から、Opus 5に関連付けられた高90%台のリーダーボード値まで上昇した。239
2. Claudeは公表済みSWE-bench Pro集計で首位または首位級にある。 ただし個々の数値の出所と方法論は確認が必要である。5355
3. 報告されたClaude Fable 5.1のターミナルエージェント構成は、引用されたTerminal-Bench 4.0比較でGPT-5.6 Solを上回った。 44

一方で、これらはClaudeが数週間にわたるプロジェクトを自律完遂できること、文書化されていない社内システムを確実に理解できること、妥当なアーキテクチャ判断を継続できること、あるいはレビューなしに安全に出荷できることを示してはいない。SWE-benchの課題にはテストで検証可能な正解がある。実際のソフトウェア開発には、要件の発見、トレードオフ、統合、セキュリティ、デプロイ、協働も含まれる。

Verifiedの1ポイント差より、評価設計が重要になる理由

SWE-bench Verifiedは、短いコーディング問題を超えた点で価値があった。エージェントは実在リポジトリとIssue説明を扱い、作ったパッチはテストで判定される。138 しかしAnthropicのエージェント評価に関する解説によれば、モデルはわずか1年でこの評価の約40%から80%超へ進んだ。38

現在、有用な評価の組み合わせには少なくとも次が必要になる。

• 再現可能な基準線としての、SWE-bench Verifiedのような公開Issue解決
• SWE-bench Proのような、より広範でホールドアウト性の高いリポジトリ作業
• 反復実行や復旧まで見るターミナル／ツール利用タスク
• 組織の言語、ビルド環境、権限、テスト、コードレビュー基準を反映した非公開の代表タスク

AnthropicはSWE-bench VerifiedとTerminal-Benchの双方をエージェント評価の例として挙げ、Claude 4について長時間にわたる作業能力も強調している。3842 ただし、提示された根拠だけでは、AnthropicがSWE-benchから長期評価へと正式に全社的な評価方針を移した、とまでは示せない。その強い主張は未証明のままにすべきである。

結論

2026年9月時点の報告値を見る限り、Claudeは評価対象に入れるべき最有力のコーディングエージェントの一つである。分かりやすい節目は、2025年初頭のSWE-bench Verified 49%から、Opus 5の報告値97.0%、さらにSWE-bench Proでの報告上の首位**81.2%**へという推移だ。23953

ツール選定を、単一の見出しスコアで決めるべきではない。これらの数字で候補を絞り込んだうえで、自社リポジトリの代表的なタスクを使い、条件をそろえた評価を行うのがよい。飽和に近い公開ベンチマークは、多くの既知パターンのIssueを修正できることを示す。しかし本番組織で信頼できる自律的なソフトウェアエンジニアリングを、それだけで証明することはできない。