Claude Mythos Previewの「SWE-bench 93.9％」をどう読むべきか

ただし、この数値は「モデル単体が何も使わずに答えた結果」とは限りません。SWE-benchで高いスコアが出る場合、モデルがエージェントとして動作し、ファイルを読み、コードを実行し、テスト結果を確認しながら試行を重ねる構成で評価されることが多いとされています 。つまり93.9％は、モデルの能力だけでなく、使えるツールや評価環境も含めた結果として読むべきです。

93.9％が意味しないこと

この93.9％は、Claude Mythos Previewの「総合点」ではありません。ソフトウェア向けのベンチマークだけでは、一般的な推論力、安全性、利用可能性、運用コスト、あるいはコード作業に似ていないタスクでの性能までは測れません 。

モデル同士をまじめに比較するなら、同じベンチマーク、同じ条件で見ることが基本です。あるモデルがファイルアクセス、コード実行、複数回の反復を使うエージェント構成で評価され、別のモデルがそうした道具なしで評価されているなら、単純な順位づけは誤解を招きます 。

報告されている主なベンチマーク

ソフトウェア性能とセキュリティ性能は分けて読む

Claude Mythos Previewには、サイバーセキュリティ関連の指標も報告されています。ある情報源は、サイバーセキュリティ能力ベンチマークでClaude Mythos Previewが83.1％、Claude Opus 4.6が**66.6％だったとしています 。別の情報源では、サイバーセキュリティ課題を扱うCybenchで100％**を達成したとも報告されています 。

ただし、これらはSWE-benchとは別の話です。Anthropic Red Teamによる公開資料はClaude Mythos Previewのサイバーセキュリティ能力評価に焦点を当てており、Project Glasswingでも同モデルを使った脆弱性やエクスプロイトの特定が扱われています 。セキュリティチームにとっては重要な情報ですが、SWE-benchの93.9％と混ぜて「万能スコア」のように扱うべきではありません。

実務ではどう使うべきか

もし想定している用途が、リポジトリを読み、コードを直し、テストを実行しながら反復する開発エージェントなら、**SWE-bench 93.9％**は最初に見る価値のある指標です 。

一方で、脆弱性分析、セキュリティレビュー、エクスプロイト調査のような用途を考えているなら、SWE-benchよりもサイバーセキュリティ系の数値やAnthropicの関連資料を優先して読むべきです 。

結論はシンプルです。Claude Mythos Previewの最も引用されるベンチマーク結果は、**SWE-benchで93.9％**です 。ただし、厳密には「特定の評価条件下で、ソフトウェア関連タスクに強いことを示す数値」であり、あらゆる分野での優位性を自動的に証明するものではありません。