GPT-6 Astraの評価はなぜ「首位」「同点」「劣勢」に分かれるのか

ベンチマークの見出しだけを並べると、GPT-6 Astraは「圧勝」「横並び」「Claude Fable 5.1に後れを取る」のいずれにも見えます。しかし、必ずしも評価のどれかが誤っているわけではありません。測っている仕事、推論設定、ツールや状態の扱い、コストの前提が違うためです。

実務で重要なのは「総合首位はどれか」ではなく、自社の仕事に近い条件で、どのモデルがどの程度の費用と安定性で完了できるかです。

総合リーダーボードは「知能の単一メーター」ではない

複合型の指数は、複数のタスクを一つの点数にまとめます。そのため、順位は次の設計次第で変わります。

• 採用する問題群と各問題の重み
• テストしたモデル設定
• 推論の強さやトークン予算
• ツール利用の可否
• コストをスコアにどう反映するか

幅広い能力を測る総合指数で強いモデルが、コーディング中心の指数やエージェント評価で必ず勝つとは限りません。

例えば、提供されたArtificial Analysisの比較ページでは、GPT-6 Astra（max）は55、Claude Fable 5.1は57です。一方、初期の比較記事には61対66という数値も掲載されています。34 これは、点数を恒久的な成績表として扱うのではなく、評価日・モデル設定・テスト条件をセットで記録すべきことを示しています。

なお、「Epoch AIのCapabilities Indexで169点、267モデル中首位」とする主張と、その集計方法は、提供されたEpochの一次資料では裏付けられていません。比較の決め手にするには、リーダーボード本体、重み付け、モデル設定、不確実性の情報が必要です。

ARC-AGI-3では、評価ハーネスの違いが結果を大きく左右した

ARC-AGI-3は、固定された設問に答えるだけのベンチマークではありません。AIエージェントが未知の対話環境を探索し、その場で目標を把握し、適応可能な世界モデルを作り、経験に応じて方針を変えられるかを試します。50

ARC PrizeがSemi-Private評価で報告したGPT-6 Astraの代表的な結果は、次の通りです。

評価条件	最高報告スコア	1実行当たりの報告コスト
Standard harness、max reasoning	62.7%	26,098ドル
OpenAI Provider Adapter、high reasoning	99.9%	18,817ドル（約1.9万ドル）

5152

この差は、単なる実装上の注記ではありません。

Standard harnessは、プロバイダーに依存しない最小限のインターフェースです。モデルは自分で残すと判断したメモだけを、環境内で次の要求へ持ち越せます。一方のProvider Adapterは、プロバイダー側の不透明な推論状態を要求間で保持し、長い会話に向けたコンテキスト圧縮も使えます。5153

つまり99.9%は、Astra単体だけでなく、OpenAIのネイティブなコンテキスト管理との統合を含めた性能です。これは製品能力として重要ですが、中立的な標準インターフェースだけで評価された他モデルと、そのまま横並びにすることはできません。ARC Prize自身も、両ハーネスは異なる問いに答える評価条件だと位置付けています。53

ARC Prizeはさらに、Astraが96%のレベルで、テスト対象となった人間の中央値より少ない行動回数で進めたと報告しています。52 ただし、これは行動効率に関する結果です。あらゆる仕事で人間より優れていることや、実務における完了率・信頼性・総費用を示すものではありません。

FrontierMath Erdősが示せること、示せないこと

FrontierMath Erdősは、2026年8月時点で未解決だった68件のエルデシュ問題で構成されます。AIは各予想を証明または反証し、証明支援系Leanで完全な証明を提出しなければなりません。提出物は機械的に検証できます。3337

この設計は、形式数学における正しさを測るうえで非常に厳密です。しかし、数学証明の成績を、そのままコーディング、ブラウザ操作、エージェント運用、一般的な推論の総合順位に読み替えることはできません。ここで測っているのは、定められた予算内で難度の高い形式証明を成功させる能力です。

提供された一次資料には、Astraが解いた問題の総数、標準予算と非標準予算での実行結果、評価から除外された結果についての裏付けがありません。これらを報じる際は、Epochの該当する結果表または評価報告書を参照し、予算と参加条件を併記すべきです。

別件として、EpochのFrontierMath: Open Problemsページは、プレリリース版GPT-6 Astraが有理点648個を持つ種数2曲線を見つけたと記しています。これはFrontierMath Erdősのスコアとは別の評価結果であり、混同してはいけません。43

トークン単価は、完了タスク当たりの費用ではない

OpenAIのAPI資料では、GPT-6 Astraの価格は入力100万トークン当たり10ドル、出力100万トークン当たり50ドルです。19 提供資料中の比較報告では、Claude Fable 5.1も同じ入出力の公称価格ですが、キャッシュ済み入力はAstraの100万トークン当たり1.00ドルに対し、Fable 5.1は0.25ドルとされています。4

ここでは、少なくとも二つのコストを分けて考える必要があります。

• 長時間動くコーディングエージェントのコスト：同じリポジトリ文脈を繰り返し送る仕事では、キャッシュ読み出しが安いモデルが有利になり得ます。実際にキャッシュが効くワークロードであることが前提です。
• 完了タスク当たりのコスト：より少ない出力トークン、ツール呼び出し、再試行、行動回数、人手介入で正解に到達するモデルは、単価が同じ、あるいは一部高くても安くなる場合があります。

OpenAIは、自社評価の一部でAstraが出力トークンを大幅に抑え、推定APIタスク単価を低くしたと説明しています。18 ただしこれはベンダー報告であり、特定のコードベースやエージェント業務での一般的な保証ではありません。ベンチマークの点数とトークン単価だけから、どちらが安いかを断定することはできません。

モデル選定で見落とさないための5項目

Astra、Claude Fable 5.1、GPT-5.6 Solを比べるなら、次の条件をそろえるのが実用的です。

1. 仕事を分ける：リポジトリ保守、ブラウザ自動化、調査、形式証明、文書作成を一つの順位に混ぜない。
2. 推論ポリシーを固定する：推論強度、トークン上限、ツール権限、再試行ルールを比較可能な形にする。
3. モデル性能と統合性能を分ける：中立ハーネスの結果と、プロバイダー固有の統合を使った結果を別々に報告する。
4. 成功1件当たりの費用を測る：正答・完了数、待ち時間、再試行、キャッシュ利用、人手レビューを追う。
5. 不確実性を残す：小さな指数差や設定変更の影響を過大解釈しない。公開根拠が不十分な数字は特に慎重に扱う。

AstraのARC-AGI-3におけるProvider Adapter結果は注目に値し、標準ハーネスでの62.7%も強い結果です。とはいえ、別のタスク配分・設定を採る独立指数で他モデルが上回ることと矛盾はしません。問うべきなのは「どのモデルが勝ったか」ではなく、**「自分たちの実業務に最も近い評価設定はどれか」**です。