GPT-6 Astra 點解喺排行榜忽高忽低？

一個排行榜話 GPT-6 Astra 領先，另一個又話佢追唔上 Claude Fable 5.1，唔代表其中一邊必然計錯。原因好簡單：綜合排行榜、互動式代理測試、形式化數學測試同 API 價格，根本係量度緊唔同嘢。

真正值得問嘅唔係「邊個模型贏晒」，而係：呢個評測設定，同你實際要佢做嘅工作有幾接近？

排行榜分數唔係「智力計」

綜合指數會將多類任務拼成一個分數。最後排名取決於：收錄咗乜嘢任務、每項權重幾多、測試邊個模型配置，以及點處理推理強度、工具使用同成本。

所以，一個模型可以喺覆蓋面較闊嘅綜合指數勝出，卻喺偏重編程或代理能力嘅指數落後。分數亦會隨版本、配置同日期改變。

例如，現時提供嘅 Artificial Analysis 對比頁，列出 GPT-6 Astra（max）為 55 分、Claude Fable 5.1 為 57 分；同部分早前比較文章所寫嘅 61 分及 66 分並唔一致。3 呢個落差正正提醒大家：引用排名時，必須一併記錄測試日期同確實配置，唔好將一個快照當成永久定論。

至於所稱 Epoch AI「169 分 Capabilities Index」及其 267 個模型中排名第一，現有 Epoch 一手資料未能佐證其排行榜、權重、模型設定及不確定性資料；未有原始評測資料前，唔應將佢當成決定性比較。

ARC-AGI-3：差別喺測試 harness

ARC-AGI-3 並非一套靜態問答題，而係互動式 benchmark。代理要喺陌生環境探索、臨場掌握目標、建立可調整嘅世界模型，再根據經驗轉換策略。50

ARC Prize 就 GPT-6 Astra 嘅 Semi-Private 評測，報告咗兩個特別突出嘅結果：

評測條件	最佳報告分數	每次運行報告成本
Standard harness、max reasoning	62.7%	US$26,098
OpenAI Provider Adapter、high reasoning	99.9%	US$18,817（約 US$19,000）

5152

兩者差距絕對唔係小小技術細節。喺 Standard harness，代理用嘅係最精簡、供應商中立嘅介面，只可以帶住佢自己明確選擇保留嘅筆記繼續做。至於 Provider Adapter，就可以保留供應商嘅不透明推理狀態，並以 context compaction 處理較長對話。5153

換句話講，Provider Adapter 嘅 99.9% 成績，量度嘅係 Astra 連同 OpenAI 原生上下文管理整合後嘅能力。呢種整合對實際產品非常有意義，但唔可以自動同只經中立介面測試嘅模型直接橫比。ARC Prize 亦明確表示，兩種 harness 回答緊唔同問題。53

ARC Prize 仲指出，Astra 喺 96% 關卡中所用行動次數少過受測人類嘅中位數。52 呢個係行動效率結果，唔等於模型喺所有工作上都「全面勝過人」，更加唔可以取代真實流程中成功率、穩定性同總成本嘅比較。

FrontierMath Erdős 證明到乜，證明唔到乜

FrontierMath Erdős 包含 68 條截至 2026 年 8 月仍未解決嘅 Erdős 問題。系統要以 Lean 證明助理證明或推翻猜想，提交嘅證明可以機械驗證。3337

呢種設計令佢喺「形式化數學正確性」上格外嚴謹。但數學成績唔會自動變成整體編程、代理或通用推理能力排名；佢量度嘅係特定預算之下，完成狹窄但要求極高嘅形式化證明任務嘅能力。

現有一手材料未能證實 Astra 喺 FrontierMath Erdős 解咗總共幾多題、標準化與非標準化運行預算分別係乜，亦未能證實有邊啲結果被排除。因此，呢啲資料只應按照 Epoch 嘅特定成績表或評測報告連同預算與資格準則一齊報道。

值得分清嘅係：Epoch 另一個 FrontierMath: Open Problems 頁面記錄，Astra 喺預發布評測中找到一條有 648 個有理點嘅 genus-2 curve。43 呢個係另一項 benchmark 成果，唔應同 FrontierMath Erdős 分數混為一談。

Token 價唔等於完成任務嘅成本

OpenAI 列出 GPT-6 Astra 定價為每 100 萬 input tokens US$10、每 100 萬 output tokens US$50。19 提供嘅比較報道指 Claude Fable 5.1 嘅 headline input／output 價格相同，但 cached input 每 100 萬 tokens 為 US$0.25，低過 Astra 嘅 US$1.00。4

因此，成本至少要分兩條數睇：

• 長時間運作嘅 coding agent、反覆讀取同一個程式庫上下文：如果工作流程真係受惠於快取，較低 cache-read 價格可以明顯減低成本。
• 每個完成任務嘅總成本：如果一個模型用更少 output tokens、工具呼叫、重試、操作步驟或人工介入就做啱，佢仍然可以更平。

OpenAI 表示，Astra 喺若干評測中以顯著較少 output tokens 取得較低嘅估算每任務 API 成本。18 不過呢個係供應商報告嘅證據，唔係所有工作負載都適用嘅保證。單靠 benchmark 分數或 token 單價，冇可能證明邊個模型對某個 codebase 或代理流程一定最慳。

實際揀模型，可以跟住呢 5 步

比較 Astra、Claude Fable 5.1 或 GPT-5.6 Sol 前，最好先統一條件：

1. 按工作類型拆開測。 程式庫維護、瀏覽器自動化、研究、形式化證明、文件處理，應分開評估。
2. 固定推理政策。 用可比較嘅 reasoning effort、token 上限、工具權限同重試規則。
3. 模型能力同整合能力分開報。 中立 harness 成績要同供應商原生整合成績並列，而唔係硬拼成一個排名。
4. 量度每美元帶來幾多成功任務。 除咗 input/output token，仲要記錄正確完成數、延遲、重試、cache 使用量同所需人手覆核。
5. 保留不確定性。 分差好細、配置不斷變，或者公開證據未齊時，都應審慎解讀。

Astra 喺 ARC-AGI-3 Provider Adapter 嘅結果確實非常搶眼，而 Standard harness 成績亦然強勁；但兩者都唔會推翻另一套任務組合或設定下、由其他模型領先嘅獨立指數。最有用嘅問題，從來唔係「邊個贏」，而係「邊一個已測試嘅設定，最似我而家要完成嘅工作？」