Чому рейтинги GPT-6 Astra у бенчмарках не збігаються

Заголовки про бенчмарки можуть створювати враження, ніби GPT-6 Astra водночас беззаперечно перемагає, ділить першість і відстає від конкурентів. Насправді суперечність здебільшого пояснюється методикою: зведений рейтинг, тест інтерактивного агента, формально-математичний бенчмарк і ціни API оцінюють різні системи в різних обмеженнях.

Головний висновок простий: універсального рейтингу моделей не існує, доки не названо конкретне навантаження й умови оцінювання.

Бал у таблиці лідерів — це конструкція вимірювання, а не єдиний «індикатор інтелекту»

Зведені індекси поєднують багато завдань в одне число. Підсумок залежить від набору тестів, їхніх ваг, конфігурації моделі, а також від того, як враховано інтенсивність міркувань, інструменти та вартість. Модель, сильна за широким спектром можливостей, може очолювати один агрегований індекс, але поступатися в індексі з акцентом на програмування або агентну роботу.

Точкові оцінки також залежать від часу та конфігурації. У наданому порівнянні Artificial Analysis GPT-6 Astra (max) має 55 балів, а Claude Fable 5.1 — 57, а не 61 і 66, про які повідомляли деякі ранні порівняльні публікації. 3 Тому варто фіксувати точну дату й параметри оцінювання, а не сприймати окремий знімок таблиці як сталий рейтинг.

Заявлене перше місце GPT-6 Astra в 169-бальному Capabilities Index від Epoch AI та його методика не підтверджені доступними первинними матеріалами Epoch. Такий результат не слід вважати вирішальним без самої таблиці лідерів, ваг бенчмарків, налаштувань моделей і даних про невизначеність.

ARC-AGI-3: інший тестовий контур — інший результат

ARC-AGI-3 — інтерактивний бенчмарк, а не набір статичних запитань. Агент має досліджувати незнайоме середовище, на ходу виявляти цілі, будувати адаптивну модель світу та змінювати стратегію на підставі досвіду. 50

ARC Prize повідомила про два найкращі результати GPT-6 Astra на напівприватній оцінці:

Умова оцінювання	Найкращий заявлений результат	Заявлена вартість одного запуску
Standard harness, максимальний рівень міркувань	62,7%	26 098 доларів США
OpenAI Provider Adapter, високий рівень міркувань	99,9%	18 817 доларів США (приблизно 19 тис.)

5152

Ця різниця — не дрібна технічна деталь. У Standard harness агент працює через мінімальний, нейтральний до провайдера інтерфейс і може переносити між кроками лише ті нотатки, які сам явно вирішив зберегти. Натомість Provider Adapter здатен зберігати непрозорий внутрішній стан міркувань провайдера між запитами та стискати контекст у довгих діалогах. 5153

Отже, результат із Provider Adapter вимірює можливості Astra разом із нативною інтеграцією OpenAI для керування контекстом. Це важлива продуктова властивість, але не автоматично зіставний результат із моделями, протестованими лише через нейтральний інтерфейс. ARC Prize прямо зазначає, що ці контури відповідають на різні питання. 53

ARC Prize також повідомила, що Astra використала менше дій, ніж медіанна протестована людина, на 96% рівнів. 52 Це показник економності дій, а не доказ того, що модель загалом краща за людей у будь-якій роботі. Він не замінює оцінювання завершення завдань, надійності та сукупної вартості в реальному робочому процесі.

Що показує — і чого не показує — FrontierMath Erdős

FrontierMath Erdős містить 68 складних задач Ердеша, що залишалися відкритими станом на серпень 2026 року. Для розв’язання система має довести або спростувати гіпотезу в асистенті доведень Lean, тому подані докази можна механічно перевірити. 3337

Такий підхід робить бенчмарк особливо суворим для перевірки формальної математичної правильності. Але математичний результат не перетворюється на загальний рейтинг програмування, агентної роботи чи міркувань. Він вимірює успіх у вузькому, хоча й дуже складному, завданні формального доведення за заданого бюджету.

Надані первинні матеріали не підтверджують загальну кількість розв’язаних Astra задач, стандартизовані й нестандартні бюджети запусків або те, які результати було виключено з оцінки FrontierMath Erdős. Ці деталі слід наводити лише за конкретною таблицею результатів Epoch або звітом про оцінювання — разом із бюджетом і критеріями допуску.

Окрема сторінка Epoch про FrontierMath: Open Problems вказує, що в передрелізному тестуванні GPT-6 Astra знайшла криву роду 2 із 648 раціональними точками. Це інший результат іншого бенчмарку, його не можна змішувати з балом FrontierMath Erdős. 43

Ціна токена — не ціна виконаного завдання

OpenAI вказує для GPT-6 Astra тариф 10 доларів США за мільйон вхідних токенів і 50 доларів за мільйон вихідних токенів. 19 У порівняльних матеріалах із наданих джерел зазначено, що Claude Fable 5.1 має такі самі базові тарифи, але зчитування кешованого вводу коштує 0,25 долара за мільйон токенів проти 1 долара в Astra. 4

Звідси випливають два різні питання про витрати:

• Довгі агенти для роботи з кодом, які неодноразово використовують контекст репозиторію. Нижча ціна читання кешу може відчутно зменшити витрати, якщо навантаження справді виграє від кешування.
• Вартість завершеного завдання. Модель може виявитися дешевшою, якщо вона доходить до правильного результату з меншою кількістю вихідних токенів, викликів інструментів, повторних спроб, дій або втручань людини.

OpenAI заявляє, що в кількох її оцінюваннях Astra мала нижчу розрахункову вартість API на завдання завдяки значно меншому обсягу вихідних токенів. 18 Це дані постачальника, а не загальна гарантія. Ні бал бенчмарку, ні тариф за токени самі по собі не доводять, яка модель буде дешевшою для конкретного кодового проєкту чи агентного сценарію.

Як порівнювати моделі без хибних висновків

Перш ніж обирати між Astra, Claude Fable 5.1 і GPT-5.6 Sol, варто визначити завдання та зрівняти умови:

1. Зіставляйте однакове навантаження. Окремо оцінюйте підтримку репозиторіїв, браузерну автоматизацію, дослідження, формальні докази й роботу з документами.
2. Зафіксуйте політику інференсу. Встановіть порівнювані рівні міркувань, ліміти токенів, дозволи на інструменти та правила повторних спроб.
3. Відокремлюйте якість моделі від якості інтеграції. Публікуйте результати нейтрального контуру поряд із нативними інтеграціями провайдера, а не зливайте їх в один рейтинг.
4. Вимірюйте успіх за витрачені кошти. Відстежуйте коректно завершені завдання, затримку, повторні спроби, використання кешу й необхідність перевірки людиною — не лише ставки за вхідні та вихідні токени.
5. Не ігноруйте невизначеність. Невеликі розриви в індексах і мінливі конфігурації потребують обережного тлумачення, особливо коли публічних даних бракує.

Результат Astra з ARC-AGI-3 через Provider Adapter справді вражає, а показник у стандартному контурі також сильний. Проте жоден із них не скасовує незалежний індекс, у якому за іншого набору завдань і конфігурації перемагає інша модель. Корисне питання не «хто виграв?», а «яка протестована конфігурація найближча до роботи, яку система має реально виконувати?»