Почему рейтинги GPT-6 Astra в бенчмарках расходятся

Заголовки о бенчмарках создают впечатление, будто GPT-6 Astra одновременно безоговорочно лидирует, делит первое место и заметно отстаёт. Противоречия здесь в основном нет: сводный лидерборд, интерактивный тест агентов, проверка формальной математики и API-тарифы измеряют разные свойства системы — в разных условиях.

Главный вывод прост: универсального места модели в рейтинге не существует, пока не названы конкретная работа и правила оценки.

Балл в лидерборде — не единый «измеритель интеллекта»

Сводные индексы объединяют результаты нескольких тестов в одно число. Итог зависит от того, какие задания включены, как они взвешены, какую конфигурацию модели проверяли и как учитывались интенсивность рассуждений, инструменты и стоимость. Модель, сильная в широком наборе задач, может возглавлять один агрегатный индекс, но уступать в индексе с упором на программирование или агентные сценарии.

Кроме того, точечные результаты зависят от даты и конфигурации. В предоставленном сравнении Artificial Analysis GPT-6 Astra (max) набирает 55 баллов, а Claude Fable 5.1 — 57, а не 61 и 66, фигурировавшие в ранних сравнительных публикациях. 3 Поэтому важно фиксировать дату, версию и настройки оценки, а не принимать один снимок лидерборда за постоянную и окончательную иерархию.

Заявленное первое место Astra в 169-балльном Capabilities Index от Epoch AI и методология, лежащая в его основе, не подтверждаются доступными первичными материалами Epoch. Использовать этот результат как решающий аргумент нельзя без самого лидерборда, весов бенчмарков, настроек моделей и данных о неопределённости.

ARC-AGI-3: результат изменился вместе с тестовым контуром

ARC-AGI-3 — интерактивный бенчмарк, а не набор статичных вопросов. Агент должен исследовать незнакомую среду, по ходу дела понимать цели, строить адаптируемую модель мира и менять стратегию на основе опыта. 50

ARC Prize опубликовал для GPT-6 Astra два заметных результата на полу-закрытой части оценки (Semi-Private):

Условие оценки	Лучший опубликованный результат	Указанная стоимость одного прогона
Standard harness, максимальный уровень рассуждений	62,7%	$26 098
OpenAI Provider Adapter, высокий уровень рассуждений	99,9%	$18 817 (около $19 тыс.)

5152

Разница — не второстепенная техническая деталь. В Standard harness агент работает через минимальный, нейтральный по отношению к поставщику интерфейс и может переносить между шагами только те заметки, которые сам решил сохранить. В режиме Provider Adapter может сохраняться непрозрачное внутреннее состояние рассуждений провайдера, а для длинных диалогов применяется сжатие контекста. 5153

Следовательно, результат с Provider Adapter измеряет работу Astra вместе с нативной интеграцией управления контекстом OpenAI. Это значимая возможность продукта, но её нельзя автоматически ставить в прямое сравнение с моделями, которые тестировались только через нейтральный интерфейс. ARC Prize прямо рассматривает эти контуры как разные условия, отвечающие на разные вопросы. 53

ARC Prize также сообщил, что Astra совершала меньше действий, чем медианный протестированный человек, на 96% уровней. 52 Это показатель эффективности действий, а не доказательство того, что модель в целом лучше людей в любой работе. Он также не заменяет проверку завершения задач, надёжности и полной стоимости в реальном рабочем процессе.

Что показывает FrontierMath Erdős — и чего он не показывает

FrontierMath Erdős состоит из 68 сложных задач, связанных с Эрдёшем и остававшихся открытыми на август 2026 года. Чтобы решить задачу, система должна доказать или опровергнуть гипотезу в Lean — помощнике для формализации доказательств; отправленные доказательства можно механически проверить. 3337

Такая конструкция делает тест особенно строгим для оценки формальной математической корректности. Но сильный результат по математике не превращается автоматически в общий рейтинг по программированию, агентным системам или рассуждению вообще. Бенчмарк измеряет успех на узкой и крайне сложной задаче формального доказательства при заданном бюджете.

Предоставленные первичные материалы не подтверждают общее число решённых Astra задач, различия между стандартизированными и нестандартными бюджетами прогонов, а также перечень исключённых результатов в FrontierMath Erdős. Такие сведения стоит приводить только по конкретной таблице результатов или отчёту Epoch — вместе с бюджетом и критериями допуска.

Отдельная страница Epoch для FrontierMath: Open Problems указывает, что в предрелизной оценке GPT-6 Astra нашла кривую рода 2 с 648 рациональными точками. Это другой результат и его нельзя смешивать с баллом FrontierMath Erdős. 43

Цена токена — ещё не цена выполненной задачи

OpenAI указывает для GPT-6 Astra тариф $10 за миллион входных токенов и $50 за миллион выходных токенов. 19 В сравнительных материалах из предоставленных источников сказано, что у Claude Fable 5.1 такие же базовые ставки, но чтение кэшированного ввода стоит $0,25 за миллион токенов против $1,00 у Astra. 4

Из этого следуют два разных вопроса о стоимости:

• Долгие кодовые агенты с повторным использованием контекста репозитория. Более дешёвое чтение из кэша может существенно снизить расходы, если задача действительно хорошо использует кэширование.
• Стоимость завершённой задачи. Другая модель может оказаться дешевле, если получает правильный результат с меньшим числом выходных токенов, обращений к инструментам, повторных попыток, действий или вмешательств человека.

OpenAI утверждает, что в нескольких собственных оценках Astra достигала меньшей расчётной API-стоимости на задачу за счёт существенно меньшего расхода выходных токенов. 18 Это данные поставщика, а не универсальная гарантия. Ни балл бенчмарка, ни цена токена сами по себе не доказывают, какая модель будет дешевле для конкретной кодовой базы или агентного процесса.

Как сравнивать модели без самообмана

Прежде чем выбирать между Astra, Claude Fable 5.1 и GPT-5.6 Sol, стоит определить задачу и привести условия к общему знаменателю:

1. Сопоставляйте одинаковую работу. Отдельно тестируйте поддержку репозитория, браузерную автоматизацию, исследования, формальные доказательства и работу с документами.
2. Зафиксируйте режим инференса. Сравнивайте одинаковые уровни рассуждений, лимиты токенов, разрешения на инструменты и правила повторных попыток.
3. Отделяйте качество модели от качества интеграции. Нейтральные результаты и результаты с нативной интеграцией провайдера следует публиковать рядом, а не склеивать в одно место рейтинга.
4. Считайте успех на доллар. Учитывайте правильные завершения, задержки, повторы, использование кэша и необходимую проверку человеком — не только входные и выходные токены.
5. Не игнорируйте неопределённость. Небольшую разницу в индексах и меняющиеся конфигурации нужно трактовать осторожно, особенно когда публичных данных недостаточно.

Результат Astra в ARC-AGI-3 с Provider Adapter действительно впечатляет, а 62,7% в Standard harness — сильный показатель сам по себе. Но ни один из них не отменяет независимый индекс, в котором другая модель лучше при ином наборе задач и настройках. Полезный вопрос звучит не «какая модель победила?», а «какая проверенная конфигурация ближе всего к работе, которую системе предстоит выполнять?»