GPT-5.5, Claude Opus 4.7, DeepSeek V4 и Kimi K2.6: как читать публичные бенчмарки

С Claude Opus 4.7 ситуация тоже требует аккуратности: публичная документация Anthropic, доступная здесь, в первую очередь описывает функции и способ вызова API — например beta-возможность

task budgets

Самая чистая общая точка: Terminal-Bench 2.0

В доступных открытых таблицах общий бенчмарк, где находятся значения для всех четырех целевых моделей, — Terminal-Bench 2.0. По этим данным порядок такой:

Из этого можно сделать узкий, но полезный вывод: в Terminal-Bench 2.0 GPT-5.5 заметно впереди, Claude Opus 4.7 идет вторым, а DeepSeek V4-Pro Max и Kimi K2.6 Thinking находятся близко друг к другу.

Но это не означает, что GPT-5.5 автоматически будет лучшим выбором для любой задачи — от поддержки клиентов до анализа документов или автономного кодинга. Один общий бенчмарк не заменяет повторный тест в одинаковых условиях: с теми же промптами, инструментами, контекстом, ограничениями по токенам и правилами оценки.

Что видно в таблице OpenAI: GPT-5.5 против Claude Opus 4.7

На странице запуска OpenAI есть несколько бенчмарков, где одновременно указаны GPT-5.5 и Claude Opus 4.7. Во всех перечисленных строках GPT-5.5 показывает более высокий результат.

Корректная формулировка здесь такая: в бенчмарках, которые OpenAI приводит в этой таблице, GPT-5.5 опережает Claude Opus 4.7. Системная карта OpenAI также описывает GPT-5.5 как модель для сложной реальной работы: написания кода, онлайн-исследований, анализа информации, создания документов и таблиц, а также выполнения задач через разные инструменты.

Но это все еще таблица на странице OpenAI, а не независимое четырехстороннее сравнение GPT-5.5, Claude Opus 4.7, DeepSeek V4-Pro Max и Kimi K2.6 Thinking в одном и том же тестовом контуре.

Что видно в карте DeepSeek: V4-Pro Max против Kimi K2.6 Thinking

Карта DeepSeek V4-Pro дает отдельное сравнение DS-V4-Pro Max и K2.6 Thinking. В большинстве перечисленных строк DeepSeek выше, но у Kimi есть свои сильные точки.

Самый осторожный вывод: в таблице DeepSeek DS-V4-Pro Max выше Kimi K2.6 Thinking по большинству указанных метрик, но Kimi лидирует в GPQA Diamond и SWE Pro. При этом в MMLU-Pro и Terminal-Bench 2.0 разрыв небольшой, поэтому для продуктового выбора важнее не сама стрелка вверх или вниз, а тип вашей задачи и повторный тест на собственных данных.

Почему нельзя честно составить общий топ-4

Главная ошибка — взять таблицу OpenAI, таблицу DeepSeek и документацию Anthropic, а затем объявить абсолютного победителя. Доступные публичные материалы такого вывода не поддерживают.

1. Версии не совпадают. OpenAI сравнивает GPT-5.5 с Claude Opus 4.7, а в таблице DeepSeek колонки GPT и Claude относятся к GPT-5.4 xHigh и Opus-4.6 Max.
2. Источники разные. Данные взяты из страниц производителя, системной карты, API-документации и карты модели, а не из единого независимого теста всех четырех моделей.
3. Метрики измеряют разные вещи. GDPval, BrowseComp, FrontierMath, CyberGym, MMLU-Pro, GPQA Diamond и SWE Pro не являются взаимозаменяемыми. Без заранее заданных весов сумма таких показателей скорее замаскирует различия задач, чем объяснит их.

Поэтому публичные бенчмарки лучше воспринимать как карту местности, а не как готовый маршрут закупки или миграции.

Как использовать эти цифры при выборе модели

Практичный подход — разделить оценку на три слоя.

• Общий бенчмарк. Сейчас самый понятный общий пересекающийся тест — Terminal-Bench 2.0; в нем GPT-5.5 занимает первое место среди этих четырех моделей.
• Сравнение внутри таблиц поставщиков. Таблица OpenAI показывает преимущество GPT-5.5 над Claude Opus 4.7 в перечисленных тестах; карта DeepSeek показывает преимущество DS-V4-Pro Max над Kimi K2.6 Thinking по большинству указанных строк.
• Собственный прогон. Реальные задачи стоит разбить на coding, agent, reasoning, retrieval, tool use, latency и cost — и проверять модели на одинаковых промптах, с одинаковым контекстом, правами на инструменты и правилами подсчета результата.

Если продукт зависит от длинных агентных циклов, у Claude Opus 4.7 отдельно стоит проверить

task budgets

Если основной сценарий ближе к сложному кодингу, онлайн-исследованию, подготовке документов или таблиц и работе через набор инструментов, описание GPT-5.5 в системной карте OpenAI прямо совпадает с такими классами задач. Но даже модель, которая лидирует в публичной таблице, нужно проверять в вашем репозитории, вашей цепочке инструментов, ваших ограничениях доступа и ваших правилах восстановления после ошибок.

Самая надежная формулировка рейтинга

• Один конкретный тест Terminal-Bench 2.0: GPT-5.5 первый, Claude Opus 4.7 второй, DeepSeek V4-Pro Max третий, Kimi K2.6 Thinking четвертый.
• Внутри таблицы OpenAI: GPT-5.5 выше Claude Opus 4.7 по перечисленным OpenAI метрикам.
• Внутри карты DeepSeek: DS-V4-Pro Max выше Kimi K2.6 Thinking по большинству строк, но Kimi лидирует в GPQA Diamond и SWE Pro.
• Абсолютный общий рейтинг четырех моделей: данных недостаточно. В открытых источниках пока нет полного сравнения этих четырех версий в одном независимом тестовом контуре и при одинаковых условиях.