Claude Opus 4.7, GPT-5.5, DeepSeek V4 и Kimi K2.6: что показывают бенчмарки

Короткий выбор: какую модель тестировать первой

Главная общая таблица: Claude, GPT-5.5 и DeepSeek V4-Pro-Max

Ниже — данные из одного и того же сравнения, поэтому они лучше всего подходят для прямого сопоставления DeepSeek V4-Pro-Max, GPT-5.5/GPT-5.5 Pro и Claude Opus 4.7. GPT-5.5 Pro появляется только в части строк.

Вывод из этой таблицы довольно ясный. Claude Opus 4.7 сильнее смотрится в сложном reasoning, задачах без инструментов, software engineering и MCP Atlas. GPT-5.5/GPT-5.5 Pro заметнее в сценариях, где модель управляет инструментами, браузером или терминалом.

DeepSeek V4-Pro-Max здесь не выигрывает ни одну строку, но и не выглядит слабой моделью: например, в BrowseComp он получает 83,4 %, почти рядом с 84,4 % у GPT-5.5 и выше 79,3 % у Claude Opus 4.7.

Kimi K2.6: перспективно, но не в той же таблице

Главная сложность с Kimi K2.6 — не отсутствие данных, а их неоднородность. Разные площадки используют разные режимы, разные версии конкурентов и разные форматы баллов. Поэтому Kimi можно и нужно включать в shortlist, но нельзя автоматически ставить в один строгий общий рейтинг с таблицей выше.

Практическая позиция Kimi K2.6 такая: модель стоит тестировать, особенно если вам интересны экосистема Kimi, альтернативный coding-agent или стоимость экспериментов. Но доступных данных пока недостаточно, чтобы доказательно объявить ее победителем среди всех четырех моделей.

Цена, контекст и стоимость внедрения

Бенчмарки отвечают на вопрос «что модель умеет», но не отвечают полностью на вопрос «сколько будет стоить продукт». Для реального выбора важны цена входных и выходных токенов, длина контекста, задержка, ограничения API и, если вы думаете о собственной инфраструктуре, размер модели.

Самый заметный ценовой сигнал: GPT-5.5 и Claude Opus 4.7 в источнике имеют одинаковую цену входа — $5 за 1 млн input tokens, но GPT-5.5 стоит $30 за 1 млн output tokens, а Claude Opus 4.7 — $25 за 1 млн output tokens. DeepSeek конкурирует другим тезисом: примерно одна шестая стоимости новейших американских моделей.

Как выбирать по типу задачи

1. Сложное reasoning: сначала Claude Opus 4.7

Если ваши задачи похожи на академическое рассуждение, сложный анализ, проверку гипотез или вопросы, где модель должна справляться без внешних инструментов, Claude Opus 4.7 выглядит самым сильным первым кандидатом. В общей таблице он набирает 94,2 % в GPQA Diamond против 93,6 % у GPT-5.5 и 90,1 % у DeepSeek V4-Pro-Max; в Humanity’s Last Exam без инструментов Claude Opus 4.7 также лидирует с 46,9 %.

2. Terminal, browser и tool-use agents: сначала GPT-5.5 / GPT-5.5 Pro

Если модель должна не просто отвечать текстом, а управлять терминалом, браузером, инструментами или многошаговым workflow, GPT-5.5 выглядит сильнее. GPT-5.5 получает 82,7 % в Terminal-Bench 2.0 против 69,4 % у Claude Opus 4.7 и 67,9 % у DeepSeek V4-Pro-Max; GPT-5.5 Pro получает 90,1 % в BrowseComp, лучший результат в этой строке.

3. Software engineering: Claude впереди, но без собственного eval лучше не решать

В общей таблице Claude Opus 4.7 получает 64,3 % в SWE-Bench Pro / SWE Pro, выше 58,6 % у GPT-5.5 и 55,4 % у DeepSeek V4-Pro-Max. LLM Stats показывает похожее направление: Claude Opus 4.7 — 0,64, GPT-5.5 и Kimi K2.6 — по 0,59, DeepSeek V4-Pro-Max — 0,55.

Но coding-бенчмарки особенно чувствительны к репозиторию, языку, тестовой среде, агентной обвязке и промптам. Отдельный практический coding-тест дает Claude Opus 4.7 97 баллов, GPT-5.5 xHigh — 96, Kimi K2.6 — 87, DeepSeek V4 Flash — 78, DeepSeek V4 Pro — 69; это полезный ориентир, но не основание само по себе выбирать production-модель.

4. Большой объем и чувствительность к цене: DeepSeek V4 стоит проверить рано

Если ваш главный ограничитель — стоимость токенов, а задача не требует первого места в каждом бенчмарке, DeepSeek V4 — рациональный кандидат для раннего теста. В общей таблице DeepSeek V4-Pro-Max часто уступает Claude Opus 4.7 и GPT-5.5, но остается недалеко от них по ряду метрик; одновременно источники описывают DeepSeek как примерно в шесть раз более дешевый вариант по сравнению с новейшими американскими моделями.

При этом размер DeepSeek V4 Pro нельзя игнорировать. DataCamp указывает 1,6 трлн total parameters, 49 млрд active parameters и 865 ГБ download для Pro-версии. Если вы не просто вызываете сторонний API, а оцениваете приватное развертывание, стоимость железа и эксплуатации может стать не менее важной, чем цена токена.

5. Kimi K2.6: включить в shortlist и прогнать на своих задачах

У Kimi K2.6 есть несколько сильных сигналов. DocsBot указывает 83,2 % в BrowseComp, почти рядом с 83,4 % у DeepSeek-V4 Pro на той же странице. LLM Stats дает Kimi K2.6 0,59 в SWE-Bench Pro, столько же, сколько GPT-5.5. В отдельном практическом coding-бенчмарке Kimi K2.6 получает 87 баллов.

Но из-за отсутствия полной таблицы, где Kimi K2.6, Claude Opus 4.7, GPT-5.5 и DeepSeek V4-Pro-Max сравниваются одновременно, в одинаковых режимах и на одинаковых метриках, Kimi лучше считать перспективным кандидатом, а не доказанным общим победителем.

Почему нельзя переоценивать общий рейтинг

1. Для Kimi K2.6 нет полноценной общей таблицы. Самая удобная сопоставимая таблица покрывает DeepSeek V4-Pro-Max, GPT-5.5/GPT-5.5 Pro и Claude Opus 4.7, но не включает Kimi K2.6; по Kimi приходится собирать картину из Artificial Analysis, DocsBot, LLM Stats, Hugging Face и отдельного coding-бенчмарка.

2. Версии и режимы различаются. В источниках встречаются GPT-5.5 Pro, GPT-5.5 xHigh, DeepSeek-V4 Pro, DeepSeek V4-Pro-Max, Kimi Thinking, Claude Opus 4.7 Adaptive Reasoning / Max Effort. Их нельзя автоматически считать одной и той же настройкой модели.

3. Форматы баллов не всегда сопоставимы. В одной таблице SWE-Bench Pro / SWE Pro дан в процентах, а LLM Stats использует формат 0.xx для SWE-Bench Pro. Надежнее сравнивать модели внутри одного источника, а затем запускать собственный eval.

4. Ценовые данные неравномерны. Для GPT-5.5 и Claude Opus 4.7 есть понятные цены input/output tokens; для DeepSeek есть утверждение о примерно шестикратной разнице в стоимости; для Kimi K2.6 в доступных здесь источниках не хватает полной проверяемой token pricing-картины.

Итог

Если нужен короткий вывод: Claude Opus 4.7 выигрывает в наиболее сильных доступных данных по сложному reasoning и software engineering; GPT-5.5/GPT-5.5 Pro выигрывает в terminal, browser и tool-use сценариях; DeepSeek V4-Pro-Max — кандидат для баланса цены и качества; Kimi K2.6 выглядит перспективно, но пока требует больше полноценных сопоставимых данных.

Для реального внедрения лучше не выбирать модель по одному лидерборду. Возьмите свои репозитории, тикеты, research-workflow, набор инструментов, ограничения по контексту, latency, допустимый уровень ошибок и бюджет токенов — и прогоните все четыре модели на одинаковом eval. Только тогда бенчмарк превратится из красивой таблицы в рабочее продуктное решение.