Сравнение бенчмарков ведущих ИИ‑моделей 2026 года

Gemini 3.5 Flash от Google DeepMind интересен тем, что формально относится к «быстрому» классу моделей, но по производительности почти догоняет флагманские системы. В таблице Google модель показывает 76,2% на Terminal‑Bench 2.1, что лишь немного ниже 78,2% у GPT‑5.5 и значительно выше 66,1% у Claude Opus 4.7 на той же версии теста.

С моделями Grok 4.3 и DeepSeek V4 ситуация менее прозрачная: опубликованных и напрямую сопоставимых результатов значительно меньше.

Бенчмарки программирования

Область кодирования сегодня одна из самых показательных для сравнения моделей.

Claude Opus 4.7 здесь демонстрирует наиболее сильный сигнал. Его результат 64,3% на SWE‑Bench Pro означает значительный прогресс в способности исправлять реальные программные ошибки в проектах с несколькими языками программирования.

GPT‑5.5 показывает немного более низкий результат — 58,6% на SWE‑Bench Pro, но компенсирует это высокой производительностью в более широких инженерных задачах. Например, в Terminal‑Bench 2.0 — тесте автоматизации сложных CLI‑процессов — модель достигает 82,7%, что является одним из лучших результатов.

Gemini 3.5 Flash набирает 55,1% на SWE‑Bench Pro. Это ниже, чем у Opus 4.7, но весьма впечатляюще для модели, ориентированной на скорость вывода.

Для Grok 4.3 опубликованные показатели относятся к другим тестам, например:

• 81% на IFBench
• 98% на τ²‑Bench (телеком‑задачи)

Однако эти оценки измеряют более узкие сценарии и не сравниваются напрямую с SWE‑Bench или Terminal‑Bench.

Для DeepSeek V4 ситуация ещё менее ясная: многие цифры исходят из внутренних тестов компании или утечек и не были независимо воспроизведены.

Агентные задачи и использование инструментов

Современные бенчмарки всё чаще оценивают не просто ответы модели, а её способность координировать инструменты и выполнять многошаговые задачи.

По данным Google, Gemini 3.5 Flash показывает особенно сильные результаты именно в этом направлении:

• 83,6% на MCP Atlas — тест координации нескольких инструментов
• 56,5% на Toolathlon — симуляция реальных рабочих процессов

В обоих тестах модель занимает лидирующие позиции в опубликованных таблицах.

GPT‑5.5 также показывает сильные результаты в агентных задачах. Например, тест GDPval, оценивающий интеллектуальную работу в разных профессиях, показывает 84,9% побед или ничьих против других моделей.

Claude Opus 4.7 демонстрирует хорошие результаты в тестах взаимодействия с компьютером: 78,0% на OSWorld‑Verified, где проверяется способность управлять программами и интерфейсами так же, как это делает человек.

Контекстное окно, скорость и стоимость

Бенчмарки не отражают полностью практическую сторону использования моделей — важны также скорость, цена и длина контекста.

Grok 4.3 делает ставку на длинный контекст и стоимость. В документации xAI указано:

• контекст до 1 млн токенов
• стоимость примерно $1,25 за миллион входных токенов и $2,50 за миллион выходных

Это может сделать модель привлекательной для задач анализа больших документов.

Gemini 3.5 Flash специально разработан как модель высокой скорости вывода, которую Google описывает как значительно более быструю, чем многие флагманские системы.

Модели DeepSeek обычно ориентированы на open‑weight или более дешёвые сценарии развёртывания, что делает их интересными для компаний, желающих запускать модели локально или на собственной инфраструктуре.

Независимая оценка DeepSeek V4

Наиболее авторитетная независимая оценка DeepSeek V4 опубликована в рамках программы CAISI Национального института стандартов и технологий США (NIST).

Согласно этой оценке:

• DeepSeek V4 — самая сильная китайская модель, протестированная в рамках программы
• однако по возможностям она отстаёт от ведущих моделей примерно на восемь месяцев.

В отчёте также отмечается, что внутренние результаты DeepSeek выглядят лучше, чем независимые измерения CAISI, что подчёркивает важность нейтральных тестов при сравнении моделей разных компаний.

Почему сравнивать модели всё ещё сложно

Даже при наличии чисел прямое сравнение моделей остаётся проблематичным. Основные причины:

• разные версии одних и тех же бенчмарков (например Terminal‑Bench 2.0 и 2.1)
• многие результаты получены в внутренних тестах компаний
• некоторые метрики (например Elo‑рейтинги GDPval‑AA) не сопоставимы напрямую с процентными результатами

Поэтому строгий рейтинг «от 1 до 5» среди этих моделей всегда будет приблизительным.

Что можно заключить из текущих данных

На основе наиболее надёжных публичных результатов можно сделать несколько выводов:

• GPT‑5.5 выглядит самым сильным универсальным решением для сложных задач и интеллектуальной работы.
• Claude Opus 4.7 имеет наиболее явное преимущество в реальном программировании и исправлении кода.
• Gemini 3.5 Flash необычно мощный для «быстрой» модели и иногда конкурирует с флагманами.
• Grok 4.3 предлагает длинный контекст и конкурентную цену, но сопоставимых тестов пока меньше.
• DeepSeek V4 — наиболее мощная китайская модель из протестированных, но всё ещё немного отстаёт от ведущих систем по независимым оценкам.

На практике выбор «лучшей» модели сильно зависит от задачи: агентная разработка, исследовательская работа, обработка длинных документов или дешёвый массовый вывод могут требовать разных моделей даже при похожих результатах бенчмарков.