Бенчмарки Claude Mythos Preview: главные цифры и их ограничения
Главный показатель Claude Mythos Preview — 93,9 % на SWE bench Verified, но сама Anthropic описывает модель как закрытый Research Preview в рамках Project Glasswing, доступный только по приглашению. Среди других обсуждаемых результатов: 87,3 % на SWE bench Multilingual, 59,0 % во внутренней мультимодальной оценке, 0...
Claude Mythos Benchmarks: 93,9 % SWE-bench und was dahinterstecktSymbolbild: Die Debatte um Claude Mythos dreht sich weniger um einen einzelnen Score als um die Vergleichbarkeit der Evaluationsbedingungen.
Промпт ИИ
Create a landscape editorial hero image for this Studio Global article: Claude Mythos Benchmarks: 93,9 % SWE-bench und was dahintersteckt. Article summary: Claude Mythos Preview wird vor allem durch 93,9 % auf SWE bench Verified auffällig; weitere berichtete Werte sind 87,3 % auf SWE bench Multilingual und 59,0 % in einer internen multimodalen Evaluation.. Topic tags: ai, anthropic, claude, benchmarks, coding. Reference image context from search candidates: Reference image 1: visual subject "# Claude Mythos Preview Benchmarks – The AI That Scored 93.9% on SWE-bench and Still Won’t Be Released. On April 7, 2026, Anthropic quietly released something extraordinary — and t" source context "Claude Mythos Preview Benchmarks - The AI That Scored 93.9% on ..." Reference image 2: visual subject "A score of 93.9% means Claude Mythos correctly resolved approximately 470 of those 500 real-world GitH
openai.com
Claude Mythos Preview — не просто очередная модель Claude, которую можно поставить рядом с другими в открытой таблице лидеров. В документации Claude API Anthropic отдельно описывает её как исследовательскую preview-модель для защитных сценариев кибербезопасности в рамках Project Glasswing: доступ — только по приглашению, самостоятельной регистрации нет.
Поэтому бенчмарки Mythos действительно интересны, но читать их нужно аккуратнее, чем оценки массово доступной модели. Это скорее сигнал о возможностях в контролируемом исследовательском контуре, чем готовый публично воспроизводимый рейтинг.
Основные опубликованные оценки
Конкретные численные значения в доступной подборке источников в основном видны через сторонние публикации, которые ссылаются на данные Anthropic, system card или собственные сводки.
Направление
Бенчмарк
Результат Claude Mythos Preview
Studio Global AI
Search, cite, and publish your own answer
Use this topic as a starting point for a fresh source-backed answer, then compare citations before you share it.
Каков краткий ответ на вопрос «Бенчмарки Claude Mythos Preview: главные цифры и их ограничения»?
Главный показатель Claude Mythos Preview — 93,9 % на SWE bench Verified, но сама Anthropic описывает модель как закрытый Research Preview в рамках Project Glasswing, доступный только по приглашению.
Какие ключевые моменты необходимо проверить в первую очередь?
Главный показатель Claude Mythos Preview — 93,9 % на SWE bench Verified, но сама Anthropic описывает модель как закрытый Research Preview в рамках Project Glasswing, доступный только по приглашению. Среди других обсуждаемых результатов: 87,3 % на SWE bench Multilingual, 59,0 % во внутренней мультимодальной оценке, 0,83 на CyberGym и pass@1 = 1,00 на Cybench.
Что мне делать дальше на практике?
Цифры выглядят сильным сигналом для кодинга, агентных сценариев и защитной кибербезопасности, но из за ограниченного доступа, сторонних источников и специальных конфигураций их трудно сравнивать с обычными публичными...
Weights & Biases приводит для Claude Opus 4.6 показатель 80,8 %.
Многоязычный кодинг
SWE-bench Multilingual
87,3 %
У W&B для Claude Opus 4.6 указан результат 77,8 %.
Мультимодальность
Внутренняя мультимодальная оценка
59,0 %
W&B описывает это как внутреннюю оценку и сравнивает с 27,1 % у Claude Opus 4.6.
Кибербезопасность
Cybench
pass@1 = 1,00
Authmind описывает Cybench как публичный бенчмарк из 40 CTF-задач и приводит 0,89 для Claude Opus 4.6.
Кибербезопасность
CyberGym
0,83
Authmind описывает CyberGym как проверку воспроизведения уязвимостей на 1 507 реальных open-source задачах и приводит 0,67 для Claude Opus 4.6.
Рассуждение
GPQA Diamond
94,6 %
llm-stats указывает 91,3 % для Claude Opus 4.6.
Рассуждение
Humanity’s Last Exam, без инструментов / с инструментами
56,8 % / 64,7 %
llm-stats приводит для Claude Opus 4.6 40,0 % без инструментов и 53,1 % с инструментами.
Терминальные агенты
Конфигурация Terminal-Bench
92,1 %
llm-stats связывает результат с Terminus-2 harness, максимальным adaptive thinking, бюджетом 1M токенов на задачу, расширенными 4-часовыми тайм-аутами и обновлениями Terminal-Bench 2.1.
Многозадачные знания
MMMLU
92,7
R&D World пишет, что этот результат пересекается с указанным диапазоном Gemini 3.1 Pro — 92,6–93,6 — и был единственным исключением в заявлении о лидерстве Mythos в 17 из 18 бенчмарков.
Что официально подтверждает Anthropic
Самая надёжно подтверждённая часть — статус модели. В документации Anthropic Claude Mythos Preview указана как отдельная research preview-модель для защитных киберsecurity-сценариев Project Glasswing, доступная только по приглашению и без self-serve-доступа.
На странице Project Glasswing Anthropic также называет Claude Mythos Preview моделью общего назначения frontier-класса и своей самой сильной моделью для кодинга и агентных задач. Там же компания объясняет кибербезопасностные возможности Mythos более широкой способностью глубоко понимать и изменять сложное ПО, а значит — находить и исправлять уязвимости.
System card описывает Claude Mythos Preview как новую большую языковую модель, или frontier-модель, с возможностями в software engineering, reasoning, computer use, knowledge work и исследовательской помощи. Иными словами, официальные источники хорошо подтверждают позиционирование модели. Но точные score-значения в этой подборке в основном доступны через сторонние источники.
Почему 93,9 % на SWE-bench стали главным числом
Самая заметная оценка — 93,9 % на SWE-bench Verified. W&B приводит этот результат для Claude Mythos Preview и сравнивает его с 80,8 % у Claude Opus 4.6. Для команд, которые смотрят на ИИ как на помощника в разработке, это естественный headline-score: SWE-bench ближе к практическому вопросу, сможет ли модель разбираться в кодовой базе и исправлять задачи, а не просто писать небольшие фрагменты кода.
Сильным выглядит и многоязычный показатель: на SWE-bench Multilingual W&B указывает 87,3 % для Mythos Preview против 77,8 % для Opus 4.6. Это важно, потому что речь идёт не только об одном англоязычном сценарии кодинга.
Но даже высокий SWE-bench не означает, что модель так же сработает в любом репозитории, с любым стеком, CI, внутренними правилами ревью и ограничениями безопасности. В случае Mythos есть ещё один практический барьер: внешняя команда не может просто зарегистрироваться и проверить модель у себя, поскольку Anthropic описывает доступ как invitation-only.
Кибербезопасность: впечатляющие цифры, но специфический контекст
Кибербезопасностные результаты тоже выглядят очень сильными. Authmind сообщает, что Claude Mythos Preview получил идеальный результат pass@1 = 1,00 на Cybench; сам Cybench там описан как публичный бенчмарк из 40 CTF-задач. На CyberGym, по данным Authmind, Mythos Preview набрал 0,83; эта оценка описана как проверка AI-агентов на целевое воспроизведение уязвимостей в 1 507 реальных open-source задачах.
Это хорошо совпадает с официальным позиционированием: в документации Claude API Mythos Preview прямо связан с defensive cybersecurity workflows в рамках Project Glasswing. А на странице Project Glasswing Anthropic объясняет силу модели в кибербезопасности её общей способностью понимать, изменять и анализировать сложное программное обеспечение.
Но формат задач имеет значение. CTF-челленджи и воспроизведение уязвимостей — это конкретные тестовые режимы, пусть и очень полезные для оценки security-навыков. Они не заменяют проверку в условиях конкретной организации: с её инструментами, журналированием, политиками доступа, юридическими рамками и ответственностью за результат.
Reasoning, мультимодальность и терминальные агенты
Помимо кодинга и кибербезопасности, для Mythos Preview приводятся сильные reasoning-показатели. llm-stats указывает 94,6 % на GPQA Diamond, а также 56,8 % на Humanity’s Last Exam без инструментов и 64,7 % с инструментами. Разделение HLE на режимы «с инструментами» и «без инструментов» принципиально: доступ к инструментам может заметно менять итоговую оценку и её сравнимость.
С Terminal-Bench особенно важна конфигурация. llm-stats приводит результат 92,1 %, но одновременно уточняет, что он связан с Terminus-2 harness, максимальным adaptive thinking, бюджетом 1M токенов на задачу, расширенными 4-часовыми тайм-аутами и обновлениями Terminal-Bench 2.1. Это не мелкий технический шрифт, а часть результата: агентные бенчмарки часто сильно зависят от того, сколько времени, контекста, инструментов и вычислительного бюджета получает модель.
Мультимодальный показатель тоже стоит читать с осторожностью. W&B сообщает о 59,0 % во внутренней мультимодальной оценке Mythos Preview против 27,1 % у Opus 4.6. При этом llm-stats отдельно отмечает, что SWE-bench Multimodal использует внутреннюю реализацию, поэтому такие оценки нельзя напрямую сравнивать с результатами публичных лидербордов.
Почему эти scores не работают как обычный лидерборд
Главных ограничений четыре.
Ограниченный доступ. Anthropic описывает Claude Mythos Preview как research preview с доступом только по приглашению и без самостоятельной регистрации. Это затрудняет независимую проверку для обычных разработчиков и исследовательских команд.
Смешанная источниковая база. Официальные источники в этой подборке подтверждают прежде всего статус модели, её позиционирование и области возможностей. Многие точные численные оценки видны через сторонние публикации.
Внутренние и специальные конфигурации. Мультимодальный результат описан как внутренняя оценка. Terminal-Bench, в свою очередь, указан вместе с конкретным harness, максимальным thinking, крупным токен-бюджетом и увеличенными тайм-аутами.
Узкая привязка к типам задач. Cybench, по описанию Authmind, включает 40 CTF-задач, а CyberGym — 1 507 реальных open-source задач на воспроизведение уязвимостей. Это сильные сигналы, но они не покрывают весь спектр промышленной разработки и безопасности.
Итог
По опубликованным оценкам Claude Mythos Preview выглядит чрезвычайно сильной моделью: 93,9 % на SWE-bench Verified, 87,3 % на SWE-bench Multilingual, 59,0 % во внутренней мультимодальной оценке, 0,83 на CyberGym и pass@1 = 1,00 на Cybench.
Но главная оговорка не менее важна, чем сами цифры. Claude Mythos Preview, по описанию Anthropic, — это invitation-only research preview в рамках Project Glasswing, а не свободно доступная стандартная модель. Поэтому её бенчмарки лучше воспринимать как сильный сигнал возможностей в кодинге, агентных задачах и защитной кибербезопасности — но не как полностью публично воспроизводимую таблицу мест.
