Claude Opus 4.7 против «GPT-5.5 Spud»: что на самом деле говорят данные о галлюцинациях

Короткий вердикт по источникам

Это не означает, что какая-то будущая или закрытая модель Spud невозможна. Это означает только одно: текущая доказательная база не позволяет считать GPT-5.5 Spud официальной моделью OpenAI и тем более не позволяет объявлять победителя по уровню галлюцинаций.

Что реально известно о Claude Opus 4.7

Самая сильная база по Claude Opus 4.7 — это продуктовая документация Anthropic, а не независимая таблица «кто меньше ошибается». Anthropic указывает, что разработчики могут использовать claude-opus-4-7 через Claude API . В документации также говорится, что Claude Opus 4.7 вводит task budgets — бюджеты задач .

Для разработчиков это важный механизм управления поведением модели. Но task budget сам по себе не равен публичному бенчмарку на калиброванную неопределённость. Он не показывает автоматически, насколько хорошо модель понимает, когда ей нужно сказать: «данных недостаточно».

Есть и отдельный сигнал, связанный с честностью ответов. Mashable, ссылаясь на системную карточку Anthropic для Opus 4.7, сообщал о 91,7% по метрике MASK honesty; там же говорится, что Claude Opus 4.7 менее склонен к галлюцинациям и поддакиванию, чем предыдущие модели Anthropic и другие frontier-модели . Это релевантно для оценки честности, но всё равно не отвечает на вопрос «Claude против Spud»: нет подтверждённой модели GPT-5.5 Spud и нет общего теста, где обе системы проходили бы одни и те же задания.

Что вместо этого говорят источники OpenAI

В предоставленном наборе официальные материалы OpenAI подтверждают другие названия: GPT-5, GPT-5 mini, GPT-5.2-Codex и prompt guidance для GPT-5.4 . След «Spud» идёт из Reddit и темы на OpenAI Developer Community . Такие обсуждения могут быть полезным сигналом настроений или слухов, но это не то же самое, что официальная страница модели, model card, API-идентификатор или релизный анонс.

Гораздо важнее для темы галлюцинаций другой материал OpenAI — объяснение, почему языковые модели галлюцинируют. В нём OpenAI пишет, что распространённые процедуры обучения и оценки вознаграждают угадывание вместо признания неопределённости. По этой логике модели лучше показывать неопределённость или просить уточнение, чем уверенно выдавать неверную информацию .

Пример OpenAI с SimpleQA хорошо показывает, почему одной «точности» мало. Там gpt-5-thinking-mini указан с 52% воздержаний, 22% точности и 26% ошибок, а o4-mini — с 1% воздержаний, 24% точности и 75% ошибок . Формально в этом примере первая модель отвечает реже, зато ошибается намного меньше . Для реального продукта — особенно там, где цена ошибки высока, — это может быть важнее, чем уверенный ответ на каждый запрос.

Почему главный тест — не «кто отвечает смелее», а кто лучше калибрует уверенность

Контроль галлюцинаций — это не просто отказ отвечать на всё подряд. Полезная модель должна отвечать, когда данных достаточно; задавать уточняющие вопросы, если запрос расплывчатый; и воздерживаться, если ответ нельзя обосновать. Это и есть практический смысл калиброванной неопределённости.

Исследования поддерживают такую рамку, хотя и с оговорками. Работа 2024 года сообщает, что uncertainty-based abstention — воздержание при высокой неопределённости — улучшает корректность, снижает галлюцинации и повышает безопасность в задачах question answering . I-CALM описывает эпистемическое воздержание как отказ отвечать на фактические вопросы с проверяемым ответом, когда у модели нет достаточной уверенности; авторы также отмечают, что современные LLM всё ещё могут не воздерживаться там, где должны . Исследование behaviorally calibrated reinforcement learning рассматривает, как стимулировать модели признавать неопределённость через воздержание .

Обзоры по uncertainty quantification рассматривают оценку неопределённости как инструмент обнаружения галлюцинаций и подчёркивают, что калиброванная неопределённость помогает понять, когда ответу модели можно доверять, когда его надо проверить, а когда лучше передать задачу человеку или внешнему источнику . Но важна именно калибровка: модель, которая слишком часто говорит «не знаю», безопаснее, но менее полезна; модель, которая никогда не сомневается, удобна, но рискованна.

Как честно сравнивать Claude и модели OpenAI по галлюцинациям

1. Брать только официальные model ID. Для Claude — claude-opus-4-7; для OpenAI — документированную модель вроде GPT-5 или GPT-5 mini, а не неподтверждённый ярлык Spud .
2. Собрать смешанный набор заданий. В тесте должны быть вопросы с ответом, недоопределённые запросы и вопросы, на которые нельзя безопасно или фактически ответить. Именно в таких случаях исследования abstention показывают пользу отказа от угадывания .
3. Считать воздержания отдельно. Нужно фиксировать правильные ответы, неправильные ответы, корректные воздержания и ошибочные воздержания. Обзор по abstention выделяет отдельные метрики: abstention accuracy, precision и recall .
4. Не смешивать фактическую неопределённость и safety refusal. Отказ от вредного запроса — не то же самое, что признание нехватки данных для фактического ответа; I-CALM фокусируется именно на эпистемическом воздержании для проверяемых фактических вопросов .
5. Публиковать точность, долю ошибок и долю воздержаний вместе. Пример OpenAI SimpleQA показывает, что модель с более высокой долей воздержаний может иметь сопоставимую точность, но намного меньшую долю ошибок .
6. Держать условия одинаковыми. Retrieval, браузинг, доступ к инструментам, длина контекста и системные инструкции могут менять результат. Если одной модели дать больше внешних данных, тест будет измерять уже не только модель, а всю настройку эксперимента.

FAQ

GPT-5.5 Spud вообще существует?

В предоставленной доказательной базе — не как официальная модель OpenAI. Официальные источники OpenAI, использованные здесь, документируют GPT-5, GPT-5 mini, GPT-5.2-Codex и prompt guidance для GPT-5.4; Spud встречается в Reddit-постах и теме сообщества .

Можно ли сказать, что Claude Opus 4.7 галлюцинирует меньше, чем GPT-5.5 Spud?

Строго — нет. Claude Opus 4.7 задокументирован , а вторичный источник сообщает о 91,7% MASK honesty . Но нет подтверждённой цели тестирования под названием GPT-5.5 Spud и нет общего бенчмарка для этих двух названий .

Что сравнивать покупателям и разработчикам?

Сравнивайте Claude Opus 4.7 с документированными моделями OpenAI на одинаковых задачах, с одинаковыми инструментами, промптами и правилами оценки. Набор метрик должен включать не только точность, но и долю ошибок, а также поведение при неопределённости — когда модель правильно воздерживается от ответа .

Итог

Из этих источников нельзя честно вывести ни «Claude победил», ни «Spud победил». Поддерживаемый вывод уже и осторожнее: Claude Opus 4.7 официально документирован; GPT-5.5 Spud не подтверждён в процитированных официальных материалах OpenAI; а лучший способ оценивать контроль галлюцинаций — вознаграждать калиброванную неопределённость, включая корректное воздержание там, где утверждение нельзя подтвердить .