Почему ИИ Google не может произнести по буквам собственное название

Вот что происходит «под капотом»:

LLM не видят отдельных символов. Вместо этого они разбивают текст на токены — куски из одного или нескольких знаков — с помощью алгоритмов вроде Byte-Pair Encoding (BPE). Распространённое слово вроде «Google» может стать одним токеном, а «journalism» — разделиться на подслова, например

['journ', 'alism']

Отсутствует врождённое осознание букв. Поскольку обучающие данные токенизируются, модель никогда не учится считать отдельные буквы естественным образом. Она способна лишь приблизительно воспроизводить знание на уровне символов, сопоставляя шаблоны с запомненными написаниями из своего тренировочного корпуса . Когда вы просите посчитать буквы, вы заставляете модель восстанавливать посимвольную информацию из текста, который никогда не хранился побуквенно.

Слой эмбеддингов не отражает символьную структуру полностью. Исследования показывают, что токенные эмбеддинги не кодируют информацию о символах целиком, особенно за пределами первого знака каждого токена. Из-за этого композиционное рассуждение о буквах становится ненадёжным .

Теоретические границы. Трансформерные архитектуры принадлежат к классу сложности TC0, что делает их теоретически неспособными решать задачи, требующие рассуждений, глубина которых зависит от длины ввода, — а это математическое ограничение для точного последовательного счёта .

«Подсчёт букв в словах — известная проблема для LLM, и мы работаем над её исправлением», — сообщили в Google изданию TechCrunch по электронной почте . Однако исследователи отмечают: даже модели с сотнями миллиардов параметров, обученные на триллионах токенов, с трудом надёжно подсчитывают количество «R» в слове «strawberry» . Проблема структурная, а не вопрос масштаба.

Череда конфузных провалов

Орфографический конфуз — лишь последний эпизод в двухлетней истории громких ошибок AI Overviews. Все они проистекают из одного и того же разрыва: между свободной генерацией текста и точными операциями, которые должен выполнять поисковый движок.

Катастрофы при запуске в 2024 году: пицца с клеем и диета из камней

Уже через несколько дней после развёртывания в США в мае 2024 года AI Overviews сгенерировали ряд вирусных бессмысленных ответов :

• Порекомендовали добавлять «нетоксичный клей» в пиццу, чтобы сыр лучше держался — ответ был взят из 11-летней шутки на Reddit .
• Сообщили пользователям, что геологи рекомендуют съедать по одному камню в день ради витаминов, почерпнув информацию из сатирической статьи .
• Допустили элементарные исторические ошибки, например, заявили, что у США был президент-мусульманин .

Глава поискового направления Google Лиз Рид признала «единичные примеры» «бессмысленными» и объяснила их «информационными пробелами» и тем, что ИИ подхватывал сатирические и низкокачественные источники . Компания заявила, что внесла исправления, в том числе ограничила показ AI Overviews по запросам о здоровье и деликатным темам .

Утечка промпта при вводе «disregard» (май 2026 года)

22 мая 2026 года пользователи заметили: если ввести в поиск слово «disregard» — а также связанные «ignore», «dismiss», «skip» и «stop», — AI Overviews выдают ответ в стиле чат-бота: «Понял. Я отменил ваш предыдущий промпт. Чем могу помочь?» .

Вместо словарного определения ИИ интерпретировал простой запрос как системную инструкцию для самого себя. Ошибка сломала поисковый интерфейс Google для этих терминов — на месте результатов зиял пробел . Google признал проблему и пообещал скорое исправление .

Специалисты по безопасности сразу распознали классический сценарий «промпт-инъекции»: модель приняла обычные поисковые слова за команды, адресованные ИИ-ассистенту .

Орфографические провалы (конец мая 2026 года)

Через несколько дней после инцидента с «disregard» всплыли ошибки с подсчётом букв. ИИ не мог произнести по буквам даже название собственной материнской компании, ошибался в простых словах и даже написал фамилию президента США «Trump» как «t-r-p-u-m» . Ошибки независимо подтвердили сразу несколько новостных изданий .

Что это говорит об ИИ-поиске

Общая нить всех трёх категорий сбоев — архитектурная, а не случайная. Google заменил традиционный поиск по ключевым словам генеративным LLM, который отлично справляется со свободным порождением текста, но лишён механизмов для:

• Точных посимвольных операций (орфографические провалы)
• Оценки надёжности источников (советы про клей для пиццы и диету из камней)
• Соблюдения границ инструкций (утечка промпта через «disregard»)

Модель самоуверенно выдаёт неверные ответы, потому что её изначально — на фундаментальном уровне — не создавали для тех задач, которые теперь приходится решать в боевом поисковом окружении. Каждый вирусный провал обнажает разрыв между тем, в чём LLM сильны (предсказание правдоподобно звучащего текста), и тем, что нужно надёжному поисковику (фактическая точность, посимвольная прецизионность и устойчивость ко вбросу инструкций).

Пока эти архитектурные ограничения не устранят на более глубоком уровне, чем латание отдельных типов запросов, AI Overviews, скорее всего, будут и дальше попадать в заголовки по неверным причинам.