«Украденные мысли»: уязвимость, позволившая извлечь скрытые рассуждения ИИ и вскрыть скандал с дистилляцией Kimi K3

Атака повторного воспроизведения «Украденные мысли» — опубликована 10–11 августа 2026 года в статье «Stealing Reasoning Traces from Proprietary LLM APIs» (arXiv:2608.09867). Исследователи Панфилов, Шмотц, Шумайлов, Бойрер-Келлнер, Шеффер, Прабху, Гейпинг и Андрющенко обнаружили критический архитектурный недостаток. Зашифрованные «мыслительные» блоки, которые Anthropic, OpenAI и Google возвращают API-клиентам, не были должным образом привязаны к своему источнику. Эти блоки можно извлечь из одного разговора и воспроизвести в более слабой, менее защищенной родственной модели от того же провайдера, которая затем выводит скрытые рассуждения фронтальной модели в виде обычного текста . Атака работает между сессиями, между учетными записями пользователей и между моделями внутри экосистемы одного провайдера . Исследователи подтвердили, что метод работает на каждой крупной передовой ИИ-компании, которую они тестировали, а длина восстановленных рассуждений почти 1:1 соответствует количеству скрытых мыслительных токенов, сообщаемых API .

Доказательства в споре о дистилляции Kimi K3

Извлеченные следы рассуждений предоставляют высококачественные сигналы для обучения методом дистилляции модели — практики использования выходных данных более сильной модели для обучения меньшей и более дешевой модели-конкурента . Этот метод находится в центре ожесточенного спора вокруг китайских ИИ-лабораторий:

• Компания Anthropic публично заявила, что китайские ИИ-лаборатории, включая DeepSeek, Moonshot и MiniMax, использовали примерно 24 000 мошеннических аккаунтов для генерации более 16 миллионов обменов с Claude, обходя ограничения доступа .
• Kimi K3, выпущенная в июле 2026 года компанией Moonshot AI, была названа фондом Jamestown Foundation конкретной моделью, созданной с помощью дистилляции, с производительностью, заявленной как сопоставимая с Anthropic Claude Fable 5 и OpenAI GPT-5.6 Sol .
• Райан Гринблатт (Redwood Research) опубликовал статистический анализ, показывающий сравнение кросс-энтропии, которое предполагает, что выходные данные Kimi K3 тесно связаны с моделями Anthropic Claude .
• Научный советник Белого дома Майкл Крациос публично обвинил Moonshot в создании Kimi K3 с помощью «скрытой промышленной дистилляции» .

Однако доказательства не являются окончательными. Исследователи, включая Брэдена Хэнкока (Институт Лауде) и Натана Ламберта (Институт ИИ Аллена), утверждают, что одной дистилляцией нельзя объяснить все возможности Kimi K3. Широко распространенный PDF-файл, якобы доказывающий дистилляцию цепочки рассуждений, подвергся критике за объединение ограниченного эксперимента с необоснованными утверждениями .

Риски безопасности, связанные с уязвимостью

Недостаток создает несколько конкретных рисков, помимо кражи интеллектуальной собственности:

• Утечка учетных данных и личной информации (PII): Исследователи декодировали 315 320 блоков рассуждений, собранных из публичных репозиториев, и восстановили 367 артефактов PII и 182 учетных данных (включая API-ключи и пароли), которые были встроены в следы рассуждений .
• Обход защиты от дистилляции: Та же уязвимость, которая позволяет извлекать данные, также обходит собственную защиту провайдеров от дистилляции .
• Передача вредоносного поведения: Отдельная статья («Hidden in Thought: Transferable Chain-of-Thought Artifacts Induce Harmful Behavior») показала, что перенесенные следы рассуждений могут повысить уровень вредоносных ответов выше 80% на наиболее уязвимых моделях с открытым исходным кодом .
• Раскрытие скрытых промптов: Непрозрачные поля рассуждений, которые разработчики агентов считают безопасными для хранения и публикации, могут содержать скрытые системные инструкции и учетные данные .

Как отреагировали OpenAI, Anthropic и Google

Все три компании были связаны с исследователями «Украденных мыслей» до публикации. Согласно сообщениям, OpenAI, Anthropic и Google заблокировали атаку с перекрестным воспроизведением рассуждений после уведомления. Конкретные детали их мер по смягчению последствий не были полностью раскрыты в опубликованных источниках, но подтверждено, что уязвимость существовала в API всех трех провайдеров до исправления . Тот факт, что атака была «заблокирована», позволяет предположить, что компании внедрили серверные исправления, вероятно, ограничивающие повторное использование зашифрованных блоков рассуждений в разных контекстах моделей или учетных записях .

Anthropic уже вела публичную борьбу с дистилляцией в больших масштабах, сообщив о 24 000 мошеннических аккаунтах и 16 миллионах обменов, используемых китайскими лабораториями для извлечения выходных данных Claude .

Ключевой урок как из статей REP, так и «Украденных мыслей» заключается в том, что скрытие или шифрование следов рассуждений — это фундаментально хрупкая стратегия безопасности: если рассуждения существуют в весах модели, их можно извлечь .