«Украденные мысли»: уязвимость, позволившая извлечь скрытые рассуждения ИИ и вскрыть скандал с дистилляцией Kimi K3
Исследователи обнаружили два метода извлечения скрытых «цепочек рассуждений» (chain of thought) из топовых ИИ моделей: промптинг (REP) и атаку повторного воспроизведения (Stolen Thoughts). Извлеченные данные показали, что китайская модель Kimi K3, вероятно, была создана путем дистилляции рассуждений из моделей Anthr...
ОпубликовалОтредактировано с помощью DeepSeek-V4-FlashИзображения созданы с помощью GPT Image 1.5
Исследователи обнаружили два метода извлечения скрытых «цепочек рассуждений» (chain of thought) из топовых ИИ моделей: промптинг (REP) и атаку повторного воспроизведения (Stolen Thoughts).
Извлеченные данные показали, что китайская модель Kimi K3, вероятно, была создана путем дистилляции рассуждений из моделей Anthropic Claude, на что указывают статистический анализ и заявления Белого дома.
Уязвимость несет серьезные риски: утечка паролей и персональных данных (найдено 182 учетных данных), обход защиты от дистилляции и передача вредоносного поведения.
How did researchers discover a method to extract hidden reasoning traces from leading AI models, what did it reveal about potential distillaAI-generated editorial hero image for How did researchers discover a method to extract hidden reasoning traces from leading AI models, what did it reveal about potential distilla.
Промпт ИИ
Create a landscape editorial hero image for this Studio Global article: How did researchers discover a method to extract hidden reasoning traces from leading AI models, what did it reveal about potential distilla. Article summary: ## How researchers discovered the extraction method. Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails, icons, and tiny thumbnail layouts. Make it useful as an illustrative visual, not as factual evidence.
openai.com
В 2026 году две независимые группы исследователей опубликовали методы, которые взламывают защиту скрытых рассуждений в передовых ИИ-моделях. Первый метод, техника промптинга под названием Reasoning Exposure Prompting (REP), позволяет вытянуть скрытую «цепочку мыслей» модели обратно в видимый пользователю вывод. Второй — атака повторного воспроизведения (replay attack) под названием «Украденные мысли» (Stolen Thoughts) — использует структурную ошибку в том, как OpenAI, Anthropic и Google шифруют блоки рассуждений, возвращаемые их API. Вместе эти уязвимости предоставили новые судебно-медицинские доказательства в продолжающемся споре о том, были ли китайские системы ИИ, такие как Moonshot Kimi K3, созданы путем дистилляции проприетарных американских моделей.
Два взаимодополняющих вектора атаки
Reasoning Exposure Prompting (REP) — опубликован 30 мая 2026 года в статье «Hidden Thoughts Are Not Secret: Reasoning Trace Exposure in LLMs» (arXiv:2606.00642). Исследователи Лу, Цай, Цай, Попа и Ю показали, что даже когда провайдеры намеренно скрывают цепочку рассуждений, легкая техника промптинга может вытащить скрытые рассуждения обратно в видимый вывод. Метод, названный «теневой моделью» (shadow-model prompting), использует демонстрации от меньшей, неограниченной модели, завернутые во вспомогательные кодоподобные форматы, для извлечения внутренних следов из целевой модели. Извлеченные следы достаточно детальны, чтобы дистиллировать меньшую модель .
Studio Global AI
Продолжайте свое исследование
На этой странице есть ответ, подтвержденный источником, который вы можете продолжить внутри Studio Global.
Каков краткий ответ на вопрос ««Украденные мысли»: уязвимость, позволившая извлечь скрытые рассуждения ИИ и вскрыть скандал с дистилляцией Kimi K3»?
Исследователи обнаружили два метода извлечения скрытых «цепочек рассуждений» (chain of thought) из топовых ИИ моделей: промптинг (REP) и атаку повторного воспроизведения (Stolen Thoughts).
Какие ключевые моменты необходимо проверить в первую очередь?
Исследователи обнаружили два метода извлечения скрытых «цепочек рассуждений» (chain of thought) из топовых ИИ моделей: промптинг (REP) и атаку повторного воспроизведения (Stolen Thoughts). Извлеченные данные показали, что китайская модель Kimi K3, вероятно, была создана путем дистилляции рассуждений из моделей Anthropic Claude, на что указывают статистический анализ и заявления Белого дома.
Что мне делать дальше на практике?
Уязвимость несет серьезные риски: утечка паролей и персональных данных (найдено 182 учетных данных), обход защиты от дистилляции и передача вредоносного поведения.
«Украденные мысли»: уязвимость, позволившая извлечь скрытые рассуждения ИИ и вскрыть скандал с дистилляцией Kimi K3
Исследователи обнаружили два метода извлечения скрытых «цепочек рассуждений» (chain of thought) из топовых ИИ моделей: промптинг (REP) и атаку повторного воспроизведения (Stolen Thoughts). Извлеченные данные показали, что китайская модель Kimi K3, вероятно, была создана путем дистилляции рассуждений из моделей Anthr...
ОпубликовалОтредактировано с помощью DeepSeek-V4-FlashИзображения созданы с помощью GPT Image 1.5
Исследователи обнаружили два метода извлечения скрытых «цепочек рассуждений» (chain of thought) из топовых ИИ моделей: промптинг (REP) и атаку повторного воспроизведения (Stolen Thoughts).
Извлеченные данные показали, что китайская модель Kimi K3, вероятно, была создана путем дистилляции рассуждений из моделей Anthropic Claude, на что указывают статистический анализ и заявления Белого дома.
Уязвимость несет серьезные риски: утечка паролей и персональных данных (найдено 182 учетных данных), обход защиты от дистилляции и передача вредоносного поведения.
How did researchers discover a method to extract hidden reasoning traces from leading AI models, what did it reveal about potential distillaAI-generated editorial hero image for How did researchers discover a method to extract hidden reasoning traces from leading AI models, what did it reveal about potential distilla.
Промпт ИИ
Create a landscape editorial hero image for this Studio Global article: How did researchers discover a method to extract hidden reasoning traces from leading AI models, what did it reveal about potential distilla. Article summary: ## How researchers discovered the extraction method. Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails, icons, and tiny thumbnail layouts. Make it useful as an illustrative visual, not as factual evidence.
openai.com
В 2026 году две независимые группы исследователей опубликовали методы, которые взламывают защиту скрытых рассуждений в передовых ИИ-моделях. Первый метод, техника промптинга под названием Reasoning Exposure Prompting (REP), позволяет вытянуть скрытую «цепочку мыслей» модели обратно в видимый пользователю вывод. Второй — атака повторного воспроизведения (replay attack) под названием «Украденные мысли» (Stolen Thoughts) — использует структурную ошибку в том, как OpenAI, Anthropic и Google шифруют блоки рассуждений, возвращаемые их API. Вместе эти уязвимости предоставили новые судебно-медицинские доказательства в продолжающемся споре о том, были ли китайские системы ИИ, такие как Moonshot Kimi K3, созданы путем дистилляции проприетарных американских моделей.
Два взаимодополняющих вектора атаки
Reasoning Exposure Prompting (REP) — опубликован 30 мая 2026 года в статье «Hidden Thoughts Are Not Secret: Reasoning Trace Exposure in LLMs» (arXiv:2606.00642). Исследователи Лу, Цай, Цай, Попа и Ю показали, что даже когда провайдеры намеренно скрывают цепочку рассуждений, легкая техника промптинга может вытащить скрытые рассуждения обратно в видимый вывод. Метод, названный «теневой моделью» (shadow-model prompting), использует демонстрации от меньшей, неограниченной модели, завернутые во вспомогательные кодоподобные форматы, для извлечения внутренних следов из целевой модели. Извлеченные следы достаточно детальны, чтобы дистиллировать меньшую модель .
Studio Global AI
Продолжайте свое исследование
На этой странице есть ответ, подтвержденный источником, который вы можете продолжить внутри Studio Global.
Каков краткий ответ на вопрос ««Украденные мысли»: уязвимость, позволившая извлечь скрытые рассуждения ИИ и вскрыть скандал с дистилляцией Kimi K3»?
Исследователи обнаружили два метода извлечения скрытых «цепочек рассуждений» (chain of thought) из топовых ИИ моделей: промптинг (REP) и атаку повторного воспроизведения (Stolen Thoughts).
Какие ключевые моменты необходимо проверить в первую очередь?
Исследователи обнаружили два метода извлечения скрытых «цепочек рассуждений» (chain of thought) из топовых ИИ моделей: промптинг (REP) и атаку повторного воспроизведения (Stolen Thoughts). Извлеченные данные показали, что китайская модель Kimi K3, вероятно, была создана путем дистилляции рассуждений из моделей Anthropic Claude, на что указывают статистический анализ и заявления Белого дома.
Что мне делать дальше на практике?
Уязвимость несет серьезные риски: утечка паролей и персональных данных (найдено 182 учетных данных), обход защиты от дистилляции и передача вредоносного поведения.
Атака повторного воспроизведения «Украденные мысли» — опубликована 10–11 августа 2026 года в статье «Stealing Reasoning Traces from Proprietary LLM APIs» (arXiv:2608.09867). Исследователи Панфилов, Шмотц, Шумайлов, Бойрер-Келлнер, Шеффер, Прабху, Гейпинг и Андрющенко обнаружили критический архитектурный недостаток. Зашифрованные «мыслительные» блоки, которые Anthropic, OpenAI и Google возвращают API-клиентам, не были должным образом привязаны к своему источнику. Эти блоки можно извлечь из одного разговора и воспроизвести в более слабой, менее защищенной родственной модели от того же провайдера, которая затем выводит скрытые рассуждения фронтальной модели в виде обычного текста . Атака работает между сессиями, между учетными записями пользователей и между моделями внутри экосистемы одного провайдера . Исследователи подтвердили, что метод работает на каждой крупной передовой ИИ-компании, которую они тестировали, а длина восстановленных рассуждений почти 1:1 соответствует количеству скрытых мыслительных токенов, сообщаемых API .
Доказательства в споре о дистилляции Kimi K3
Извлеченные следы рассуждений предоставляют высококачественные сигналы для обучения методом дистилляции модели — практики использования выходных данных более сильной модели для обучения меньшей и более дешевой модели-конкурента . Этот метод находится в центре ожесточенного спора вокруг китайских ИИ-лабораторий:
Компания Anthropic публично заявила, что китайские ИИ-лаборатории, включая DeepSeek, Moonshot и MiniMax, использовали примерно 24 000 мошеннических аккаунтов для генерации более 16 миллионов обменов с Claude, обходя ограничения доступа .
Kimi K3, выпущенная в июле 2026 года компанией Moonshot AI, была названа фондом Jamestown Foundation конкретной моделью, созданной с помощью дистилляции, с производительностью, заявленной как сопоставимая с Anthropic Claude Fable 5 и OpenAI GPT-5.6 Sol .
Райан Гринблатт (Redwood Research) опубликовал статистический анализ, показывающий сравнение кросс-энтропии, которое предполагает, что выходные данные Kimi K3 тесно связаны с моделями Anthropic Claude .
Научный советник Белого дома Майкл Крациос публично обвинил Moonshot в создании Kimi K3 с помощью «скрытой промышленной дистилляции» .
Однако доказательства не являются окончательными. Исследователи, включая Брэдена Хэнкока (Институт Лауде) и Натана Ламберта (Институт ИИ Аллена), утверждают, что одной дистилляцией нельзя объяснить все возможности Kimi K3. Широко распространенный PDF-файл, якобы доказывающий дистилляцию цепочки рассуждений, подвергся критике за объединение ограниченного эксперимента с необоснованными утверждениями .
Риски безопасности, связанные с уязвимостью
Недостаток создает несколько конкретных рисков, помимо кражи интеллектуальной собственности:
Утечка учетных данных и личной информации (PII): Исследователи декодировали 315 320 блоков рассуждений, собранных из публичных репозиториев, и восстановили 367 артефактов PII и 182 учетных данных (включая API-ключи и пароли), которые были встроены в следы рассуждений .
Обход защиты от дистилляции: Та же уязвимость, которая позволяет извлекать данные, также обходит собственную защиту провайдеров от дистилляции .
Передача вредоносного поведения: Отдельная статья («Hidden in Thought: Transferable Chain-of-Thought Artifacts Induce Harmful Behavior») показала, что перенесенные следы рассуждений могут повысить уровень вредоносных ответов выше 80% на наиболее уязвимых моделях с открытым исходным кодом .
Раскрытие скрытых промптов: Непрозрачные поля рассуждений, которые разработчики агентов считают безопасными для хранения и публикации, могут содержать скрытые системные инструкции и учетные данные .
Как отреагировали OpenAI, Anthropic и Google
Все три компании были связаны с исследователями «Украденных мыслей» до публикации. Согласно сообщениям, OpenAI, Anthropic и Google заблокировали атаку с перекрестным воспроизведением рассуждений после уведомления. Конкретные детали их мер по смягчению последствий не были полностью раскрыты в опубликованных источниках, но подтверждено, что уязвимость существовала в API всех трех провайдеров до исправления . Тот факт, что атака была «заблокирована», позволяет предположить, что компании внедрили серверные исправления, вероятно, ограничивающие повторное использование зашифрованных блоков рассуждений в разных контекстах моделей или учетных записях .
Anthropic уже вела публичную борьбу с дистилляцией в больших масштабах, сообщив о 24 000 мошеннических аккаунтах и 16 миллионах обменов, используемых китайскими лабораториями для извлечения выходных данных Claude .
Ключевой урок как из статей REP, так и «Украденных мыслей» заключается в том, что скрытие или шифрование следов рассуждений — это фундаментально хрупкая стратегия безопасности: если рассуждения существуют в весах модели, их можно извлечь .
Атака повторного воспроизведения «Украденные мысли» — опубликована 10–11 августа 2026 года в статье «Stealing Reasoning Traces from Proprietary LLM APIs» (arXiv:2608.09867). Исследователи Панфилов, Шмотц, Шумайлов, Бойрер-Келлнер, Шеффер, Прабху, Гейпинг и Андрющенко обнаружили критический архитектурный недостаток. Зашифрованные «мыслительные» блоки, которые Anthropic, OpenAI и Google возвращают API-клиентам, не были должным образом привязаны к своему источнику. Эти блоки можно извлечь из одного разговора и воспроизвести в более слабой, менее защищенной родственной модели от того же провайдера, которая затем выводит скрытые рассуждения фронтальной модели в виде обычного текста . Атака работает между сессиями, между учетными записями пользователей и между моделями внутри экосистемы одного провайдера . Исследователи подтвердили, что метод работает на каждой крупной передовой ИИ-компании, которую они тестировали, а длина восстановленных рассуждений почти 1:1 соответствует количеству скрытых мыслительных токенов, сообщаемых API .
Доказательства в споре о дистилляции Kimi K3
Извлеченные следы рассуждений предоставляют высококачественные сигналы для обучения методом дистилляции модели — практики использования выходных данных более сильной модели для обучения меньшей и более дешевой модели-конкурента . Этот метод находится в центре ожесточенного спора вокруг китайских ИИ-лабораторий:
Компания Anthropic публично заявила, что китайские ИИ-лаборатории, включая DeepSeek, Moonshot и MiniMax, использовали примерно 24 000 мошеннических аккаунтов для генерации более 16 миллионов обменов с Claude, обходя ограничения доступа .
Kimi K3, выпущенная в июле 2026 года компанией Moonshot AI, была названа фондом Jamestown Foundation конкретной моделью, созданной с помощью дистилляции, с производительностью, заявленной как сопоставимая с Anthropic Claude Fable 5 и OpenAI GPT-5.6 Sol .
Райан Гринблатт (Redwood Research) опубликовал статистический анализ, показывающий сравнение кросс-энтропии, которое предполагает, что выходные данные Kimi K3 тесно связаны с моделями Anthropic Claude .
Научный советник Белого дома Майкл Крациос публично обвинил Moonshot в создании Kimi K3 с помощью «скрытой промышленной дистилляции» .
Однако доказательства не являются окончательными. Исследователи, включая Брэдена Хэнкока (Институт Лауде) и Натана Ламберта (Институт ИИ Аллена), утверждают, что одной дистилляцией нельзя объяснить все возможности Kimi K3. Широко распространенный PDF-файл, якобы доказывающий дистилляцию цепочки рассуждений, подвергся критике за объединение ограниченного эксперимента с необоснованными утверждениями .
Риски безопасности, связанные с уязвимостью
Недостаток создает несколько конкретных рисков, помимо кражи интеллектуальной собственности:
Утечка учетных данных и личной информации (PII): Исследователи декодировали 315 320 блоков рассуждений, собранных из публичных репозиториев, и восстановили 367 артефактов PII и 182 учетных данных (включая API-ключи и пароли), которые были встроены в следы рассуждений .
Обход защиты от дистилляции: Та же уязвимость, которая позволяет извлекать данные, также обходит собственную защиту провайдеров от дистилляции .
Передача вредоносного поведения: Отдельная статья («Hidden in Thought: Transferable Chain-of-Thought Artifacts Induce Harmful Behavior») показала, что перенесенные следы рассуждений могут повысить уровень вредоносных ответов выше 80% на наиболее уязвимых моделях с открытым исходным кодом .
Раскрытие скрытых промптов: Непрозрачные поля рассуждений, которые разработчики агентов считают безопасными для хранения и публикации, могут содержать скрытые системные инструкции и учетные данные .
Как отреагировали OpenAI, Anthropic и Google
Все три компании были связаны с исследователями «Украденных мыслей» до публикации. Согласно сообщениям, OpenAI, Anthropic и Google заблокировали атаку с перекрестным воспроизведением рассуждений после уведомления. Конкретные детали их мер по смягчению последствий не были полностью раскрыты в опубликованных источниках, но подтверждено, что уязвимость существовала в API всех трех провайдеров до исправления . Тот факт, что атака была «заблокирована», позволяет предположить, что компании внедрили серверные исправления, вероятно, ограничивающие повторное использование зашифрованных блоков рассуждений в разных контекстах моделей или учетных записях .
Anthropic уже вела публичную борьбу с дистилляцией в больших масштабах, сообщив о 24 000 мошеннических аккаунтах и 16 миллионах обменов, используемых китайскими лабораториями для извлечения выходных данных Claude .
Ключевой урок как из статей REP, так и «Украденных мыслей» заключается в том, что скрытие или шифрование следов рассуждений — это фундаментально хрупкая стратегия безопасности: если рассуждения существуют в весах модели, их можно извлечь .