Атака «Вкрадені думки»: як дослідники зламали приховані міркування ШІ
У 2026 році дослідники опублікували два методи зламу прихованих міркувань передових ШІ моделей: REP (використання підказок) та «Вкрадені думки» ( replay атака на зашифровані блоки). Вразливість дозволила витягти якісні дані для дистиляції, що стало непрямим доказом у суперечці про китайську модель Kimi K3, яку підоз...
ОпублікувавВідредаговано за допомогою DeepSeek-V4-FlashЗображення створено за допомогою GPT Image 1.5
У 2026 році дослідники опублікували два методи зламу прихованих міркувань передових ШІ моделей: REP (використання підказок) та «Вкрадені думки» ( replay атака на зашифровані блоки).
Вразливість дозволила витягти якісні дані для дистиляції, що стало непрямим доказом у суперечці про китайську модель Kimi K3, яку підозрюють у копіюванні роботи Claude.
Розшифровка 315 320 блоків міркувань виявила 367 фрагментів персональних даних та 182 облікові дані, включаючи паролі та API ключі.
OpenAI, Anthropic та Google заблокували атаку після повідомлення від дослідників, але експерти наголошують, що приховування міркувань — це фундаментально хибна стратегія безпеки.
How did researchers discover a method to extract hidden reasoning traces from leading AI models, what did it reveal about potential distillaAI-generated editorial hero image for How did researchers discover a method to extract hidden reasoning traces from leading AI models, what did it reveal about potential distilla.
AI Prompt
Create a landscape editorial hero image for this Studio Global article: How did researchers discover a method to extract hidden reasoning traces from leading AI models, what did it reveal about potential distilla. Article summary: ## How researchers discovered the extraction method. Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails, icons, and tiny thumbnail layouts. Make it useful as an illustrative visual, not as factual evidence.
openai.com
У 2026 році дві незалежні дослідницькі групи опублікували методи, які ламають захист прихованих міркувань у передових моделях штучного інтелекту. Перший метод, названий Reasoning Exposure Prompting (REP), за допомогою спеціальних підказок змушує модель виводити прихований ланцюжок міркувань у видимий для користувача текст. Другий — replay-атака під назвою «Вкрадені думки» (Stolen Thoughts) — використовує структурний недолік у тому, як OpenAI, Anthropic і Google шифрують блоки міркувань, які повертають через свої API. Разом ці вразливості надали нові криміналістичні докази в триваючій суперечці про те, чи китайські ШІ-системи, зокрема Moonshot's Kimi K3, були побудовані шляхом дистиляції пропрієтарних американських моделей.
Два взаємодоповнюючі вектори атаки
Reasoning Exposure Prompting (REP) — опублікований 30 травня 2026 року в статті "Hidden Thoughts Are Not Secret: Reasoning Trace Exposure in LLMs" (arXiv:2606.00642). Дослідники Лу, Цай, Цай, Попа та Ю показали, що навіть коли провайдери навмисно приховують ланцюжок міркувань, легка техніка контекстного підказування може витягнути приховані міркування назад у видимий вихід. Метод, названий shadow-model prompting, використовує демонстрації з меншої, необмеженої моделі, обгорнуті в допоміжні кодоподібні формати, щоб витягти внутрішні сліди з моделі-жертви. Відновлені сліди достатньо детальні, щоб дистилювати меншу модель .
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
What is the short answer to "Атака «Вкрадені думки»: як дослідники зламали приховані міркування ШІ"?
У 2026 році дослідники опублікували два методи зламу прихованих міркувань передових ШІ моделей: REP (використання підказок) та «Вкрадені думки» ( replay атака на зашифровані блоки).
What are the key points to validate first?
У 2026 році дослідники опублікували два методи зламу прихованих міркувань передових ШІ моделей: REP (використання підказок) та «Вкрадені думки» ( replay атака на зашифровані блоки). Вразливість дозволила витягти якісні дані для дистиляції, що стало непрямим доказом у суперечці про китайську модель Kimi K3, яку підозрюють у копіюванні роботи Claude.
What should I do next in practice?
Розшифровка 315 320 блоків міркувань виявила 367 фрагментів персональних даних та 182 облікові дані, включаючи паролі та API ключі.
Атака «Вкрадені думки»: як дослідники зламали приховані міркування ШІ
У 2026 році дослідники опублікували два методи зламу прихованих міркувань передових ШІ моделей: REP (використання підказок) та «Вкрадені думки» ( replay атака на зашифровані блоки). Вразливість дозволила витягти якісні дані для дистиляції, що стало непрямим доказом у суперечці про китайську модель Kimi K3, яку підоз...
ОпублікувавВідредаговано за допомогою DeepSeek-V4-FlashЗображення створено за допомогою GPT Image 1.5
У 2026 році дослідники опублікували два методи зламу прихованих міркувань передових ШІ моделей: REP (використання підказок) та «Вкрадені думки» ( replay атака на зашифровані блоки).
Вразливість дозволила витягти якісні дані для дистиляції, що стало непрямим доказом у суперечці про китайську модель Kimi K3, яку підозрюють у копіюванні роботи Claude.
Розшифровка 315 320 блоків міркувань виявила 367 фрагментів персональних даних та 182 облікові дані, включаючи паролі та API ключі.
OpenAI, Anthropic та Google заблокували атаку після повідомлення від дослідників, але експерти наголошують, що приховування міркувань — це фундаментально хибна стратегія безпеки.
How did researchers discover a method to extract hidden reasoning traces from leading AI models, what did it reveal about potential distillaAI-generated editorial hero image for How did researchers discover a method to extract hidden reasoning traces from leading AI models, what did it reveal about potential distilla.
AI Prompt
Create a landscape editorial hero image for this Studio Global article: How did researchers discover a method to extract hidden reasoning traces from leading AI models, what did it reveal about potential distilla. Article summary: ## How researchers discovered the extraction method. Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails, icons, and tiny thumbnail layouts. Make it useful as an illustrative visual, not as factual evidence.
openai.com
У 2026 році дві незалежні дослідницькі групи опублікували методи, які ламають захист прихованих міркувань у передових моделях штучного інтелекту. Перший метод, названий Reasoning Exposure Prompting (REP), за допомогою спеціальних підказок змушує модель виводити прихований ланцюжок міркувань у видимий для користувача текст. Другий — replay-атака під назвою «Вкрадені думки» (Stolen Thoughts) — використовує структурний недолік у тому, як OpenAI, Anthropic і Google шифрують блоки міркувань, які повертають через свої API. Разом ці вразливості надали нові криміналістичні докази в триваючій суперечці про те, чи китайські ШІ-системи, зокрема Moonshot's Kimi K3, були побудовані шляхом дистиляції пропрієтарних американських моделей.
Два взаємодоповнюючі вектори атаки
Reasoning Exposure Prompting (REP) — опублікований 30 травня 2026 року в статті "Hidden Thoughts Are Not Secret: Reasoning Trace Exposure in LLMs" (arXiv:2606.00642). Дослідники Лу, Цай, Цай, Попа та Ю показали, що навіть коли провайдери навмисно приховують ланцюжок міркувань, легка техніка контекстного підказування може витягнути приховані міркування назад у видимий вихід. Метод, названий shadow-model prompting, використовує демонстрації з меншої, необмеженої моделі, обгорнуті в допоміжні кодоподібні формати, щоб витягти внутрішні сліди з моделі-жертви. Відновлені сліди достатньо детальні, щоб дистилювати меншу модель .
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
What is the short answer to "Атака «Вкрадені думки»: як дослідники зламали приховані міркування ШІ"?
У 2026 році дослідники опублікували два методи зламу прихованих міркувань передових ШІ моделей: REP (використання підказок) та «Вкрадені думки» ( replay атака на зашифровані блоки).
What are the key points to validate first?
У 2026 році дослідники опублікували два методи зламу прихованих міркувань передових ШІ моделей: REP (використання підказок) та «Вкрадені думки» ( replay атака на зашифровані блоки). Вразливість дозволила витягти якісні дані для дистиляції, що стало непрямим доказом у суперечці про китайську модель Kimi K3, яку підозрюють у копіюванні роботи Claude.
What should I do next in practice?
Розшифровка 315 320 блоків міркувань виявила 367 фрагментів персональних даних та 182 облікові дані, включаючи паролі та API ключі.
Replay-атака «Вкрадені думки» (Stolen Thoughts) — опублікована 10–11 серпня 2026 року в статті "Stealing Reasoning Traces from Proprietary LLM APIs" (arXiv:2608.09867). Дослідники Панфілов, Шмотц, Шумайлов, Бойрер-Келлнер, Шеффер, Прабху, Гайпінг та Андрющенко виявили критичний архітектурний недолік. Зашифровані блоки «роздумів», які Anthropic, OpenAI і Google повертають клієнтам API, належним чином не прив'язані до свого джерела. Ці блоки можна вилучити з однієї розмови та відтворити в слабшій, менш захищеній дочірній моделі того самого провайдера, яка потім виводить приховані міркування передової моделі звичайним текстом . Атака працює між сесіями, між обліковими записами користувачів і між моделями в екосистемі одного провайдера . Дослідники підтвердили, що техніка працює на кожній великій передовій ШІ-компанії, яку вони тестували, а довжина відновлених міркувань майже 1:1 збігається з кількістю прихованих токенів роздумів, про які повідомляє API .
Докази у справі про дистиляцію Kimi K3
Витягнуті сліди міркувань забезпечують високоякісні навчальні сигнали для дистиляції моделі — практики використання вихідних даних сильнішої моделі для навчання меншої, дешевшої моделі-конкурента . Ця техніка знаходиться в центрі палкої суперечки навколо китайських ШІ-лабораторій:
Anthropic публічно заявила, що китайські ШІ-лабораторії, включаючи DeepSeek, Moonshot і MiniMax, використали приблизно 24 000 шахрайських акаунтів для генерації понад 16 мільйонів обмінів з Claude, обходячи обмеження доступу .
Kimi K3, випущений у липні 2026 року компанією Moonshot AI, був названий Фондом Джеймстауна конкретною моделлю, побудованою через дистиляцію, з продуктивністю, яка, як стверджується, можна порівняти з Anthropic Claude Fable 5 і OpenAI GPT-5.6 Sol .
Раян Грінблатт (Ryan Greenblatt) з Redwood Research опублікував статистичний аналіз, що показує порівняння перехресної ентропії, які свідчать про те, що результати Kimi K3 тісно збігаються з моделями Anthropic Claude .
Радник Білого дому з науки Майкл Краціос публічно звинуватив Moonshot у створенні Kimi K3 шляхом «прихованої промислової дистиляції» .
Однак докази не є остаточними. Дослідники, зокрема Брейден Хенкок (Laude Institute) та Натан Ламберт (Allen Institute for AI), стверджують, що дистиляція сама по собі не може пояснити всіх можливостей Kimi K3. Широко розповсюджений PDF-файл, який нібито доводив дистиляцію ланцюжка міркувань, піддався критиці за поєднання обмеженого експерименту з необґрунтованими твердженнями .
Ризики безпеки, спричинені вразливістю
Недолік створює кілька конкретних ризиків, окрім крадіжки інтелектуальної власності:
Витік облікових даних та персональних даних: Дослідники розшифрували 315 320 блоків міркувань, зібраних з публічних репозиторіїв, і відновили 367 артефактів PII та 182 облікові дані (включаючи API-ключі та паролі), які були вбудовані в сліди міркувань .
Обхід антидистиляційного захисту: Та сама вразливість, яка дозволяє витягувати дані, також долає власні засоби захисту провайдерів від дистиляції .
Перенесення шкідливої поведінки: Окрема стаття ("Hidden in Thought: Transferable Chain-of-Thought Artifacts Induce Harmful Behavior") виявила, що перенесені сліди міркувань можуть підвищити рівень шкідливих відповідей понад 80% на найбільш вразливих моделях з відкритим кодом .
Розкриття прихованих підказок: Непрозорі поля міркувань, які розробники агентів вважають безпечними для збереження та публікації, можуть містити приховані системні інструкції та облікові дані .
Як відреагували OpenAI, Anthropic та Google
Усі три компанії були повідомлені дослідниками «Вкрадених думок» до публікації. Згідно зі звітами, OpenAI, Anthropic та Google заблокували крос-модельну атаку на міркування після отримання повідомлення. Конкретні деталі їхніх пом'якшувальних заходів не були повністю розкриті в опублікованих джерелах, але підтверджено, що вразливість існувала в API всіх трьох провайдерів до виправлення . Той факт, що атаку «заблоковано», свідчить про те, що компанії впровадили виправлення на стороні сервера — ймовірно, обмеживши повторне використання зашифрованих блоків міркувань у різних контекстах моделей або облікових записах .
Anthropic вже публічно боролася з дистиляцією в масштабах, повідомляючи про 24 000 шахрайських акаунтів та 16 мільйонів обмінів, використаних китайськими лабораторіями для вилучення результатів Claude .
Основний урок як зі статей REP, так і Stolen Thoughts полягає в тому, що приховування або шифрування слідів міркувань є фундаментально хиткою стратегією безпеки — якщо міркування існують у вагах моделі, їх можна викликати .
Replay-атака «Вкрадені думки» (Stolen Thoughts) — опублікована 10–11 серпня 2026 року в статті "Stealing Reasoning Traces from Proprietary LLM APIs" (arXiv:2608.09867). Дослідники Панфілов, Шмотц, Шумайлов, Бойрер-Келлнер, Шеффер, Прабху, Гайпінг та Андрющенко виявили критичний архітектурний недолік. Зашифровані блоки «роздумів», які Anthropic, OpenAI і Google повертають клієнтам API, належним чином не прив'язані до свого джерела. Ці блоки можна вилучити з однієї розмови та відтворити в слабшій, менш захищеній дочірній моделі того самого провайдера, яка потім виводить приховані міркування передової моделі звичайним текстом . Атака працює між сесіями, між обліковими записами користувачів і між моделями в екосистемі одного провайдера . Дослідники підтвердили, що техніка працює на кожній великій передовій ШІ-компанії, яку вони тестували, а довжина відновлених міркувань майже 1:1 збігається з кількістю прихованих токенів роздумів, про які повідомляє API .
Докази у справі про дистиляцію Kimi K3
Витягнуті сліди міркувань забезпечують високоякісні навчальні сигнали для дистиляції моделі — практики використання вихідних даних сильнішої моделі для навчання меншої, дешевшої моделі-конкурента . Ця техніка знаходиться в центрі палкої суперечки навколо китайських ШІ-лабораторій:
Anthropic публічно заявила, що китайські ШІ-лабораторії, включаючи DeepSeek, Moonshot і MiniMax, використали приблизно 24 000 шахрайських акаунтів для генерації понад 16 мільйонів обмінів з Claude, обходячи обмеження доступу .
Kimi K3, випущений у липні 2026 року компанією Moonshot AI, був названий Фондом Джеймстауна конкретною моделлю, побудованою через дистиляцію, з продуктивністю, яка, як стверджується, можна порівняти з Anthropic Claude Fable 5 і OpenAI GPT-5.6 Sol .
Раян Грінблатт (Ryan Greenblatt) з Redwood Research опублікував статистичний аналіз, що показує порівняння перехресної ентропії, які свідчать про те, що результати Kimi K3 тісно збігаються з моделями Anthropic Claude .
Радник Білого дому з науки Майкл Краціос публічно звинуватив Moonshot у створенні Kimi K3 шляхом «прихованої промислової дистиляції» .
Однак докази не є остаточними. Дослідники, зокрема Брейден Хенкок (Laude Institute) та Натан Ламберт (Allen Institute for AI), стверджують, що дистиляція сама по собі не може пояснити всіх можливостей Kimi K3. Широко розповсюджений PDF-файл, який нібито доводив дистиляцію ланцюжка міркувань, піддався критиці за поєднання обмеженого експерименту з необґрунтованими твердженнями .
Ризики безпеки, спричинені вразливістю
Недолік створює кілька конкретних ризиків, окрім крадіжки інтелектуальної власності:
Витік облікових даних та персональних даних: Дослідники розшифрували 315 320 блоків міркувань, зібраних з публічних репозиторіїв, і відновили 367 артефактів PII та 182 облікові дані (включаючи API-ключі та паролі), які були вбудовані в сліди міркувань .
Обхід антидистиляційного захисту: Та сама вразливість, яка дозволяє витягувати дані, також долає власні засоби захисту провайдерів від дистиляції .
Перенесення шкідливої поведінки: Окрема стаття ("Hidden in Thought: Transferable Chain-of-Thought Artifacts Induce Harmful Behavior") виявила, що перенесені сліди міркувань можуть підвищити рівень шкідливих відповідей понад 80% на найбільш вразливих моделях з відкритим кодом .
Розкриття прихованих підказок: Непрозорі поля міркувань, які розробники агентів вважають безпечними для збереження та публікації, можуть містити приховані системні інструкції та облікові дані .
Як відреагували OpenAI, Anthropic та Google
Усі три компанії були повідомлені дослідниками «Вкрадених думок» до публікації. Згідно зі звітами, OpenAI, Anthropic та Google заблокували крос-модельну атаку на міркування після отримання повідомлення. Конкретні деталі їхніх пом'якшувальних заходів не були повністю розкриті в опублікованих джерелах, але підтверджено, що вразливість існувала в API всіх трьох провайдерів до виправлення . Той факт, що атаку «заблоковано», свідчить про те, що компанії впровадили виправлення на стороні сервера — ймовірно, обмеживши повторне використання зашифрованих блоків міркувань у різних контекстах моделей або облікових записах .
Anthropic вже публічно боролася з дистиляцією в масштабах, повідомляючи про 24 000 шахрайських акаунтів та 16 мільйонів обмінів, використаних китайськими лабораторіями для вилучення результатів Claude .
Основний урок як зі статей REP, так і Stolen Thoughts полягає в тому, що приховування або шифрування слідів міркувань є фундаментально хиткою стратегією безпеки — якщо міркування існують у вагах моделі, їх можна викликати .