Атака «Вкрадені думки»: як дослідники зламали приховані міркування ШІ

Replay-атака «Вкрадені думки» (Stolen Thoughts) — опублікована 10–11 серпня 2026 року в статті "Stealing Reasoning Traces from Proprietary LLM APIs" (arXiv:2608.09867). Дослідники Панфілов, Шмотц, Шумайлов, Бойрер-Келлнер, Шеффер, Прабху, Гайпінг та Андрющенко виявили критичний архітектурний недолік. Зашифровані блоки «роздумів», які Anthropic, OpenAI і Google повертають клієнтам API, належним чином не прив'язані до свого джерела. Ці блоки можна вилучити з однієї розмови та відтворити в слабшій, менш захищеній дочірній моделі того самого провайдера, яка потім виводить приховані міркування передової моделі звичайним текстом . Атака працює між сесіями, між обліковими записами користувачів і між моделями в екосистемі одного провайдера . Дослідники підтвердили, що техніка працює на кожній великій передовій ШІ-компанії, яку вони тестували, а довжина відновлених міркувань майже 1:1 збігається з кількістю прихованих токенів роздумів, про які повідомляє API .

Докази у справі про дистиляцію Kimi K3

Витягнуті сліди міркувань забезпечують високоякісні навчальні сигнали для дистиляції моделі — практики використання вихідних даних сильнішої моделі для навчання меншої, дешевшої моделі-конкурента . Ця техніка знаходиться в центрі палкої суперечки навколо китайських ШІ-лабораторій:

• Anthropic публічно заявила, що китайські ШІ-лабораторії, включаючи DeepSeek, Moonshot і MiniMax, використали приблизно 24 000 шахрайських акаунтів для генерації понад 16 мільйонів обмінів з Claude, обходячи обмеження доступу .
• Kimi K3, випущений у липні 2026 року компанією Moonshot AI, був названий Фондом Джеймстауна конкретною моделлю, побудованою через дистиляцію, з продуктивністю, яка, як стверджується, можна порівняти з Anthropic Claude Fable 5 і OpenAI GPT-5.6 Sol .
• Раян Грінблатт (Ryan Greenblatt) з Redwood Research опублікував статистичний аналіз, що показує порівняння перехресної ентропії, які свідчать про те, що результати Kimi K3 тісно збігаються з моделями Anthropic Claude .
• Радник Білого дому з науки Майкл Краціос публічно звинуватив Moonshot у створенні Kimi K3 шляхом «прихованої промислової дистиляції» .

Однак докази не є остаточними. Дослідники, зокрема Брейден Хенкок (Laude Institute) та Натан Ламберт (Allen Institute for AI), стверджують, що дистиляція сама по собі не може пояснити всіх можливостей Kimi K3. Широко розповсюджений PDF-файл, який нібито доводив дистиляцію ланцюжка міркувань, піддався критиці за поєднання обмеженого експерименту з необґрунтованими твердженнями .

Ризики безпеки, спричинені вразливістю

Недолік створює кілька конкретних ризиків, окрім крадіжки інтелектуальної власності:

• Витік облікових даних та персональних даних: Дослідники розшифрували 315 320 блоків міркувань, зібраних з публічних репозиторіїв, і відновили 367 артефактів PII та 182 облікові дані (включаючи API-ключі та паролі), які були вбудовані в сліди міркувань .
• Обхід антидистиляційного захисту: Та сама вразливість, яка дозволяє витягувати дані, також долає власні засоби захисту провайдерів від дистиляції .
• Перенесення шкідливої поведінки: Окрема стаття ("Hidden in Thought: Transferable Chain-of-Thought Artifacts Induce Harmful Behavior") виявила, що перенесені сліди міркувань можуть підвищити рівень шкідливих відповідей понад 80% на найбільш вразливих моделях з відкритим кодом .
• Розкриття прихованих підказок: Непрозорі поля міркувань, які розробники агентів вважають безпечними для збереження та публікації, можуть містити приховані системні інструкції та облікові дані .

Як відреагували OpenAI, Anthropic та Google

Усі три компанії були повідомлені дослідниками «Вкрадених думок» до публікації. Згідно зі звітами, OpenAI, Anthropic та Google заблокували крос-модельну атаку на міркування після отримання повідомлення. Конкретні деталі їхніх пом'якшувальних заходів не були повністю розкриті в опублікованих джерелах, але підтверджено, що вразливість існувала в API всіх трьох провайдерів до виправлення . Той факт, що атаку «заблоковано», свідчить про те, що компанії впровадили виправлення на стороні сервера — ймовірно, обмеживши повторне використання зашифрованих блоків міркувань у різних контекстах моделей або облікових записах .

Anthropic вже публічно боролася з дистиляцією в масштабах, повідомляючи про 24 000 шахрайських акаунтів та 16 мільйонів обмінів, використаних китайськими лабораторіями для вилучення результатів Claude .

Основний урок як зі статей REP, так і Stolen Thoughts полягає в тому, що приховування або шифрування слідів міркувань є фундаментально хиткою стратегією безпеки — якщо міркування існують у вагах моделі, їх можна викликати .