Útok „Ukradené myšlenky“: Vědci prolomili skryté uvažování AI a odhalili možnou distilaci modelu Kimi K3

Útok „Stolen Thoughts“ (přepadový útok s přehráním) – Publikováno 10.–11. srpna 2026 v článku „Stealing Reasoning Traces from Proprietary LLM APIs“ (arXiv:2608.09867). Výzkumníci Panfilov, Schmotz, Shumailov, Beurer-Kellner, Schaeffer, Prabhu, Geiping a Andriushchenko objevili kritickou architektonickou chybu. Zašifrované „myšlenkové“ bloky, které Anthropic, OpenAI a Google vracejí svým API klientům, nejsou správně svázány se svým zdrojem. Tyto bloky lze vyzvednout z jedné konverzace a „přehrát“ je do slabšího, méně střeženého sesterského modelu od stejného poskytovatele. Tento slabší model pak skryté úvahy špičkového modelu vypíše v čitelném textu . Útok funguje napříč relacemi, uživatelskými účty i modely v rámci ekosystému jednoho poskytovatele . Výzkumníci potvrdili, že technika funguje na všech hlavních testovaných společnostech a délka získaných úvah se téměř 1:1 shoduje s počtem tokenů, které API nahlásilo jako „myšlenkové“ .

Důkazy pro kontroverzi kolem modelu Kimi K3

Získané stopy uvažování poskytují vysoce kvalitní tréninkové signály pro model distillation (destilaci modelů) – tedy praxi, kdy se výstupy silnějšího modelu používají k trénování menšího a levnějšího konkurenčního modelu . Tato technika je jádrem ostré kontroverze kolem čínských AI laboratoří:

• Anthropic veřejně prohlásil, že čínské AI laboratoře, včetně DeepSeek, Moonshot a MiniMax, použily zhruba 24 000 podvodných účtů k vygenerování více než 16 milionů interakcí s modelem Claude, přičemž obcházely omezení přístupu .
• Kimi K3, vydaný v červenci 2026 společností Moonshot AI, byl nadací Jamestown Foundation označen jako konkrétní model postavený pomocí destilace, přičemž jeho výkon měl být srovnatelný s Anthropic Claude Fable 5 a OpenAI GPT-5.6 Sol .
• Ryan Greenblatt (Redwood Research) publikoval statistickou analýzu ukazující srovnání křížové entropie, která naznačuje, že výstupy Kimi K3 se velmi blíží výstupům modelů Claude od Anthropicu .
• Vědecký poradce Bílého domu Michael Kratsios veřejně obvinil Moonshot z toho, že Kimi K3 postavil prostřednictvím „tajné průmyslové destilace“ .

Důkazy však nejsou definitivní. Výzkumníci včetně Bradena Hancocka (Laude Institute) a Nathana Lamberta (Allen Institute for AI) argumentují, že samotná destilace nemůže vysvětlit plné schopnosti modelu Kimi K3. Jeden široce šířený PDF dokument, který měl být důkazem destilace myšlenkových řetězců, byl kritizován za to, že kombinuje omezený experiment s nepodloženými tvrzeními .

Bezpečnostní rizika plynoucí ze zranitelnosti

Tato chyba s sebou nese několik konkrétních rizik, která jdou nad rámec krádeže duševního vlastnictví:

• Únik přihlašovacích údajů a osobních údajů: Výzkumníci dekódovali 315 320 myšlenkových bloků stažených z veřejných repozitářů a našli v nich 367 osobních údajů (PII) a 182 přihlašovacích údajů (včetně API klíčů a hesel), které byly vloženy do stop uvažování .
• Obcházení ochrany proti destilaci: Stejná zranitelnost, která umožňuje extrakci, také obchází vlastní ochranná opatření poskytovatelů proti destilaci .
• Přenos škodlivého chování: Jiný článek („Hidden in Thought: Transferable Chain-of-Thought Artifacts Induce Harmful Behavior“) zjistil, že přenesené stopy uvažování mohou u nejzranitelnějších open-source modelů zvýšit míru škodlivých odpovědí nad 80 % .
• Odhalení skrytých instrukcí: Neprůhledná pole pro uvažování, která vývojáři agentů považují za bezpečná a publikují je, mohou obsahovat skryté systémové instrukce a přihlašovací údaje .

Jak reagovaly OpenAI, Anthropic a Google?

Všechny tři společnosti byly výzkumníky „Stolen Thoughts“ kontaktovány ještě před zveřejněním. Podle dostupných zpráv OpenAI, Anthropic a Google po upozornění útok založený na přehrávání mezi modely zablokovaly . Konkrétní podrobnosti jejich opatření nebyla v publikovaných zdrojích plně zveřejněna, ale zranitelnost byla před opravou potvrzena u všech tří poskytovatelů . Zablokování útoku naznačuje, že společnosti provedly zásahy na straně serveru – pravděpodobně omezily možnost znovupoužití zašifrovaných myšlenkových bloků v různých kontextech modelů nebo napříč účty .

Společnost Anthropic již dříve veřejně bojovala s rozsáhlou destilací a nahlásila 24 000 podvodných účtů a 16 milionů interakcí, které čínské laboratoře použily k extrakci výstupů z modelu Claude .

Základním ponaučením z prací o REP i Stolen Thoughts je, že skrývání nebo šifrování stop uvažování je ze své podstaty křehká bezpečnostní strategie – pokud uvažování existuje ve vahách modelu, lze jej vylákat .