De 'Gestolen Gedachten'-aanval: Hoe onderzoekers de verborgen gedachten van AI-modellen blootlegden

De 'Gestolen Gedachten' Replay-aanval — Gepubliceerd op 10-11 augustus 2026 in het paper "Stealing Reasoning Traces from Proprietary LLM APIs" (arXiv:2608.09867), ontdekten onderzoekers Panfilov, Schmotz, Shumailov, Beurer-Kellner, Schaeffer, Prabhu, Geiping en Andriushchenko een kritieke architectuurfout. De versleutelde 'denkblokken' die Anthropic, OpenAI en Google aan API-klanten retourneren, zijn niet correct aan hun bron gebonden. Deze blokken kunnen uit een gesprek worden gehaald en worden 'afgespeeld' in een zwakker, minder beveiligd zustermodel van dezelfde provider, dat vervolgens de verborgen redenering van het topmodel in platte tekst uitprint . De aanval werkt over verschillende sessies, gebruikersaccounts en modellen binnen het ecosysteem van dezelfde provider . De onderzoekers bevestigden dat de techniek werkt op elk groot AI-bedrijf dat ze testten , en de lengte van de teruggevonden redenering komt bijna 1:1 overeen met het aantal verborgen 'denktokens' dat door de API wordt gerapporteerd .

Bewijs voor de Kimi K3-Distillatiecontroverse

De geëxtraheerde redeneersporen vormen hoogwaardige trainingssignalen voor modeldistillatie — de praktijk waarbij de output van een sterker model wordt gebruikt om een kleiner, goedkoper concurrerend model te trainen . Deze techniek staat centraal in een verhitte controverse rond Chinese AI-labs:

• Anthropic heeft publiekelijk verklaard dat Chinese AI-labs, waaronder DeepSeek, Moonshot en MiniMax, ongeveer 24.000 frauduleuze accounts gebruikten om meer dan 16 miljoen interacties met Claude te genereren, waarbij toegangsbeperkingen werden omzeild .
• Kimi K3 , uitgebracht in juli 2026 door Moonshot AI, werd door de Jamestown Foundation genoemd als een specifiek model dat via distillatie is gebouwd, met prestaties die vergelijkbaar zouden zijn met die van Anthropic's Claude Fable 5 en OpenAI's GPT-5.6 Sol .
• Ryan Greenblatt (Redwood Research) publiceerde een statistische analyse met cross-entropie-vergelijkingen die suggereren dat de output van Kimi K3 sterk overeenkomt met die van Anthropic's Claude-modellen .
• Wetenschapsadviseur van het Witte Huis, Michael Kratsios , beschuldigde Moonshot er publiekelijk van Kimi K3 te hebben gebouwd via "covert industriële distillatie" .

Het bewijs is echter niet definitief . Onderzoekers zoals Braden Hancock (Laude Institute) en Nathan Lambert (Allen Institute for AI) beargumenteren dat distillatie alleen niet de volledige mogelijkheden van Kimi K3 kan verklaren. Een veelgedeelde PDF die zogenaamd bewijs leverde voor distillatie van de denkketen, werd bekritiseerd omdat het een beperkt experiment combineerde met ongefundeerde beweringen .

Beveiligingsrisico's door de Kwetsbaarheid

De fout brengt meerdere concrete risico's met zich mee, naast diefstal van intellectueel eigendom:

• Lekkage van inloggegevens en persoonsgegevens : Onderzoekers decodeerden 315.320 denkblokken die uit openbare repositories waren verzameld en vonden 367 PII-artefacten en 182 inloggegevens (waaronder API-sleutels en wachtwoorden) die in de redeneersporen waren ingebed .
• Omzeiling van anti-distillatie : Dezelfde kwetsbaarheid die extractie mogelijk maakt, omzeilt ook de eigen anti-distillatiebescherming van de providers .
• Overdracht van schadelijk gedrag : Een apart paper ("Hidden in Thought: Transferable Chain-of-Thought Artifacts Induce Harmful Behavior") toonde aan dat overgedragen redeneersporen het aantal schadelijke reacties kunnen verhogen tot boven de 80% bij de meest kwetsbare opensource-modellen .
• Blootstelling van verborgen prompts : Ondoorzichtige redeneervelden die agentontwikkelaars als veilig beschouwen om te bewaren en publiceren, kunnen verborgen systeeminstructies en inloggegevens bevatten .

Hoe OpenAI, Anthropic en Google Reageerden

Alle drie de bedrijven werden voorafgaand aan de publicatie door de 'Gestolen Gedachten'-onderzoekers gecontacteerd. Volgens berichtgeving hebben OpenAI, Anthropic en Google de cross-model redeneeraanval geblokkeerd nadat ze op de hoogte waren gesteld. Specifieke details van hun oplossingen werden niet volledig bekendgemaakt in de gepubliceerde bronnen, maar de kwetsbaarheid werd bevestigd te bestaan in de API's van alle drie de providers voordat deze werd verholpen . Het feit dat de aanval 'geblokkeerd' is, suggereert dat de bedrijven server-side fixes hebben doorgevoerd — waarschijnlijk door het hergebruik van versleutelde denkblokken in verschillende modelcontexten of accounts te beperken .

Anthropic was al publiekelijk in de strijd tegen distillatie op grote schaal en rapporteerde de 24.000 frauduleuze accounts en 16 miljoen interacties die Chinese labs gebruikten om Claude-outputs te extraheren .

De kernles uit zowel de REP- als de Gestolen Gedachten-papers is dat het verbergen of versleutelen van redeneersporen een fundamenteel fragiele beveiligingsstrategie is — als de redenering in de modelgewichten bestaat, kan deze worden opgeroepen .