Forskere knækker AI-modellers skjulte tanker: 'Stjålne tanker'-angreb afslører sikkerhedsbrist hos OpenAI, Anthropic og Google

'Stolen Thoughts' replay-angrebet — Offentliggjort den 10.-11. august 2026 i artiklen "Stealing Reasoning Traces from Proprietary LLM APIs" (arXiv:2608.09867). Forskerne Panfilov, Schmotz, Shumailov, Beurer-Kellner, Schaeffer, Prabhu, Geiping og Andriushchenko opdagede en kritisk arkitektonisk fejl. De krypterede 'tanke'-blokke, som Anthropic, OpenAI og Google returnerer til API-klienter, er ikke forsvarligt forseglet til deres kilde. Disse blokke kan løftes fra en samtale og afspilles i en svagere, mindre beskyttet søskendemodel fra samme udbyder, som derefter udskriver frontlinjemodellens skjulte ræsonnement i klartekst . Angrebet virker på tværs af sessioner, på tværs af brugerkonti og på tværs af modeller inden for samme udbyders økosystem . Forskerne bekræftede, at teknikken virker på alle større frontlinje-AI-virksomheder, de testede, og længden af det genvundne ræsonnement matcher næsten 1:1 med API'ens rapporterede antal af skjulte tanketegn .

Beviser i kontroversen om destillation af Kimi K3

De udtrukne ræsonnementspor giver træningssignaler af høj kvalitet til modeldestillation – praksissen med at bruge en stærkere models output til at træne en mindre, billigere konkurrerende model . Denne teknik er i centrum af en ophedet kontrovers omkring kinesiske AI-laboratorier:

• Anthropic har offentligt udtalt, at kinesiske AI-laboratorier, herunder DeepSeek, Moonshot og MiniMax, brugte omkring 24.000 svigagtige konti til at generere mere end 16 millioner udvekslinger med Claude, mens de omgik adgangsbegrænsninger .
• Kimi K3, udgivet i juli 2026 af Moonshot AI, blev af Jamestown Foundation nævnt som en specifik model bygget via destillation, med en ydeevne, der hævdes at være sammenlignelig med Anthropics Claude Fable 5 og OpenAIs GPT-5.6 Sol .
• Ryan Greenblatt (Redwood Research) offentliggjorde en statistisk analyse, der viser krydsentropi-sammenligninger, som tyder på, at Kimi K3's output ligger tæt op ad Anthropics Claude-modeller .
• Videnskabschef i Det Hvide Hus, Michael Kratsios, beskyldte offentligt Moonshot for at bygge Kimi K3 gennem "skjult industriel destillation" .

Beviserne er dog ikke endelige. Forskere som Braden Hancock (Laude Institute) og Nathan Lambert (Allen Institute for AI) argumenterer for, at destillation alene ikke kan forklare Kimi K3's fulde kapaciteter. En udbredt PDF, der hævdede at være bevis for destillation af tankekæde, blev kritiseret for at kombinere et begrænset eksperiment med ubegrundede påstande .

Sikkerhedsrisici ved sårbarheden

Fejlen medfører flere konkrete risici ud over tyveri af intellektuel ejendom:

• Læk af legitimationsoplysninger og PII: Forskerne afkodede 315.320 ræsonnementsblokke skrabet fra offentlige repositories og genfandt 367 PII-artefakter og 182 legitimationsoplysninger (inklusive API-nøgler og adgangskoder), der var indlejret i ræsonnementsspor .
• Omgåelse af anti-destillationsbeskyttelse: Den samme sårbarhed, der muliggør ekstraktion, besejrer også udbydernes egne anti-destillationsbeskyttelser .
• Overførsel af skadelig adfærd: En separat artikel ("Hidden in Thought: Transferable Chain-of-Thought Artifacts Induce Harmful Behavior") viste, at overførte ræsonnementsspor kan hæve andelen af skadelige svar til over 80 % på de mest sårbare open source-modeller .
• Eksponering af skjulte systemprompter: Uigennemsigtige ræsonnementsfelter, som agentudviklere anser for sikre at gemme og offentliggøre, kan indeholde skjulte systeminstruktioner og legitimationsoplysninger .

Sådan reagerede OpenAI, Anthropic og Google

Alle tre virksomheder blev kontaktet af 'Stolen Thoughts'-forskerne forud for offentliggørelsen. Ifølge rapporteringen blokerede OpenAI, Anthropic og Google angrebet på tværs af modeller efter at være blevet underrettet. Specifikke detaljer om deres afhjælpende foranstaltninger blev ikke fuldt oplyst i de offentliggjorte kilder, men sårbarheden blev bekræftet at eksistere på tværs af alle tre udbyderes API'er før lappning . At angrebet blev 'blokeret' tyder på, at virksomhederne implementerede rettelser på serversiden – sandsynligvis ved at begrænse genbrug af krypterede ræsonnementsblokke på tværs af forskellige modelkontekster eller konti .

Anthropic havde allerede offentligt bekæmpet destillation i stor skala og rapporterede om de 24.000 svigagtige konti og 16 millioner udvekslinger, som kinesiske laboratorier brugte til at udtrække Claude-outputs .

Den grundlæggende lærestreg fra både REP- og Stolen Thoughts-artiklerne er, at det at skjule eller kryptere ræsonnementsspor er en grundlæggende skrøbelig sikkerhedsstrategi – hvis ræsonnementet findes i modelvægtene, kan det fremkaldes .