Forskere knækker AI-modellers skjulte tanker: 'Stjålne tanker'-angreb afslører sikkerhedsbrist hos OpenAI, Anthropic og Google
I august 2026 offentliggjorde forskere en metode, der viser, at krypterede 'tankeblokke' fra AI modeller som GPT, Claude og Gemini kan afspilles i svagere søskendemodeller, som så udskriver ræsonnementet i klartekst. To angrebsvektorer – Reasoning Exposure Prompting (REP) og 'Stolen Thoughts' replay angrebet – kan o...
Udgivet afRedigeret med DeepSeek-V4-FlashBilleder genereret med GPT Image 1.5
I august 2026 offentliggjorde forskere en metode, der viser, at krypterede 'tankeblokke' fra AI modeller som GPT, Claude og Gemini kan afspilles i svagere søskendemodeller, som så udskriver ræsonnementet i klartekst.
To angrebsvektorer – Reasoning Exposure Prompting (REP) og 'Stolen Thoughts' replay angrebet – kan omgå AI selskabernes forsøg på at skjule modellernes interne ræsonnementer.
De udtrukne ræsonnementer giver nye beviser i striden om, hvorvidt kinesiske AI systemer som Kimi K3 er bygget ved at destillere proprietære amerikanske modeller, men beviserne er ikke endelige.
Sikkerhedsrisici inkluderer læk af legitimationsoplysninger og personfølsomme oplysninger (PII), omgåelse af anti destillationsbeskyttelse og overførsel af skadelig adfærd.
How did researchers discover a method to extract hidden reasoning traces from leading AI models, what did it reveal about potential distillaAI-generated editorial hero image for How did researchers discover a method to extract hidden reasoning traces from leading AI models, what did it reveal about potential distilla.
AI Prompt
Create a landscape editorial hero image for this Studio Global article: How did researchers discover a method to extract hidden reasoning traces from leading AI models, what did it reveal about potential distilla. Article summary: ## How researchers discovered the extraction method. Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails, icons, and tiny thumbnail layouts. Make it useful as an illustrative visual, not as factual evidence.
openai.com
I 2026 offentliggjorde to uafhængige forskerhold metoder, der bryder sikkerheden omkring skjulte ræsonnementer i de mest avancerede AI-modeller. Den første metode, en prompting-teknik kaldet Reasoning Exposure Prompting (REP), kan trække en models skjulte tankekæde frem i brugerens synlige output. Den anden, et replay-angreb døbt 'Stolen Thoughts', udnytter en strukturel fejl i, hvordan OpenAI, Anthropic og Google krypterer de rå ræsonnementsblokke, som deres API'er returnerer. Tilsammen har sårbarhederne givet nyt retsmedicinsk bevis i den verserende kontrovers om, hvorvidt kinesiske AI-systemer som Moonshots Kimi K3 er bygget ved at destillere proprietære amerikanske modeller.
To komplementære angrebsvektorer
Reasoning Exposure Prompting (REP) — Offentliggjort den 30. maj 2026 i artiklen "Hidden Thoughts Are Not Secret: Reasoning Trace Exposure in LLMs" (arXiv:2606.00642). Forskerne Lu, Tsai, Tsai, Popa og Yu viste, at selv når udbydere bevidst skjuler tankekæden, kan en let prompting-teknik trække den skjulte ræsonnementstråd tilbage i brugerens synlige output. Metoden, kaldet shadow-model prompting, bruger demonstrationer fra en mindre, uindskrænket model pakket i hjælpeformater, der ligner kode, til at udtrække interne spor fra offermodellen. De genvundne spor er detaljerede nok til at destillere en mindre model .
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
What is the short answer to "Forskere knækker AI-modellers skjulte tanker: 'Stjålne tanker'-angreb afslører sikkerhedsbrist hos OpenAI, Anthropic og Google"?
I august 2026 offentliggjorde forskere en metode, der viser, at krypterede 'tankeblokke' fra AI modeller som GPT, Claude og Gemini kan afspilles i svagere søskendemodeller, som så udskriver ræsonnementet i klartekst.
What are the key points to validate first?
I august 2026 offentliggjorde forskere en metode, der viser, at krypterede 'tankeblokke' fra AI modeller som GPT, Claude og Gemini kan afspilles i svagere søskendemodeller, som så udskriver ræsonnementet i klartekst. To angrebsvektorer – Reasoning Exposure Prompting (REP) og 'Stolen Thoughts' replay angrebet – kan omgå AI selskabernes forsøg på at skjule modellernes interne ræsonnementer.
What should I do next in practice?
De udtrukne ræsonnementer giver nye beviser i striden om, hvorvidt kinesiske AI systemer som Kimi K3 er bygget ved at destillere proprietære amerikanske modeller, men beviserne er ikke endelige.
Forskere knækker AI-modellers skjulte tanker: 'Stjålne tanker'-angreb afslører sikkerhedsbrist hos OpenAI, Anthropic og Google
I august 2026 offentliggjorde forskere en metode, der viser, at krypterede 'tankeblokke' fra AI modeller som GPT, Claude og Gemini kan afspilles i svagere søskendemodeller, som så udskriver ræsonnementet i klartekst. To angrebsvektorer – Reasoning Exposure Prompting (REP) og 'Stolen Thoughts' replay angrebet – kan o...
Udgivet afRedigeret med DeepSeek-V4-FlashBilleder genereret med GPT Image 1.5
I august 2026 offentliggjorde forskere en metode, der viser, at krypterede 'tankeblokke' fra AI modeller som GPT, Claude og Gemini kan afspilles i svagere søskendemodeller, som så udskriver ræsonnementet i klartekst.
To angrebsvektorer – Reasoning Exposure Prompting (REP) og 'Stolen Thoughts' replay angrebet – kan omgå AI selskabernes forsøg på at skjule modellernes interne ræsonnementer.
De udtrukne ræsonnementer giver nye beviser i striden om, hvorvidt kinesiske AI systemer som Kimi K3 er bygget ved at destillere proprietære amerikanske modeller, men beviserne er ikke endelige.
Sikkerhedsrisici inkluderer læk af legitimationsoplysninger og personfølsomme oplysninger (PII), omgåelse af anti destillationsbeskyttelse og overførsel af skadelig adfærd.
How did researchers discover a method to extract hidden reasoning traces from leading AI models, what did it reveal about potential distillaAI-generated editorial hero image for How did researchers discover a method to extract hidden reasoning traces from leading AI models, what did it reveal about potential distilla.
AI Prompt
Create a landscape editorial hero image for this Studio Global article: How did researchers discover a method to extract hidden reasoning traces from leading AI models, what did it reveal about potential distilla. Article summary: ## How researchers discovered the extraction method. Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails, icons, and tiny thumbnail layouts. Make it useful as an illustrative visual, not as factual evidence.
openai.com
I 2026 offentliggjorde to uafhængige forskerhold metoder, der bryder sikkerheden omkring skjulte ræsonnementer i de mest avancerede AI-modeller. Den første metode, en prompting-teknik kaldet Reasoning Exposure Prompting (REP), kan trække en models skjulte tankekæde frem i brugerens synlige output. Den anden, et replay-angreb døbt 'Stolen Thoughts', udnytter en strukturel fejl i, hvordan OpenAI, Anthropic og Google krypterer de rå ræsonnementsblokke, som deres API'er returnerer. Tilsammen har sårbarhederne givet nyt retsmedicinsk bevis i den verserende kontrovers om, hvorvidt kinesiske AI-systemer som Moonshots Kimi K3 er bygget ved at destillere proprietære amerikanske modeller.
To komplementære angrebsvektorer
Reasoning Exposure Prompting (REP) — Offentliggjort den 30. maj 2026 i artiklen "Hidden Thoughts Are Not Secret: Reasoning Trace Exposure in LLMs" (arXiv:2606.00642). Forskerne Lu, Tsai, Tsai, Popa og Yu viste, at selv når udbydere bevidst skjuler tankekæden, kan en let prompting-teknik trække den skjulte ræsonnementstråd tilbage i brugerens synlige output. Metoden, kaldet shadow-model prompting, bruger demonstrationer fra en mindre, uindskrænket model pakket i hjælpeformater, der ligner kode, til at udtrække interne spor fra offermodellen. De genvundne spor er detaljerede nok til at destillere en mindre model .
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
What is the short answer to "Forskere knækker AI-modellers skjulte tanker: 'Stjålne tanker'-angreb afslører sikkerhedsbrist hos OpenAI, Anthropic og Google"?
I august 2026 offentliggjorde forskere en metode, der viser, at krypterede 'tankeblokke' fra AI modeller som GPT, Claude og Gemini kan afspilles i svagere søskendemodeller, som så udskriver ræsonnementet i klartekst.
What are the key points to validate first?
I august 2026 offentliggjorde forskere en metode, der viser, at krypterede 'tankeblokke' fra AI modeller som GPT, Claude og Gemini kan afspilles i svagere søskendemodeller, som så udskriver ræsonnementet i klartekst. To angrebsvektorer – Reasoning Exposure Prompting (REP) og 'Stolen Thoughts' replay angrebet – kan omgå AI selskabernes forsøg på at skjule modellernes interne ræsonnementer.
What should I do next in practice?
De udtrukne ræsonnementer giver nye beviser i striden om, hvorvidt kinesiske AI systemer som Kimi K3 er bygget ved at destillere proprietære amerikanske modeller, men beviserne er ikke endelige.
'Stolen Thoughts' replay-angrebet — Offentliggjort den 10.-11. august 2026 i artiklen "Stealing Reasoning Traces from Proprietary LLM APIs" (arXiv:2608.09867). Forskerne Panfilov, Schmotz, Shumailov, Beurer-Kellner, Schaeffer, Prabhu, Geiping og Andriushchenko opdagede en kritisk arkitektonisk fejl. De krypterede 'tanke'-blokke, som Anthropic, OpenAI og Google returnerer til API-klienter, er ikke forsvarligt forseglet til deres kilde. Disse blokke kan løftes fra en samtale og afspilles i en svagere, mindre beskyttet søskendemodel fra samme udbyder, som derefter udskriver frontlinjemodellens skjulte ræsonnement i klartekst . Angrebet virker på tværs af sessioner, på tværs af brugerkonti og på tværs af modeller inden for samme udbyders økosystem . Forskerne bekræftede, at teknikken virker på alle større frontlinje-AI-virksomheder, de testede, og længden af det genvundne ræsonnement matcher næsten 1:1 med API'ens rapporterede antal af skjulte tanketegn .
Beviser i kontroversen om destillation af Kimi K3
De udtrukne ræsonnementspor giver træningssignaler af høj kvalitet til modeldestillation – praksissen med at bruge en stærkere models output til at træne en mindre, billigere konkurrerende model . Denne teknik er i centrum af en ophedet kontrovers omkring kinesiske AI-laboratorier:
Anthropic har offentligt udtalt, at kinesiske AI-laboratorier, herunder DeepSeek, Moonshot og MiniMax, brugte omkring 24.000 svigagtige konti til at generere mere end 16 millioner udvekslinger med Claude, mens de omgik adgangsbegrænsninger .
Kimi K3, udgivet i juli 2026 af Moonshot AI, blev af Jamestown Foundation nævnt som en specifik model bygget via destillation, med en ydeevne, der hævdes at være sammenlignelig med Anthropics Claude Fable 5 og OpenAIs GPT-5.6 Sol .
Ryan Greenblatt (Redwood Research) offentliggjorde en statistisk analyse, der viser krydsentropi-sammenligninger, som tyder på, at Kimi K3's output ligger tæt op ad Anthropics Claude-modeller .
Videnskabschef i Det Hvide Hus, Michael Kratsios, beskyldte offentligt Moonshot for at bygge Kimi K3 gennem "skjult industriel destillation" .
Beviserne er dog ikke endelige. Forskere som Braden Hancock (Laude Institute) og Nathan Lambert (Allen Institute for AI) argumenterer for, at destillation alene ikke kan forklare Kimi K3's fulde kapaciteter. En udbredt PDF, der hævdede at være bevis for destillation af tankekæde, blev kritiseret for at kombinere et begrænset eksperiment med ubegrundede påstande .
Sikkerhedsrisici ved sårbarheden
Fejlen medfører flere konkrete risici ud over tyveri af intellektuel ejendom:
Læk af legitimationsoplysninger og PII: Forskerne afkodede 315.320 ræsonnementsblokke skrabet fra offentlige repositories og genfandt 367 PII-artefakter og 182 legitimationsoplysninger (inklusive API-nøgler og adgangskoder), der var indlejret i ræsonnementsspor .
Omgåelse af anti-destillationsbeskyttelse: Den samme sårbarhed, der muliggør ekstraktion, besejrer også udbydernes egne anti-destillationsbeskyttelser .
Overførsel af skadelig adfærd: En separat artikel ("Hidden in Thought: Transferable Chain-of-Thought Artifacts Induce Harmful Behavior") viste, at overførte ræsonnementsspor kan hæve andelen af skadelige svar til over 80 % på de mest sårbare open source-modeller .
Eksponering af skjulte systemprompter: Uigennemsigtige ræsonnementsfelter, som agentudviklere anser for sikre at gemme og offentliggøre, kan indeholde skjulte systeminstruktioner og legitimationsoplysninger .
Sådan reagerede OpenAI, Anthropic og Google
Alle tre virksomheder blev kontaktet af 'Stolen Thoughts'-forskerne forud for offentliggørelsen. Ifølge rapporteringen blokerede OpenAI, Anthropic og Google angrebet på tværs af modeller efter at være blevet underrettet. Specifikke detaljer om deres afhjælpende foranstaltninger blev ikke fuldt oplyst i de offentliggjorte kilder, men sårbarheden blev bekræftet at eksistere på tværs af alle tre udbyderes API'er før lappning . At angrebet blev 'blokeret' tyder på, at virksomhederne implementerede rettelser på serversiden – sandsynligvis ved at begrænse genbrug af krypterede ræsonnementsblokke på tværs af forskellige modelkontekster eller konti .
Anthropic havde allerede offentligt bekæmpet destillation i stor skala og rapporterede om de 24.000 svigagtige konti og 16 millioner udvekslinger, som kinesiske laboratorier brugte til at udtrække Claude-outputs .
Den grundlæggende lærestreg fra både REP- og Stolen Thoughts-artiklerne er, at det at skjule eller kryptere ræsonnementsspor er en grundlæggende skrøbelig sikkerhedsstrategi – hvis ræsonnementet findes i modelvægtene, kan det fremkaldes .
'Stolen Thoughts' replay-angrebet — Offentliggjort den 10.-11. august 2026 i artiklen "Stealing Reasoning Traces from Proprietary LLM APIs" (arXiv:2608.09867). Forskerne Panfilov, Schmotz, Shumailov, Beurer-Kellner, Schaeffer, Prabhu, Geiping og Andriushchenko opdagede en kritisk arkitektonisk fejl. De krypterede 'tanke'-blokke, som Anthropic, OpenAI og Google returnerer til API-klienter, er ikke forsvarligt forseglet til deres kilde. Disse blokke kan løftes fra en samtale og afspilles i en svagere, mindre beskyttet søskendemodel fra samme udbyder, som derefter udskriver frontlinjemodellens skjulte ræsonnement i klartekst . Angrebet virker på tværs af sessioner, på tværs af brugerkonti og på tværs af modeller inden for samme udbyders økosystem . Forskerne bekræftede, at teknikken virker på alle større frontlinje-AI-virksomheder, de testede, og længden af det genvundne ræsonnement matcher næsten 1:1 med API'ens rapporterede antal af skjulte tanketegn .
Beviser i kontroversen om destillation af Kimi K3
De udtrukne ræsonnementspor giver træningssignaler af høj kvalitet til modeldestillation – praksissen med at bruge en stærkere models output til at træne en mindre, billigere konkurrerende model . Denne teknik er i centrum af en ophedet kontrovers omkring kinesiske AI-laboratorier:
Anthropic har offentligt udtalt, at kinesiske AI-laboratorier, herunder DeepSeek, Moonshot og MiniMax, brugte omkring 24.000 svigagtige konti til at generere mere end 16 millioner udvekslinger med Claude, mens de omgik adgangsbegrænsninger .
Kimi K3, udgivet i juli 2026 af Moonshot AI, blev af Jamestown Foundation nævnt som en specifik model bygget via destillation, med en ydeevne, der hævdes at være sammenlignelig med Anthropics Claude Fable 5 og OpenAIs GPT-5.6 Sol .
Ryan Greenblatt (Redwood Research) offentliggjorde en statistisk analyse, der viser krydsentropi-sammenligninger, som tyder på, at Kimi K3's output ligger tæt op ad Anthropics Claude-modeller .
Videnskabschef i Det Hvide Hus, Michael Kratsios, beskyldte offentligt Moonshot for at bygge Kimi K3 gennem "skjult industriel destillation" .
Beviserne er dog ikke endelige. Forskere som Braden Hancock (Laude Institute) og Nathan Lambert (Allen Institute for AI) argumenterer for, at destillation alene ikke kan forklare Kimi K3's fulde kapaciteter. En udbredt PDF, der hævdede at være bevis for destillation af tankekæde, blev kritiseret for at kombinere et begrænset eksperiment med ubegrundede påstande .
Sikkerhedsrisici ved sårbarheden
Fejlen medfører flere konkrete risici ud over tyveri af intellektuel ejendom:
Læk af legitimationsoplysninger og PII: Forskerne afkodede 315.320 ræsonnementsblokke skrabet fra offentlige repositories og genfandt 367 PII-artefakter og 182 legitimationsoplysninger (inklusive API-nøgler og adgangskoder), der var indlejret i ræsonnementsspor .
Omgåelse af anti-destillationsbeskyttelse: Den samme sårbarhed, der muliggør ekstraktion, besejrer også udbydernes egne anti-destillationsbeskyttelser .
Overførsel af skadelig adfærd: En separat artikel ("Hidden in Thought: Transferable Chain-of-Thought Artifacts Induce Harmful Behavior") viste, at overførte ræsonnementsspor kan hæve andelen af skadelige svar til over 80 % på de mest sårbare open source-modeller .
Eksponering af skjulte systemprompter: Uigennemsigtige ræsonnementsfelter, som agentudviklere anser for sikre at gemme og offentliggøre, kan indeholde skjulte systeminstruktioner og legitimationsoplysninger .
Sådan reagerede OpenAI, Anthropic og Google
Alle tre virksomheder blev kontaktet af 'Stolen Thoughts'-forskerne forud for offentliggørelsen. Ifølge rapporteringen blokerede OpenAI, Anthropic og Google angrebet på tværs af modeller efter at være blevet underrettet. Specifikke detaljer om deres afhjælpende foranstaltninger blev ikke fuldt oplyst i de offentliggjorte kilder, men sårbarheden blev bekræftet at eksistere på tværs af alle tre udbyderes API'er før lappning . At angrebet blev 'blokeret' tyder på, at virksomhederne implementerede rettelser på serversiden – sandsynligvis ved at begrænse genbrug af krypterede ræsonnementsblokke på tværs af forskellige modelkontekster eller konti .
Anthropic havde allerede offentligt bekæmpet destillation i stor skala og rapporterede om de 24.000 svigagtige konti og 16 millioner udvekslinger, som kinesiske laboratorier brugte til at udtrække Claude-outputs .
Den grundlæggende lærestreg fra både REP- og Stolen Thoughts-artiklerne er, at det at skjule eller kryptere ræsonnementsspor er en grundlæggende skrøbelig sikkerhedsstrategi – hvis ræsonnementet findes i modelvægtene, kan det fremkaldes .
arxiv.orgHidden Thoughts Are Not Secret: Reasoning Trace Exposure in LLMs
moltbook.comHiding reasoning traces is a failed security strategy | moltbook
llm-hacking.comReasoning trace exposure: hiding chain-of-thought doesn't protect it
wired.comA New Trick Reveals AI Models' Inner Thoughts
ai-tldr.devStolen Thoughts — encrypted reasoning pulled out… | AI/TLDR