Säkerhetshål i toppmodern AI avslöjar dolda resonemang – och väcker misstankar om kinesisk teknikstöld

”Stolen Thoughts” – Replay-attacken – Publicerad den 10–11 augusti 2026 i artikeln ”Stealing Reasoning Traces from Proprietary LLM APIs” (arXiv:2608.09867). Forskarna Panfilov, Schmotz, Shumailov, Beurer-Kellner, Schaeffer, Prabhu, Geiping och Andriushchenko upptäckte en kritisk arkitektonisk svaghet. De krypterade ”tanke”-block som Anthropic, OpenAI och Google returnerar till API-klienter är inte ordentligt förseglade till sin källa. Dessa block kan lyftas ur en konversation och spelas upp i en svagare, mindre skyddad syskonmodell från samma leverantör, som sedan skriver ut frontmodellens dolda resonemang i klartext . Attacken fungerar över sessioner, över användarkonton och över modeller inom samma leverantörs ekosystem . Forskarna bekräftade att tekniken fungerar på varje större frontlinje-AI-företag de testade, och längden på de återvunna resonemangen matchar nästan 1:1 det antal dolda tanke-token som API:et rapporterar .

Bevis i destilleringskontroversen kring Kimi K3

De extraherade resonemangsspåren utgör högkvalitativa träningssignaler för modelldestillering – metoden att använda en starkare modells utdata för att träna en mindre, billigare konkurrentmodell . Denna teknik står i centrum för en het kontrovers kring kinesiska AI-labb:

• Anthropic har offentligt deklarerat att kinesiska AI-labb, inklusive DeepSeek, Moonshot och MiniMax, använde ungefär 24 000 bedrägliga konton för att generera över 16 miljoner konversationer med Claude, och därmed kringgick de åtkomstbegränsningar som fanns .
• Kimi K3, som släpptes i juli 2026 av Moonshot AI, pekades ut av Jamestown Foundation som en specifik modell byggd genom destillering, med prestanda som påstås vara jämförbar med Anthropics Claude Fable 5 och OpenAIs GPT-5.6 Sol .
• Ryan Greenblatt (Redwood Research) publicerade en statistisk analys med korsentropijämförelser som tyder på att Kimi K3:s utdata ligger mycket nära Anthropics Claude-modeller .
• Vita husets vetenskapsrådgivare Michael Kratsios anklagade offentligt Moonshot för att ha byggt Kimi K3 genom ”hemlig industriell destillering” .

Bevisen är dock inte definitiva. Forskare som Braden Hancock (Laude Institute) och Nathan Lambert (Allen Institute for AI) argumenterar att destillering ensamt inte kan förklara Kimi K3:s fulla kapacitet. En vida spridd PDF som påstod sig bevisa destillering av chain-of-thought kritiserades för att kombinera ett begränsat experiment med ogrundade påståenden .

Säkerhetsrisker med sårbarheten

Felet medför flera konkreta risker utöver stöld av immateriella rättigheter:

• Läckage av inloggningsuppgifter och personuppgifter: Forskarna avkodade 315 320 resonemangsblock som skrapats från publika arkiv och återfann 367 personuppgifter och 182 inloggningsuppgifter (inklusive API-nycklar och lösenord) som hade varit inbäddade i resonemangsspåren .
• Kringgående av destilleringsskydd: Samma sårbarhet som möjliggör extraktion besegrar också leverantörernas egna destilleringsskydd .
• Överföring av skadligt beteende: En separat artikel (”Hidden in Thought: Transferable Chain-of-Thought Artifacts Induce Harmful Behavior”) fann att överförda resonemangsspår kan höja andelen skadliga svar till över 80 % på de mest sårbara öppen källkods-modellerna .
• Exponering av dolda instruktioner: Ogenomskinliga resonemangsfält som agentutvecklare behandlar som säkra att spara och publicera kan innehålla dolda systeminstruktioner och inloggningsuppgifter .

Så svarade OpenAI, Anthropic och Google

Alla tre företagen kontaktades av ”Stolen Thoughts”-forskarna inför publiceringen. Enligt rapporteringen blockerade OpenAI, Anthropic och Google attacken som utnyttjar korsmodellsresonemang efter att de informerats. Specifika detaljer om deras åtgärder avslöjades inte fullt ut i publicerade källor, men sårbarheten bekräftades finnas i alla tre leverantörernas API:er innan den åtgärdades . Att attacken ”blockerades” tyder på att företagen implementerade åtgärder på serversidan – troligen för att begränsa återanvändningen av krypterade resonemangsblock i olika modellkontexter eller konton .

Anthropic hade redan tidigare offentligen bekämpat destillering i stor skala och rapporterat om de 24 000 bedrägliga kontona och de 16 miljoner konversationerna som kinesiska labb använt för att extrahera Claude-utdata .

Kärnlärdomen från både REP- och Stolen Thoughts-artiklarna är att dölja eller kryptera resonemangsspår är en fundamentalt bräcklig säkerhetsstrategi – om resonemanget finns i modellens vikter kan det framkallas .