Sikkerhedsbrist afslørede AI-modellers indre tanker – og satte fokus på kinesisk kopiering

I august 2026 offentliggjorde et forskerhold fra University of Tübingen, Max Planck Institute for Intelligent Systems, MATS Research, ELLIS Institute Tübingen og sikkerhedsfirmaet Snyk en artikel, der beskriver et overraskende simpelt angreb på de krypterede tankeprocesser fra frontløbende AI-modeller. Angrebet virkede på tværs af alle tre store udbydere – Anthropic, OpenAI og Google – og krævede ikke noget klassisk 'jailbreak' af en enkelt model .

Forskerne udnyttede en grundlæggende arkitekturmæssig svaghed: AI-virksomhederne sender krypterede 'ræsonneringsblokke' tilbage til klienten i stedet for at gemme dem på serveren. Disse blokke er universelle og kan genbruges på tværs af sessioner, brugere og endda forskellige modeller fra samme udbyder . Forskerne tog simpelthen en krypteret ræsonneringsblok fra en frontløbende model og 'afspillede' den i en svagere søskendemodel, som derefter afkrypterede og udskrev tankeprocessen i klartekst . Denne teknik, som artiklen kalder en 'dekrypterings-jailbreak', er detaljeret beskrevet i forstudiet Stealing Reasoning Traces from Proprietary LLM APIs, indsendt til arXiv den 10. august 2026 .

Sådan virker replay-angrebet

Når en bruger stiller et spørgsmål til en frontløbende model som Claude Opus 4.8 eller GPT-5.6 Sol via en API, udfører modellen en intern trin-for-trin ræsonnering – dens 'tankekæde' – og sender denne ræsonnering tilbage til klienten som en uigennemsigtig blok af krypteret tekst. Ved efterfølgende kald sender klienten denne blok tilbage til API'en, så modellen kan fortsætte sin ræsonnering uden at udbyderen gemmer den mellemliggende tilstand på serveren .

Det, forskerne opdagede, er, at disse krypterede blokke ikke er bundet til en bestemt session, bruger eller model. De deler en enkelt global krypteringsnøgle på tværs af alle sessioner og brugere . Det betyder, at en blok fra en samtale kan genbruges i en anden sammenhæng. Det centrale indblik: Føder man en blok fra en stærkt beskyttet frontløbende model ind i en svagere, mindre justeret søskendemodel fra samme udbyder (f.eks. Claude Haiku), vil den svagere model – som har færre afvisningsbarrierer – afkode og udskrive blokkens indhold ordret .

Det kræver kun to API-kald at udføre angrebet: et for at hente den krypterede blok og et for at føde den til den svagere model. Forskerne demonstrerede, at angrebet kan skaleres op .

Indicier på destillation: Kimi K3's 'abnorme sandsynlighedsmønstre'

Angrebet afslørede ikke kun frontløbermodellernes ræsonnering – det gav også ny dokumentation i den igangværende debat om, hvorvidt det kinesiske AI-selskab Moonshot AI har trænet sin Kimi K3-model ved at 'destillere' (dybest set kopiere) ræsonneringen fra amerikanske modeller.

Efter at have udtrukket ræsonneringsspor fra Claude Opus 4.8 og GPT-5.6 Sol sammenlignede forskerne dem med output fra åbne modeller, herunder Kimi K3. De fandt, at Kimi K3's output udviste det, de beskrev som 'abnorme sandsynlighedsfænomener', der tæt matchede mønstre fundet i Claude- og GPT-ræsonneringssporene .

Beviserne er indicielle, ikke endegyldige. Uafhængige forskere siger, at resultaterne 'giver noget belæg – dog ikke afgørende bevis – for, at visse kinesiske modeller kan være trænet ved at destillere ræsonneringsinformation fra amerikanske modeller' . Yderligere suggestive fund: Da Kimi K3 blev bedt om at identificere sig selv, præsenterede den sig først som 'Claude' af Anthropic, hvilket nærede beskyldningerne .

Kimi K3 er en open-weight-model med 2,8 billioner parametre udgivet af Moonshot AI den 16. juli 2026. Den overgår Claude Opus 4.8 på flere benchmarks, men er ikke en entydig leder. På den uafhængige Artificial Analysis Intelligence Index scorer K3 57 mod Claude Fable 5's 60 og GPT-5.6 Sol's 59. Moonshot har selv været usædvanligt ærlig om, at K3 stadig halter bagefter GPT-5.6 Sol og Claude Fable 5 samlet set .

Tidslinjedebatten

Destillationsbeskyldningen er ikke ny – både Anthropic og OpenAI har tidligere beskyldt kinesiske virksomheder for systematisk at destillere deres modeller. En gennemgang af kinesiske akademiske artikler og patenter viste, at kinesiske militærforskere brugte output fra OpenAI- og Anthropic-modeller til at træne indenlandske AI-systemer til forsvarskapaciteter .

Kimi K3's lancering udløste øjeblikkelig kontrovers. Inden for timer efter udgivelsen den 16. juli beskyldte Anthropic Moonshot for at bygge K3 ved at destillere Claude, og påstanden nåede Det Hvide Hus, hvilket rejste udsigten til sanktioner .

Kritikere af destillationspåstanden peger dog på et tidsproblem. Claude Opus 4.8 blev udgivet kort før Kimi K3's lancering. Uafhængige forskere siger, at tidslinjen gør direkte kopiering 'usandsynlig', fordi der simpelthen ikke var tid nok til at træne en model med 2,8 billioner parametre ved hjælp af destillation fra en model, der først for nylig var blevet udgivet . Moonshot hævder, at K3 er bygget på uafhængig forskning .

Sikkerhedssårbarhed: Følsomme data lækket i fuld offentlighed

Den samme arkitekturmæssige fejl afslørede en praktisk sikkerhedssårbarhed. Fordi frontløbende modeller nogle gange inkorporerer legitimationsoplysninger og personlige data i deres ræsonneringsproces, indeholdt de krypterede ræsonneringsblokke, som udviklere offentliggjorde – i agentsessionslogs for eksempel – følsomme oplysninger, som alle med kendskab til tricket kunne læse.

Ved at scanne omkring 7.000 offentligt delte agentsessionslogs, der blev offentliggjort før august 2026, fandt forskerne 62 aktive API-nøgler, 33 adgangskoder og andre følsomme brugerdata – i alt 704 privatlivsrelaterede elementer – gemt inde i de krypterede ræsonneringsblokke . Enhver udvikler, der offentliggjorde rå agentlogs, kan ubevidst have eksponeret API-nøgler, adgangskoder og personligt identificerbare oplysninger inde i blokke, de troede, ingen kunne læse . Dette inkluderede logs gemt på offentlige GitHub-lagerrepositorier .

Forskerne identificerede fire forskellige misbrugsveje, som sårbarheden muliggjorde: rekonstruktion af skjult ræsonnering, genfinding af hemmeligheder indlejret i agentspor, injektion af instruktioner gennem en uinspicerbar kanal og genafspilning på tværs af sessioner af ikke-udløbne blokke .

Udbydersvar: Serverrettelser efter ansvarlig offentliggørelse

Alle tre virksomheder implementerede rettelser på serversiden, efter at forskerholdet fulgte procedurer for ansvarlig offentliggørelse .

Forskerne offentliggjorde deres resultater til OpenAI, Anthropic, Google, Microsoft og Hugging Face. Efter at udbyderne implementerede ændringer, bekræftede reproducerbarhedstjek, at den primære ekstraktionsteknik ikke længere er mulig mod nuværende API-versioner . Dokumentationen anbefaler nu at fjerne ræsonneringsblokke, før logs deles, eller modeller skiftes midt i en samtale .

Bemærkelsesværdigt nok havde kryptografiforsker Matthew Green separat rapporteret sårbarheden for genafspilning på tværs af sessioner til både OpenAI og Anthropic via deres bug bounty-programmer i maj 2026, men fik afvisende svar, før den akademiske artikel blev offentliggjort .

Rettelserne er aktive fra august 2026, men historiske sessionslogs med afkodede ræsonneringsblokke, der allerede er skrabet fra det offentlige internet, forbliver tilgængelige .

Hvorfor dette er vigtigt

Angrebet 'stjålne tanker' afslører en grundlæggende spænding i designet af moderne AI-API'er. Udbyderne ønsker at overlade ræsonneringstilstanden til klienten for skalerbarhed og lav latenstid, men den kryptografiske binding, der er nødvendig for at holde denne tilstand sikker på tværs af sessioner, brugere og modeller, kræver omhyggeligt design. Den enkelte globale krypteringsnøgle, som Anthropic, OpenAI og Google brugte, var en genvej, der skabte en sikkerheds- og privatsårbarhed, der påvirkede alle brugere og udviklere, der interagerede med disse API'er.

Angrebet lander også midt i en eskalerende konflikt mellem USA og Kina om AI-destillation. Selvom beviserne vedrørende Kimi K3 er indicielle, giver de det hidtil stærkeste tekniske belæg for, at destillation kan finde sted i stor skala, og det giver politiske beslutningstagere og forskere et nyt værktøj til at undersøge AI-modellers oprindelse.