„Gestohlene Gedanken“: Neue Angriffsmethode entschlüsselt KI-Denkprozesse und liefert Indizien gegen chinesisches Modell Kimi K3

Im August 2026 veröffentlichte ein Forscherteam der Universität Tübingen, des Max-Planck-Instituts für Intelligente Systeme, von MATS Research, dem ELLIS Institut Tübingen und der Sicherheitsfirma Snyk eine Studie, die einen verblüffend einfachen Angriff auf die verschlüsselten Denkprozesse („Reasoning Traces“) von KI-Modellen beschreibt. Der Angriff funktionierte bei allen drei großen Anbietern – Anthropic, OpenAI und Google – ohne dass ein einziges Modell „gejailbreakt“ werden musste .

Wie der Replay-Angriff funktioniert

Die Forscher nutzten eine grundlegende Design-Entscheidung der Unternehmen aus: Diese geben verschlüsselte „Reasoning-Blöcke“ an den API-Client zurück, anstatt sie serverseitig zu speichern. Diese Blöcke sind zwischen verschiedenen Sitzungen, Nutzern und sogar unterschiedlichen Modellen desselben Anbieters austauschbar . Das Team nahm einfach einen verschlüsselten Reasoning-Block eines leistungsstarken Modells und spielte ihn in ein schwächeres Geschwistermodell ein. Dieses Modell – das weniger strenge Sicherheitsvorkehrungen besitzt – dekodierte den Block und gab den Klartext aus .

Die Wissenschaftler bezeichnen diese Methode als „Entschlüsselungs-Jailbreak“. Für den Angriff genügen zwei API-Aufrufe: einer, um den verschlüsselten Block zu erfassen, und einer, um ihn in das schwächere Modell einzuspeisen .

Indizien für Distillation: Kimi K3s „abnormale Wahrscheinlichkeiten“

Die extrahierten Denkprozesse lieferten auch neue Belege in der Debatte darüber, ob das chinesische KI-Unternehmen Moonshot AI sein Modell Kimi K3 durch „Distillation“ (im Wesentlichen das Kopieren) der Denkprozesse US-amerikanischer Modelle trainierte.

Nach der Extraktion der Reasoning-Traces von Claude Opus 4.8 und GPT-5.6 Sol verglichen die Forscher diese mit den Ausgaben von Open-Weight-Modellen, darunter Kimi K3. Sie stellten fest, dass Kimi K3s Ausgaben „abnormale Wahrscheinlichkeitsphänomene“ aufwiesen, die stark mit den Mustern in den Claude- und GPT-Denkspuren übereinstimmten .

Die Beweislage ist jedoch nicht endgültig. Unabhängige Forscher betonen, dass die Ergebnisse „einige Indizien – aber keinen schlüssigen Beweis – dafür liefern, dass bestimmte chinesische Modelle durch Distillation von US-Modellen trainiert worden sein könnten“ . Ein weiteres auffälliges Detail: Als man Kimi K3 aufforderte, sich selbst zu identifizieren, gab es sich zunächst als „Claude“ von Anthropic aus – ein Umstand, der die Anschuldigungen weiter anheizte .

Kimi K3 ist ein Open-Weight-Modell mit 2,8 Billionen Parametern, das Moonshot AI am 16. Juli 2026 veröffentlichte. Es übertrifft Claude Opus 4.8 in einigen Benchmarks, liegt aber im unabhängigen „Artificial Analysis Intelligence Index“ mit 57 Punkten hinter Claude Fable 5 (60) und GPT-5.6 Sol (59). Moonshot selbst räumte ein, dass K3 insgesamt noch hinter den Top-Modellen zurückbleibt .

Sicherheitslücke: Vertrauliche Daten im Klartext

Dieselbe Architekturschwachstelle offenbarte eine handfeste Sicherheitslücke. Da moderne KI-Modelle manchmal Zugangsdaten und persönliche Daten in ihren Denkprozess einbeziehen, enthielten die öffentlich geteilten Reasoning-Blöcke – etwa in Agenten-Sitzungsprotokollen – sensible Informationen. Jeder, der den Trick kannte, konnte sie lesen.

Bei der Durchsuchung von rund 7.000 öffentlich geteilten Agenten-Logs fanden die Forscher 62 aktive API-Keys, 33 Passwörter und insgesamt 704 Datenschutzverletzungen („Privacy Artifacts“) in den Blöcken . Jeder Entwickler, der seine Agenten-Logs veröffentlichte, machte damit möglicherweise API-Keys, Passwörter und persönliche Daten preis, die vermeintlich sicher verschlüsselt waren. Dies betraf auch Logs auf öffentlichen GitHub-Repositories .

Die Forscher identifizierten vier Missbrauchsmöglichkeiten: die Rekonstruktion versteckter Denkprozesse, das Wiederherstellen von Geheimnissen aus Agenten-Spuren, das Einschleusen von Anweisungen über einen unsichtbaren Kanal und das Wiedereinspielen unverfallener Blöcke über Sitzungsgrenzen hinweg .

Reaktion der Anbieter: Serverseitige Patches

Nachdem das Forscherteam die Schwachstellen gemäß der verantwortungsvollen Offenlegung (Responsible Disclosure) gemeldet hatte, brachten alle drei Unternehmen serverseitige Updates aus .

Die Forscher informierten OpenAI, Anthropic, Google, Microsoft und Hugging Face. Nach der Implementierung der Änderungen bestätigten Reproduktionsversuche, dass die Hauptextraktionstechnik mit den aktuellen API-Versionen nicht mehr funktioniert . Die Dokumentation rät nun, Reasoning-Blöcke zu entfernen, bevor man Logs teilt oder in der Mitte einer Konversation das Modell wechselt .

Bemerkenswert: Der Kryptographie-Forscher Matthew Green hatte die Sicherheitslücke sowohl OpenAI als auch Anthropic bereits im Mai 2026 über ihre Bug-Bounty-Programme gemeldet, aber abweisende Antworten erhalten – noch bevor die wissenschaftliche Arbeit veröffentlicht wurde .

Die Patches sind seit August 2026 aktiv, historische Sitzungslogs mit dekodierten Reasoning-Blöcken, die bereits aus dem öffentlichen Web gesammelt wurden, bleiben jedoch weiterhin auslesbar .

Warum das wichtig ist

Der „Gestohlene Gedanken“-Angriff zeigt einen grundlegenden Zielkonflikt im Design moderner KI-APIs auf. Die Anbieter wollen den Reasoning-Zustand aus Gründen der Skalierbarkeit und Latenz an den Client auslagern, aber die kryptografische Bindung, die diesen Zustand sichert, erfordert eine sorgfältige Architektur. Der von Anthropic, OpenAI und Google verwendete Ansatz mit einem einzigen globalen Verschlüsselungsschlüssel war ein Kurzschluss, der ein Sicherheits- und Datenschutzproblem für alle Nutzer schuf.

Die Studie fällt zudem mitten in die eskalierenden US-chinesischen Spannungen um KI-Distillation. Die Indizien gegen Kimi K3 sind zwar nicht endgültig, aber sie bieten den bislang stärksten technischen Hinweis darauf, dass Distillation im großen Stil stattfinden könnte – und geben Politikern und Forschern ein neues Werkzeug an die Hand, um die Herkunft von KI-Modellen zu untersuchen.