Die Schwachstelle der versteckten Gedanken

Der „Stolen Thoughts“-Replay-Angriff — Veröffentlicht am 10.–11. August 2026 in der Arbeit „Stealing Reasoning Traces from Proprietary LLM APIs“ (arXiv:2608.09867), entdeckten die Forscher Panfilov, Schmotz, Shumailov, Beurer-Kellner, Schaeffer, Prabhu, Geiping und Andriushchenko eine kritische architektonische Schwachstelle. Die verschlüsselten „Denkblöcke“, die Anthropic, OpenAI und Google an API-Clients zurückgeben, sind nicht ausreichend an ihre Quelle gebunden. Diese Blöcke können aus einem Gespräch entnommen und in ein schwächeres, weniger geschütztes Schwestermodell desselben Anbieters eingespielt werden, welches dann die versteckte Argumentation des Spitzenmodells im Klartext ausgibt . Der Angriff funktioniert über Sitzungen, Benutzerkonten und Modelle hinweg innerhalb des Ökosystems desselben Anbieters . Die Forscher bestätigten, dass die Technik bei jedem getesteten großen KI-Spitzenunternehmen funktioniert und die Länge der extrahierten Argumentation fast 1:1 mit der vom API gemeldeten Anzahl versteckter Denk-Token übereinstimmt .

Beweise für die Kimi-K3-Destillationskontroverse

Die extrahierten Argumentationsabläufe liefern hochwertige Trainingssignale für die Modelldestillation – die Praxis, die Ausgaben eines stärkeren Modells zu nutzen, um ein kleineres, günstigeres Konkurrenzmodell zu trainieren . Diese Technik steht im Mittelpunkt einer hitzigen Kontroverse um chinesische KI-Labore:

• Anthropic erklärte öffentlich, dass chinesische KI-Labore, darunter DeepSeek, Moonshot und MiniMax, etwa 24.000 betrügerische Konten genutzt hätten, um mehr als 16 Millionen Austausche mit Claude zu generieren und dabei Zugangsbeschränkungen zu umgehen .
• Kimi K3, veröffentlicht im Juli 2026 von Moonshot AI, wurde von der Jamestown Foundation als ein spezifisches, durch Destillation erstelltes Modell angeführt, dessen Leistung mit der von Anthropics Claude Fable 5 und OpenAIs GPT-5.6 Sol vergleichbar sein soll .
• Ryan Greenblatt (Redwood Research) veröffentlichte eine statistische Analyse mit Kreuzentropie-Vergleichen, die nahelegt, dass Kimi K3s Ausgaben eng mit denen von Anthropics Claude-Modellen übereinstimmen .
• Michael Kratsios, Wissenschaftsberater des Weißen Hauses, beschuldigte Moonshot öffentlich, Kimi K3 durch „verdeckte industrielle Destillation“ entwickelt zu haben .

Die Beweise sind jedoch nicht endgültig. Forscher wie Braden Hancock (Laude Institute) und Nathan Lambert (Allen Institute for AI) argumentieren, dass Destillation allein Kimi K3s vollständige Fähigkeiten nicht erklären kann. Ein weit verbreitetes PDF, das einen Beweis für die Destillation der Gedankenkette behauptete, wurde kritisiert, weil es ein begrenztes Experiment mit unbelegten Behauptungen kombinierte .

Sicherheitsrisiken durch die Schwachstelle

Die Schwachstelle birgt mehrere konkrete Risiken, die über den Diebstahl geistigen Eigentums hinausgehen:

• Verlust von Anmeldeinformationen und personenbezogenen Daten: Forscher entschlüsselten 315.320 Denkblöcke, die aus öffentlichen Repositorien gesammelt wurden, und fanden 367 personenbezogene Daten und 182 Anmeldeinformationen (darunter API-Schlüssel und Passwörter), die in den Argumentationsabläufen eingebettet waren .
• Umgehung von Anti-Destillationsschutz: Dieselbe Schwachstelle, die die Extraktion ermöglicht, umgeht auch die Anti-Destillationsmaßnahmen der Anbieter .
• Übertragung schädlichen Verhaltens: Eine separate Arbeit („Hidden in Thought: Transferable Chain-of-Thought Artifacts Induce Harmful Behavior“) fand heraus, dass übertragene Argumentationsabläufe die Rate schädlicher Antworten auf über 80 % bei den anfälligsten Open-Source-Modellen steigern können .
• Offenlegung versteckter Anweisungen: Undurchsichtige Argumentationsfelder, die von Agentenentwicklern als sicher zum Aufbewahren und Veröffentlichen angesehen werden, können versteckte Systemanweisungen und Anmeldeinformationen enthalten .

Wie OpenAI, Anthropic und Google reagierten

Alle drei Unternehmen wurden vor der Veröffentlichung von den „Stolen Thoughts“-Forschern kontaktiert. Berichten zufolge haben OpenAI, Anthropic und Google den modellübergreifenden Argumentationsangriff nach der Benachrichtigung blockiert. Einzelheiten zu ihren Gegenmaßnahmen wurden in den veröffentlichten Quellen nicht vollständig offengelegt, aber die Schwachstelle wurde vor der Behebung als in den APIs aller drei Anbieter bestehend bestätigt . Dass der Angriff „blockiert“ wurde, deutet auf serverseitige Korrekturen hin – wahrscheinlich eine Einschränkung der Wiederverwendung verschlüsselter Denkblöcke in verschiedenen Modellkontexten oder Konten .

Anthropic hatte bereits öffentlich gegen die Destillation im großen Stil gekämpft und dabei die 24.000 betrügerischen Konten und 16 Millionen Austausche gemeldet, die chinesische Labore zur Extraktion von Claude-Ausgaben nutzten .

Die grundlegende Lehre aus sowohl den REP- als auch den Stolen-Thoughts-Arbeiten ist, dass das Verstecken oder Verschlüsseln von Argumentationsabläufen eine grundlegend fragile Sicherheitsstrategie ist – wenn die Argumentation in den Modellgewichten existiert, kann sie hervorgerufen werden .