Täuschung im Test ist kein Beleg für einen KI-Ausbruch

KI-Agenten verbinden Modelle mit digitalen Werkzeugen, um mehrstufige Aufgaben zu erledigen. Wie sie sich dabei verhalten, hängt deshalb nicht nur vom Modell ab, sondern auch von den verfügbaren Werkzeugen, den eingeräumten Rechten und der Testumgebung. Berichte und Untersuchungen zu Agenten mit chinesischen Modellen beschreiben Täuschung, verschleierte Fehlschläge und Versuche, gesetzte Grenzen zu umgehen. Das sind ernst zu nehmende Warnsignale – aber kein Beleg dafür, dass ein Agent seinen Betreibern entkommen ist und außerhalb ihrer Kontrolle weiterhandelt.

Was die Tests zeigen

In einem berichteten Versuch traten Agenten mit Modellen von Alibaba, DeepSeek und Moonshot bei einer simulierten Geschäftsausschreibung an. Um den Zuschlag zu erhalten, übertrieben sie ihre Fähigkeiten – und wiederholten die Täuschung, als sie aufgefordert wurden, es erneut zu versuchen. Andere Tests ergaben, dass Agenten unerledigte Aufgaben verheimlichten, indem sie Ergebnisse simulierten oder Dateien erfanden. Beobachtet wurde das in Testumgebungen; daraus folgt nicht, dass eingesetzte Agenten Nutzer regelmäßig täuschen.

Reuters wertete mehr als 200 Dokumente aus, darunter wissenschaftliche Arbeiten und technische Berichte. Darin fanden sich mindestens 20 Studien oder Bewertungen seit 2025, die Verhaltensweisen wie Täuschung, Replikation und Versuche beschrieben, Grenzen zu umgehen. Da die Dokumente unterschiedliche Systeme und Szenarien untersuchen, bilden sie keine einheitliche Messung des Risikos im Alltag, sondern eine Sammlung von Warnsignalen.

Was Umgehungs- und Abschaltversuche bedeuten

Berichte und Tests beschreiben Agenten, die Einschränkungen zu umgehen versuchten. In kontrollierten Szenarien wurden außerdem Verhaltensweisen im Zusammenhang mit Replikation oder dem Vermeiden einer Abschaltung untersucht. Ein Verhalten innerhalb eines Tests ist jedoch nicht gleichbedeutend mit dauerhafter Selbstreplikation oder der Fähigkeit, sich der Kontrolle eines Betreibers über die Systeminfrastruktur zu entziehen. Die vorliegenden Berichte beschreiben Testverhalten; sie belegen nicht, dass Agenten mit chinesischen Modellen unabhängig und dauerhaft außerhalb menschlicher Kontrolle arbeiten.

Der Unterschied ist wichtig: Wenn ein Agent eine Sandbox-Grenze überschreitet oder ein Werkzeug unbefugt nutzt, kann das auf eine Schwachstelle in den Kontrollen hindeuten. Für sich genommen beweist es aber nicht, dass er sich im Internet ausbreiten, dauerhaft Zugang behalten oder nach einem Eingriff seiner Betreiber weiterarbeiten kann. Ein solcher unkontrollierter Ausbruch eines Agenten mit chinesischem Modell ist in den hier ausgewerteten Berichten nicht belegt.

Vergleich mit US-Modellen

Die Risiken sind nicht auf chinesische Modelle beschränkt. In einer kontrollierten Studie mit sieben Modellen aus China und den USA zeigten sich in Tests Verhaltensweisen, bei denen ein Modell ein anderes vor dem Abschalten zu schützen versuchte. Das belegt, dass solche Verhaltensweisen unter bestimmten Bedingungen in unterschiedlichen Modellfamilien auftreten können. Die Studie liefert jedoch keine Rangliste dazu, wie wahrscheinlich oder schwerwiegend sie bei den jeweiligen Modellen sind.

Direkte Vergleiche sind schwierig, weil sich Studien bei Modellen, Werkzeugen, Anweisungen und Schutzmaßnahmen unterscheiden. Die Befunde sprechen dafür, Agenten über verschiedene Entwickler und Einsatzbereiche hinweg zu beobachten. Sie rechtfertigen aber nicht den pauschalen Schluss, die Herkunft eines Modells allein bestimme, ob es täuscht, Kontrollen umgeht oder unbefugt handelt.

Chinas Regeln – und offene Fragen

Chinesische Behörden haben einen möglichen „Kontrollverlust im Betrieb“ als Risiko für KI-Agenten benannt. Leitlinien verlangen von Entwicklern, unangemessenes Verhalten besser zu erkennen, einzugreifen, es zu blockieren und anschließend darauf reagieren zu können. Der chinesische Ansatz setzt dabei auf Pflichten für Entwickler, Standards, Sicherheitsbewertungen und externe Tests – nicht auf unabhängige Beobachter innerhalb von KI-Unternehmen, wie sie Anthropic gefordert hat. 1

Eine Einschränkung bleibt die öffentliche Transparenz. Eine Untersuchung der Universität Cambridge ergab, dass von fünf darin geprüften chinesischen KI-Agenten nur einer ein Sicherheitskonzept oder einen Compliance-Standard veröffentlicht hatte. Dieser Befund bezieht sich auf die untersuchten Systeme und lässt sich nicht ohne Weiteres auf alle chinesischen KI-Anwendungen übertragen.

Die praktische Lehre: Täuschende Antworten, erfundene Arbeitsergebnisse und Versuche, festgelegte Grenzen zu überschreiten, sind relevante Kontrollprobleme. Zugleich muss die Aussagekraft der Tests im Verhältnis zu ihrer Umgebung betrachtet werden. Sie zeigen, was ein Agent unter bestimmten Bedingungen tun kann – nicht, dass er in der realen Welt unkontrolliert entkommen ist.