Model Collapse: Warum KI beim Training mit KI‑Daten Realität „vergessen“ kann

Mit jeder neuen Trainingsgeneration werden die Ausgaben homogener. Das Modell reproduziert immer stärker nur noch die häufigsten Muster der Trainingsdaten.

Der Effekt wurde in mehreren Modelltypen beobachtet, darunter:

• Große Sprachmodelle (Large Language Models, LLMs)
• Variational Autoencoders (VAEs)
• Gaussian Mixture Models (GMMs)

Dass verschiedene Modellfamilien denselben Effekt zeigen, deutet darauf hin, dass Model Collapse kein Spezialfall einzelner Architekturen ist, sondern ein grundsätzliches Problem generativer Lernverfahren bei rekursiven synthetischen Daten.

Warum rekursives Training seltene Muster auslöscht

Der Mechanismus dahinter ist statistisch relativ einfach.

Wenn ein Modell synthetische Daten erzeugt, reproduziert es vor allem wahrscheinliche Muster. Seltene Ereignisse – die in den „Tails“ der Verteilung liegen – werden beim Sampling ohnehin seltener gezogen.

Trainiert man die nächste Modellgeneration auf diesen Daten, passiert Folgendes:

• Seltene Beispiele tauchen noch seltener auf.
• Das Modell lernt eine leicht verzerrte Datenverteilung.
• Jede weitere Generation verstärkt diese Verzerrung.

So entsteht ein Feedback‑Effekt: Kleine Sampling‑Fehler aus früheren Modellen werden immer stärker verstärkt. Irgendwann verschwinden die seltenen Muster vollständig aus den Trainingsdaten.

Sobald diese Beispiele im Datensatz fehlen, können spätere Modelle sie nicht mehr rekonstruieren – weil der Hinweis darauf, dass sie überhaupt existierten, verloren gegangen ist.

Wie reale Daten oder Vorwissen den Kollaps verhindern können

Ein überraschendes Ergebnis aus neueren Analysen ist, wie wenig reale Information möglicherweise nötig ist, um diesen Effekt zu stoppen.

In Untersuchungen zu statistischen Modellklassen, den sogenannten exponentiellen Familien, zeigte sich: Schon ein einzelner Datenpunkt aus der echten Verteilung kann den Trainingsprozess stabilisieren. Dieser Datenpunkt liefert den Beweis, dass bestimmte Muster existieren – und verhindert, dass das rekursive Training auf eine falsche Verteilung konvergiert.

Ähnlich kann auch Vorwissen (Priors) helfen. Wenn Modelle bestimmte strukturelle Annahmen oder Einschränkungen enthalten, begrenzen diese den Raum möglicher Verteilungen und verhindern, dass das Modell vollständig in Richtung der verzerrten synthetischen Daten driftet.

Praktisch bedeutet das:

• Echte Daten bewahren seltene, aber valide Muster.
• Priors geben dem Modell strukturelle Leitplanken.

Selbst wenn synthetische Daten den Großteil eines Datensatzes ausmachen, können solche „Anker“ das Training stabilisieren.

Warum das für große Sprachmodelle wichtig ist

Das Problem gewinnt an Bedeutung, weil KI‑generierte Inhalte im Netz rapide zunehmen.

Große Sprachmodelle werden häufig mit riesigen Internet‑Datensätzen trainiert. Wenn jedoch immer mehr dieser Texte bereits von KI stammen, könnten zukünftige Trainingskorpora zunehmend synthetisch kontaminiert sein.

Werden neue Modelle hauptsächlich auf solchen Daten trainiert, könnten sie sich allmählich von der Vielfalt menschlicher Sprache und des realen Wissens entfernen.

Mögliche Folgen wären etwa:

• geringere Vielfalt in generierten Antworten
• schlechtere Verarbeitung ungewöhnlicher oder seltener Fälle
• eine zunehmend verengte Darstellung realer Informationen

Forscher betonen daher, dass langfristig verlässliche menschliche Datenquellen oder robuste Trainingsmechanismen nötig sind, um die ursprüngliche Datenverteilung zu bewahren.

Grenzen der bisherigen Erkenntnisse

Der grundlegende Mechanismus von Model Collapse ist gut belegt, doch einige Details sind noch offen.

So stammt die Aussage, dass ein einzelner realer Datenpunkt ausreichen könnte, vor allem aus theoretischen Analysen und vereinfachten statistischen Modellen – nicht aus großskaligen Trainingsläufen moderner Sprachmodelle.

Wie viele echte Daten in der Praxis nötig sind, kann daher je nach Modellarchitektur, Datensatz und Trainingsverfahren variieren.

Trotzdem ist die zentrale Erkenntnis klar: Rein rekursives KI‑Training kann Teile der Realität aus Modellen verschwinden lassen. Eine dauerhafte Verbindung zu echten Daten bleibt entscheidend, damit KI‑Systeme langfristig zuverlässig bleiben.