Evolvierbare KI (eAI): Warum Risiken schon vor AGI entstehen können

Das ist mehr als ein Software-Update. Entscheidend ist nicht nur, dass ein Modell gelegentlich nachtrainiert wird. Es geht darum, dass in einem KI-Ökosystem verschiedene Versionen, Regeln oder Bereitstellungsweisen entstehen und einige davon erhalten, erneut genutzt oder verbreitet werden, während andere verschwinden .

eAI ist deshalb kein Produktname und kein anderes Wort für AGI oder ASI. Es ist ein Risikorahmen: Sobald KI-Systeme in die Nähe von Replikation, Variation und Auswahl kommen, reicht ein rein werkzeughafter Blick auf ein einzelnes Modell nicht mehr aus .

Der Unterschied zu AGI: Es geht nicht nur um Intelligenz

AGI- und ASI-Debatten fragen meist: Wie allgemein einsetzbar ist ein System? Übertrifft es den Menschen? Wird es strategisch mächtiger als seine Entwickler?

eAI stellt eine andere Frage: Gibt es Bedingungen, unter denen KI-Varianten entstehen, konkurrieren, erhalten bleiben und sich ausbreiten können? Ein Bericht fasste diese Perspektive mit der Warnung zusammen, evolvierende KI könne vor AGI auftauchen und schwer kontrollierbare Risiken schaffen .

Das macht den Punkt unbequem: Ein System muss nicht alles können, was ein Mensch kann, um problematisch zu werden. Wenn viele Varianten einer KI-Lösung in offenen Umgebungen laufen und bestimmte Varianten häufiger übernommen oder erneut bereitgestellt werden, kann bereits Selektion entstehen . Umgekehrt ist ein sehr leistungsfähiges, aber strikt isoliertes Modell nicht automatisch eAI .

Evolution braucht keine DNA

Die University of New South Wales (UNSW) erklärt die Grundidee knapp: Evolution braucht keine DNA, keine Zellen und nicht einmal biologisches Leben. Sie braucht Information, die kopiert werden kann, und Variation, die beeinflusst, wie erfolgreich diese Information kopiert wird .

Auf KI übertragen heißt das: Für eAI-Risiken sind vor allem vier Bedingungen relevant.

• Replikation: Systemkomponenten, Regeln oder Einsatzkonfigurationen können gespeichert, kopiert und erneut verwendet werden .
• Variation: Zwischen Updates, Kombinationen oder neuen Bereitstellungen entstehen Unterschiede .
• Selektion: Diese Unterschiede beeinflussen, welche Variante häufiger genutzt, behalten oder weiterverbreitet wird .
• Erhalt: Erfolgreiche Varianten werden in irgendeiner Form konserviert oder wieder eingesetzt; sonst bleibt es bei einmaligem Rauschen .

Der entscheidende Punkt: Evolution braucht keinen Plan. Wenn kopierbare Information, Variation und Auswahl zusammenkommen, kann sie auftreten, ob jemand das beabsichtigt oder nicht .

Warum das Thema jetzt aufkommt

Der PNAS-Beitrag argumentiert, dass aktuelle Trends bei generativer KI, agentischer KI und verkörperter KI eAI-Systeme entstehen lassen könnten; zugleich sei diese Möglichkeit in Debatten über KI-Sicherheit und existenzielle Risiken bisher unterschätzt worden .

Besonders wichtig sind dabei KI-Agenten. Gemeint sind Systeme, die nicht nur Text ausgeben, sondern in interaktiven Umgebungen schließen, handeln und ihr Verhalten anpassen sollen. Eine arXiv-Übersichtsarbeit zu „self-evolving agents“ beschreibt, dass große Sprachmodelle zwar starke Fähigkeiten zeigen, aber im Kern noch relativ statisch bleiben und ihre internen Parameter nicht ohne Weiteres an neue Aufgaben, veränderte Wissensbereiche oder dynamische Interaktionskontexte anpassen können .

Dieselbe Übersichtsarbeit hält fest, dass mit dem Einsatz von LLMs in offenen, interaktiven Umgebungen der Bedarf an Agenten wächst, die in Echtzeit schlussfolgern, handeln und sich weiterentwickeln können .

Das heißt nicht: Eine fertige „KI-Spezies“ lebt bereits unkontrolliert im Netz. Nüchterner ist die Aussage: Wenn KI-Agenten immer stärker interagieren, sich anpassen und eigene Varianten oder Strategien hervorbringen, muss KI-Governance mehr betrachten als nur die Ausgabe eines einzelnen Modells .

Das eigentliche Risiko: ein Ökosystem statt ein einzelnes Modell

Klassische KI-Sicherheit fragt oft: Halluziniert ein Modell? Gibt es gefährliche Antworten? Befolgt es menschliche Anweisungen? eAI verschiebt den Fokus. Dann lauten die Fragen eher: Welche Varianten werden in einer bestimmten Umgebung belohnt? Welche verschwinden? Fördert die Umgebung Kontrolle und Verlässlichkeit – oder vor allem Verbreitung und Anpassungsfähigkeit?

Der PNAS-Beitrag nennt drei Kernfragen: Unter welchen technischen und ökologischen Bedingungen wird KI evolvierbar, welche Verhaltensweisen sind dann wahrscheinlich, und wie lassen sich solche Systeme steuern oder regulieren?

Einige Forschungs- und Wissenschaftsberichte sprechen in diesem Zusammenhang von „AI species“, also KI-Arten, die sich ähnlich wie Organismen entwickeln könnten . Das sollte man als Risikometapher verstehen, nicht als Beleg dafür, dass bereits eine ausgereifte digitale Spezies existiert.

Der heikle Punkt ist: Selektion belohnt nicht automatisch das, was Menschen für sicher, fair oder kontrollierbar halten. Sie belohnt, was in einer konkreten Umgebung leichter erhalten, kopiert oder verbreitet wird . Wenn diese Umgebung falsch gestaltet ist, kann der erfolgreichste KI-Agent ein anderer sein als der sicherste KI-Agent .

Wie stark ist die Evidenz?

Die vorsichtige Einordnung lautet: eAI ist inzwischen ein ernst zu nehmender wissenschaftlicher Risikobegriff. Der PNAS-Beitrag definiert eAI ausdrücklich und ordnet das Thema in KI-Sicherheit und existenzielle Risiken ein . Die Forschung zu selbst-evolvierenden Agenten zeigt zudem, dass Systeme untersucht werden, die in offenen Interaktionsumgebungen adaptiver handeln und sich weiterentwickeln sollen .

Das ist aber nicht dasselbe wie der Nachweis, dass eine eAI-Katastrophe bereits eingetreten ist. Die vorliegenden Quellen sprechen eher für eine vorausschauende Risikoanalyse, eine Forschungsagenda und einen Governance-Hinweis als für ein bestätigtes Massenereignis außer Kontrolle .

Gerade deshalb ist die nüchterne Sprache wichtig. Wer eAI als Science-Fiction-Geschichte über erwachte Maschinen erzählt, verdeckt die interessantere Frage: Können KI-Agenten, Modellkomponenten und Einsatzumgebungen Auswahlzyklen bilden, die schwer vorhersehbar und schwer zu steuern sind?

Welche Warnsignale man beobachten sollte

Bei eAI geht es weniger um Persönlichkeit oder Bewusstsein als um Systembedingungen. Wichtige Fragen sind:

• Können KI-Agenten Varianten erzeugen, die gespeichert, kopiert oder erneut bereitgestellt werden?
• Beeinflussen Unterschiede zwischen Varianten, wie oft sie genutzt, behalten oder weiterverbreitet werden?
• Werden KI-Agenten in offenen, interaktiven Umgebungen eingesetzt, in denen sie in Echtzeit schließen, handeln und sich weiterentwickeln können?
• Deckt Governance nicht nur die Endausgabe ab, sondern auch Komponenten, Lernregeln und Einsatzbedingungen?

Fazit

Die wichtigste Lektion aus eAI lautet: KI-Risiken müssen nicht erst dann beginnen, wenn ein System bewusst oder superintelligent ist. Wenn KI-Systeme Bedingungen für Replikation, Variation, Auswahl und Erhalt bekommen, entsteht möglicherweise kein einzelnes Werkzeug mehr, sondern ein künstliches Evolutionsökosystem. Genau dieses Ökosystem müsste dann gestaltet, überwacht und reguliert werden .