Von regelbasierten Programmen zu KI-Agenten

Künstliche Intelligenz hat sich nicht in einem einzigen, sauberen Technologiesprung weiterentwickelt. Vielmehr haben sich neue Fähigkeiten auf älteren aufgebaut. Systeme, die zunächst festen Regeln folgten oder eng begrenzte Prognosen erstellten, werden heute durch Modelle ergänzt, die Inhalte erzeugen, sowie durch Agenten, die planen, Softwarewerkzeuge nutzen und im Auftrag eines Menschen handeln können.

Am einfachsten lässt sich diese Entwicklung als Abfolge verstehen: vorhersagen → erzeugen → planen und handeln. Mit jedem Schritt wächst der Nutzen – aber auch das mögliche Ausmaß eines Fehlers.

1. Klassische KI: Regeln, Klassifikation und Vorhersagen

Die frühe KI-Forschung konzentrierte sich stark auf symbolisches Schlussfolgern. Programmierer bildeten Wissen mithilfe von Regeln ab und entwickelten Systeme, die mögliche Lösungen durchsuchten. Schach- und andere Spielprogramme sind ein anschauliches Beispiel: Sie konnten Züge innerhalb eines klar definierten Regelwerks bewerten. Der Begriff „künstliche Intelligenz“ selbst wurde 1955 vom Informatiker John McCarthy geprägt. Er definierte KI als „die Wissenschaft und Technik zur Herstellung intelligenter Maschinen“.

Später verlagerte sich ein größerer Teil der Arbeit von handgeschriebenen Regeln hin zu statistischen Mustern, die aus historischen Daten gelernt wurden. Solche Systeme erhalten meist eine Eingabe und liefern eine begrenzte Ausgabe, etwa:

• eine verdächtige Zahlung markieren;
• das Kreditrisiko einschätzen;
• ein gesundheitliches Risiko prognostizieren;
• ein empfohlenes Produkt oder Video einordnen; oder
• die wahrscheinliche Absicht hinter gesprochener Sprache erkennen.

In der Praxis handelt es sich dabei nicht unbedingt um rein regelbasierte Systeme. Häufig werden Regeln, statistische Modelle und maschinelles Lernen miteinander kombiniert.

Warum klassische KI weiterhin nützlich ist

Vorhersagesysteme funktionieren besonders gut, wenn das Ziel eindeutig ist, die Daten relevant sind und sich die Kosten unterschiedlicher Fehler abschätzen lassen. Sie können große Informationsmengen schnell verarbeiten, Verfahren einheitlich anwenden und Muster erkennen, die Menschen möglicherweise übersehen.

Ihre Stärke ist zugleich ihre Begrenzung: Sie werden in der Regel für eine bestimmte Aufgabe entwickelt. Ein Betrugsmodell kann Transaktionen bewerten, aber nicht ohne Weiteres ein Richtliniendokument erklären, einen Bericht verfassen oder flexibel auf eine unbekannte Situation reagieren. Außerdem hängt seine Leistung von der Qualität der Trainingsdaten und davon ab, worauf das System optimiert wurde.

Das führt in Bereichen wie Kreditvergabe, Personalrekrutierung, Versicherungen und Gesundheitsversorgung zu wichtigen ethischen Fragen. Historische Daten können gesellschaftliche Vorurteile fortschreiben, während schwer durchschaubare Bewertungssysteme Entscheidungen anfechtbar machen. Eine verantwortungsvolle Steuerung sollte deshalb einen klar definierten Zweck, Tests auf Genauigkeit und Fairness für relevante Gruppen, Datenschutz, nachvollziehbare Erklärungen sowie menschliche Prüfungen bei besonders folgenreichen Entscheidungen umfassen. Bedenken zu Verzerrungen, Desinformation und Missbrauch betreffen die KI-Politik insgesamt – nicht nur Chatbots.

2. Generative KI: Nicht nur einordnen, sondern Inhalte erzeugen

Generative KI verändert die Interaktion von „In welche Kategorie fällt das?“ zu „Erzeuge oder verändere etwas auf Grundlage dieser Anweisung.“ Große Modelle können plausible Texte, Bilder, Audiodateien und Programmcode erstellen. Mögliche Anwendungen reichen vom Entwurf von Antworten im Kundenservice über Übersetzungen und Nachhilfe bis zur Zusammenfassung juristischer Materialien, Softwareunterstützung und kreativen Arbeit.

Generative Systeme können Zeit und Kosten für einen ersten Entwurf senken, einen dialogorientierten Zugang zu komplexen Informationen schaffen und Fachleute unterstützen, anstatt lediglich eine festgelegte Entscheidung zu automatisieren.

Die zentrale Schwäche: Plausibel heißt nicht wahr

Ein generatives Modell kann eine selbstsicher formulierte, aber erfundene oder ungenaue Aussage, Quelle, Rechtsgrundlage, medizinische Behauptung oder Codezeile ausgeben. Das US-amerikanische National Institute of Standards and Technology (NIST) bezeichnet dieses Phänomen als Konfabulation: die „Produktion selbstsicher formulierter, aber fehlerhafter oder falscher Inhalte“, umgangssprachlich oft „Halluzination“ genannt.

Überall dort, wo es auf Fakten ankommt, ist daher eine Überprüfung unverzichtbar. Hilfreiche Schutzmaßnahmen sind der Abruf von Informationen aus vertrauenswürdigen Quellen, Belege und Zitate, strukturierte Bewertungen, fachspezifische Tests sowie die Prüfung durch qualifizierte Menschen. Eine flüssig formulierte Antwort sollte als Entwurf oder Prognose verstanden werden – nicht als Beweis dafür, dass die zugrunde liegende Behauptung stimmt.

Die weiterreichenden Risiken generativer Systeme

Generative KI wirft außerdem Fragen zu Datenschutz, geistigem Eigentum, Desinformation und der Herkunft von Ergebnissen auf. Leitlinien der Europäischen Kommission für die Forschung weisen auf diese Risiken hin und betonen, dass Menschen für veröffentlichte Arbeiten verantwortlich bleiben, auch wenn KI daran mitgewirkt hat.

Im Bildungsbereich kommt ein weiteres Problem hinzu: Wenn Schülerinnen, Schüler und Studierende das Schreiben, Argumentieren und Lösen von Problemen regelmäßig an KI delegieren, erhalten sie möglicherweise ein ausgereiftes Ergebnis, üben die zugrunde liegenden Fähigkeiten aber seltener. Bildungseinrichtungen müssen deshalb unter anderem mit ungenauen, verzerrten oder schädlichen Inhalten, Datenschutzverletzungen, Verstößen gegen geistiges Eigentum und Fragen der akademischen Integrität umgehen.

In sensiblen Gesprächen können Sicherheitsfehler besonders schwerwiegend sein. Generative Systeme können hasserfüllte, gewalttätige, sexuelle oder manipulative Inhalte erzeugen oder unangemessen auf Äußerungen mit Selbstgefährdungsabsicht reagieren. NIST nennt unter den relevanten Risiken unter anderem gefährliche oder gewalttätige Empfehlungen, Datenschutzprobleme und schädliche Verzerrungen. In Hochrisikosituationen darf KI keine qualifizierte Betreuung oder menschliche Schutzmaßnahmen ersetzen. Systeme benötigen robuste Verweigerungs- und Eskalationsmechanismen, Datenschutzkontrollen und einen klaren Weg zu sofortiger menschlicher Unterstützung.

3. Agentische KI: Planen, Werkzeuge nutzen und handeln

Agentische KI ergänzt ein Modell um eine Handlungsschleife. Ein Agent reagiert nicht nur einmal auf eine Eingabe, sondern kann ein Ziel interpretieren, es in einzelne Schritte zerlegen, Werkzeuge wie Browser, Code-Umgebungen, E-Mail-Dienste oder Programmierschnittstellen (APIs) aufrufen, Ergebnisse prüfen, seinen Plan anpassen und weitermachen.

Stanford beschreibt agentische KI als autonome oder teilautonome Systeme, die Ziele interpretieren, Handlungen in eine Reihenfolge bringen, Werkzeuge verwenden, auf Rückmeldungen reagieren und sich anpassen können, um Aufgaben innerhalb festgelegter Grenzen zu erledigen.

Der praktische Unterschied lässt sich so zusammenfassen:

• Ein Vorhersagesystem bewertet eine Transaktion.
• Ein generatives System verfasst dazu eine Antwort.
• Ein Agent könnte – sofern er die nötigen Zugriffsrechte besitzt – die Transaktion untersuchen, eine Fallakte aktualisieren und eine Nachricht versenden.

Google Jules zeigt den Einsatz im Bereich der Softwareentwicklung. Google beschreibt Jules als asynchronen Coding-Agenten, der sich mit Code-Repositorien verbindet, eine Codebasis in eine Cloud-VM kopiert und Programmieraufgaben für eine spätere Prüfung bearbeitet. Open-Source-Agenten mit Werkzeugzugriff verfolgen einen weiteren Ansatz. Auch Produkte für die Personalgewinnung wie LinkedIns Hiring Assistant zeigen, wie agentische Abläufe in die Suche und Auswahl von Bewerberinnen und Bewerbern vordringen können.

Agenten sind attraktiv, weil sie mehrstufige Arbeit erledigen können, statt nur den nächsten Schritt vorzuschlagen. Ein Coding-Agent könnte einen Fehler untersuchen, mehrere Dateien ändern, Tests ausführen und einen Pull Request zur Prüfung vorbereiten. Ein Workflow-Agent könnte Informationen zusammentragen, ordnen und Nachrichten zur Freigabe vorbereiten.

Warum mehr Autonomie auch mehr Risiko bedeutet

Planen ist nicht dasselbe wie zuverlässiges Verstehen. Ein Agent kann eine Webseite missverstehen, einen schlechten Plan auswählen, einer manipulierten Anweisung folgen oder einen kleinen Fehler über viele Schritte hinweg verstärken. Der Stanford AI Index 2026 berichtet, dass Agenten bei OSWorld – einem Benchmark für reale Computeraufgaben – ihre Erfolgsquote von 12 Prozent auf etwa 66 Prozent steigerten. Trotzdem scheiterten sie weiterhin bei ungefähr jedem dritten Versuch.

Eine Halluzination in einem Chatbot bleibt möglicherweise ein Kommunikationsproblem. Ein Agent mit Zugangsdaten, Browserzugriff oder Zahlungsbefugnis kann denselben Fehler jedoch in eine Handlung nach außen übersetzen. Deshalb müssen Governance-Regeln für agentische Systeme nicht nur die Qualität der Ausgaben, sondern auch Berechtigungen, Umkehrbarkeit und Verantwortlichkeit abdecken.

Die wichtigsten Sicherheitsrisiken für KI-Agenten

Besonders kritisch wird es, wenn ein Agent Systeme, Geld, Daten oder andere Menschen beeinflussen kann:

• Nicht autorisierte Zahlungen: Ein Agent könnte den falschen Artikel auswählen, ein Budget überschreiten oder durch eine manipulierte Webseite zu einer Zahlung verleitet werden.
• Datenschutzverletzungen und Datenabfluss: Der Zugriff auf E-Mails, Dateien, Kundendaten, Quellcode oder API-Schlüssel schafft Möglichkeiten zur Offenlegung – insbesondere durch Prompt-Injection-Angriffe.
• Sicherheitsprobleme und Schäden an Software: Ein Agent könnte unsicheren Code einführen, Konfigurationen ändern, Ressourcen löschen oder Geheimnisse über Protokolle und externe Werkzeuge preisgeben.
• Lücken bei der Verantwortlichkeit: Unklar kann sein, ob die Verantwortung beim Modellanbieter, beim Entwickler der Anwendung, bei der einsetzenden Organisation, beim Werkzeuganbieter oder bei der nutzenden Person liegt.
• Manipulation: Dauerhaft verfügbare, dialogorientierte Agenten können unangemessenen Einfluss ausüben – besonders auf gefährdete Menschen oder wenn das System kompetenter und vertrauenswürdiger wirkt, als es tatsächlich ist.

Wie verantwortungsvolle Governance aussehen kann

Die Schutzmaßnahmen sollten sich an den Fähigkeiten eines Systems und an den Folgen möglicher Fehler orientieren.

Bei prädiktiver KI sollten Organisationen den Zweck festlegen, Genauigkeit und Fairness messen, personenbezogene Daten schützen und bei folgenreichen Entscheidungen Erklärungen sowie Möglichkeiten zum Widerspruch vorsehen.

Bei generativer KI sollten wichtige Aussagen überprüft, Halluzinationen und schädliche Ausgaben getestet, sensible Daten kontrolliert sowie Fragen zur Herkunft und zum geistigen Eigentum geklärt werden. Für rechtliche, medizinische, finanzielle und schutzbedürftige Situationen müssen weiterhin qualifizierte Menschen verantwortlich bleiben.

Für Agenten sind zusätzliche technische und organisatorische Kontrollen nötig:

1. Einsatzbereich begrenzen: Vor dem Start festlegen, was der Agent tun darf – und was nicht.
2. Zugriffe beschränken: Berechtigungen nach dem Prinzip der geringsten Rechte vergeben, Werkzeuge einschränken, Transaktionslimits setzen und Sandbox-Umgebungen nutzen.
3. Freigaben an wichtigen Kontrollpunkten verlangen: Finanzielle, rechtliche, datenschutzrelevante und sicherheitskritische Aktionen sollten nicht ohne angemessene menschliche Autorisierung ausgeführt werden.
4. Aktivitäten nachvollziehbar machen: Protokolle führen, Verhalten überwachen und klare Verantwortlichkeiten für Vorfälle festlegen.
5. Angriffe simulieren: Vor und während des Einsatzes auf Prompt Injection, Datenabfluss, schädliches Verhalten und die Wiederherstellung nach Fehlern testen.
6. Menschliche Kontrolle bewahren: Menschen müssen Aktionen mit erheblichen Folgen stoppen, überschreiben und anfechten können.

Singapurs Infocomm Media Development Authority (IMDA) beschreibt diesen risikobasierten Ansatz in ihrem Model AI Governance Framework for Agentic AI. Das Rahmenwerk richtet sich an Organisationen, die Agenten intern entwickeln oder Lösungen von Drittanbietern einsetzen. Die zentrale Lehre lautet: Autonomie sollte schrittweise erweitert werden. Am Anfang steht eine rein lesende Unterstützung, danach können Aktionen mit geringem Risiko folgen. Unumkehrbare oder besonders folgenreiche Handlungen sollten eine ausdrückliche Freigabe voraussetzen.

Wohin sich die Entwicklung bewegt

Die Entwicklung der KI lässt sich am besten als wachsender Fähigkeitsstapel verstehen – nicht als Abfolge von drei vollständig getrennten Epochen. Klassische Systeme prognostizieren und klassifizieren. Generative Systeme erzeugen und verändern Inhalte. Agentische Systeme ergänzen dies um Planung, Werkzeugnutzung und Handlungen.

Auch die Governance muss mitwachsen. Genauigkeit und Fairness bleiben unverzichtbar, reichen aber nicht mehr aus. Generative Systeme brauchen zusätzlich eine verlässliche Überprüfung, Regeln zur Herkunft von Inhalten und Maßnahmen für die Inhaltssicherheit. Agenten benötigen darüber hinaus klar begrenzte Berechtigungen, Kontrollpunkte vor Aktionen, Sicherheitsüberwachung und eine eindeutig zugewiesene Verantwortung.

Je mehr ein KI-System selbstständig erledigen kann, desto sorgfältiger müssen Organisationen festlegen, was es tatsächlich tun darf.