Giskard Guards: Sicherheits‑ und Governance‑Layer für KI‑Agenten in Unternehmen

Giskard Guards: Eine Sicherheits‑Schicht für Agent‑Workflows

Giskard positioniert Guards als eine Art Sicherheits‑Layer zwischen KI‑Agenten und den Systemen, mit denen sie interagieren.

Anstatt nur Prompt oder Antwort zu prüfen, analysiert die Plattform den gesamten Kontext der Agent‑Ausführung – einschließlich Zwischenentscheidungen, Tool‑Aufrufen und generierten Ergebnissen. Ziel ist es, riskantes Verhalten zu erkennen, bevor es reale Systeme erreicht.

Zu den zentralen Konzepten gehören:

Kontextbewusste Guardrails
Das System bewertet nicht nur Schlüsselwörter, sondern die Absicht und den Kontext einer Interaktion. Dadurch können Regeln berücksichtigen, welche Aufgabe ein Agent gerade erfüllt, welche Tools verbunden sind und auf welche Daten zugegriffen wird.

Mehrschichtige Erkennungssysteme
Giskard Guards kombiniert mehrere Detektoren, etwa für Jailbreak‑Versuche, Prompt‑Injection, sensible Daten oder Richtlinienverstöße. Je nach Ergebnis kann eine Aktion erlaubt, überwacht oder blockiert werden.

Überwachung der gesamten Ausführungskette
Viele Angriffe entstehen nicht im Prompt selbst, sondern in Zwischenschritten – etwa durch manipulierte Inhalte in abgerufenen Dokumenten oder riskante Tool‑Aufrufe. Deshalb analysiert die Plattform die komplette Aktionskette eines Agenten.

Policy‑as‑Code: Governance für KI‑Systeme

Ein zentrales Designprinzip hinter der Plattform ist „Policy‑as‑Code“.

Unternehmen besitzen bereits zahlreiche Regeln – etwa Datenschutzrichtlinien, Compliance‑Vorgaben oder interne Sicherheitsstandards. Policy‑as‑Code übersetzt solche Regeln in maschinell durchsetzbare Kontrollen.

Forschung zu KI‑Agenten‑Governance zeigt, dass Richtlinien aus Dokumenten oder technischen Spezifikationen in automatisierte Guardrails übersetzt werden können, die Agentenaktivitäten in Echtzeit überwachen.

Damit lassen sich beispielsweise Regeln definieren wie:

• medizinische oder finanzielle Daten dürfen nicht offengelegt werden
• Entscheidungen mit hoher Wirkung erfordern menschliche Freigabe
• bestimmte Tools dürfen nur eingeschränkt genutzt werden
• alle Aktionen werden für Audits protokolliert

Da diese Regeln versioniert und programmierbar sind, können sie sich parallel zu schnell weiterentwickelnden KI‑Systemen anpassen.

Bezug zum EU AI Act

Ein wichtiger Treiber für solche Governance‑Mechanismen ist die Regulierung.

Der EU AI Act führt ein risikobasiertes Regelwerk für KI ein. Systeme mit hohem Risiko – etwa solche, die Gesundheit, Sicherheit, Beschäftigung oder grundlegende Rechte betreffen – müssen umfangreiche Anforderungen erfüllen, darunter Risikomanagement, Dokumentation, Transparenz, Protokollierung, Robustheit und menschliche Aufsicht.

Plattformen wie Giskard Guards versuchen Unternehmen bei diesen Anforderungen zu unterstützen, etwa durch:

• kontinuierliche Überwachung und Protokollierung
• Richtliniendurchsetzung während der Laufzeit
• Nachvollziehbarkeit automatisierter Entscheidungen

Solche Funktionen können insbesondere Anforderungen wie menschliche Aufsicht und technische Robustheit unterstützen.

Besonders relevant für regulierte Branchen

Der Bedarf an Agent‑Governance ist besonders groß in stark regulierten Bereichen.

Banken und Versicherungen nutzen KI‑Agenten zunehmend für Aufgaben wie Risikoanalyse, Betrugserkennung, Schadenbearbeitung oder Kundensupport. Diese Prozesse beinhalten sensible Finanzdaten und unterliegen strengen regulatorischen Vorgaben.

Im Gesundheitswesen sind die Risiken noch höher. Agenten könnten Patientenakten zusammenfassen, medizinische Informationen abrufen oder Dokumentation unterstützen. Guardrails müssen sicherstellen, dass vertrauliche Gesundheitsdaten geschützt bleiben und automatisierte Vorschläge nicht notwendige menschliche Entscheidungen umgehen.

Deshalb setzen viele Unternehmen auf Sicherheitskontrollen auf Infrastruktur‑Ebene statt ausschließlich auf Prompt‑Regeln.

Europas Strategie für souveräne KI‑Infrastruktur

Giskard positioniert Guards auch im Kontext einer breiteren europäischen Strategie für „souveräne KI“.

Die Plattform unterstützt On‑Premise‑ oder kontrollierte Deployments, sodass sensible Daten, Telemetrie und Sicherheitskontrollen innerhalb der Infrastruktur eines Unternehmens bleiben können.

Für Organisationen, die unter europäischen Datenschutz‑ und KI‑Regeln wie DSGVO und EU AI Act arbeiten, kann die Kontrolle über den Standort von Sicherheits‑ und Monitoring‑Systemen ein entscheidender Faktor sein.

Der größere Wandel: Verhalten statt Inhalte absichern

Mit dem Aufstieg von KI‑Agenten verändert sich auch die Art, wie Sicherheitssysteme funktionieren müssen. Systeme, die nur Eingaben oder generierte Texte analysieren, können die Komplexität agentischer Workflows kaum erfassen.

Der Ansatz von Giskard spiegelt deshalb einen größeren Trend wider: nicht nur Inhalte zu moderieren, sondern das Verhalten von KI‑Agenten über den gesamten Workflow hinweg zu überwachen und Richtlinien in Echtzeit durchzusetzen.

Ob solche Plattformen langfristig komplexe Fehler in großskaligen Unternehmensumgebungen zuverlässig verhindern können, bleibt abzuwarten. Klar ist jedoch, dass kontextbewusste, richtliniengesteuerte Sicherheits‑Layer zunehmend als notwendige Infrastruktur gelten, wenn KI‑Agenten tiefer in geschäftskritische Systeme integriert werden.