Microsofts RAMPART und Clarity sollen KI‑Agenten in Unternehmen sicherer machen

RAMPART: Kontinuierliche Angriffstests für KI‑Agenten

RAMPART steht für Risk Assessment and Measurement Platform for Agentic Red Teaming. Das Framework wurde speziell entwickelt, um Sicherheits‑ und Angriffsszenarien für KI‑Agenten automatisiert zu testen.

Pytest‑basierter Testansatz

RAMPART integriert sich direkt in pytest, ein weit verbreitetes Testframework im Python‑Ökosystem. Entwickler können Sicherheitsprüfungen für KI‑Agenten daher genauso schreiben wie normale Unit‑ oder Integrationstests.

Diese Tests lassen sich automatisch in CI‑Pipelines (Continuous Integration) ausführen – also jedes Mal, wenn sich Code, Modelle oder Konfigurationen ändern.

Angriffsszenarien als automatisierte Tests

Mit RAMPART können Teams typische Risiken für KI‑Agenten gezielt simulieren, etwa:

• Prompt‑Injection‑Angriffe
• Versuche, Sicherheitsrichtlinien zu umgehen
• gefährliche Tool‑Aufrufe (z. B. riskante Shell‑Befehle)
• Datenabfluss aus internen Systemen

Jedes dieser Szenarien wird als Testfall implementiert. Das System prüft dann, ob der Agent korrekt reagiert – beispielsweise indem er eine Anfrage ablehnt oder nur eingeschränkten Zugriff gewährt.

Red‑Team‑Erkenntnisse werden zu Regressionstests

Ein zentrales Ziel von RAMPART ist es, einmal entdeckte Schwachstellen dauerhaft abzusichern. Wird beispielsweise eine Prompt‑Injection erfolgreich demonstriert, kann dieses Szenario als Regressionstest gespeichert werden.

So wird automatisch überprüft, ob spätere Änderungen denselben Fehler erneut einführen.

Umgang mit probabilistischem KI‑Verhalten

Im Gegensatz zu klassischer Software reagieren KI‑Modelle nicht immer identisch. Selbst wenn ein Test einmal besteht, kann das Verhalten bei einem späteren Lauf variieren.

RAMPART berücksichtigt diese Eigenschaft, indem riskante Szenarien wiederholt über viele Testläufe hinweg ausgeführt werden. Dadurch lassen sich Sicherheitsregressionen erkennen, die bei einmaligen Tests unentdeckt bleiben könnten.

Integration in CI/CD‑Pipelines

Da die Tests automatisch in Build‑ und Deployment‑Prozesse eingebunden werden können, lassen sich Änderungen an kritischen Komponenten kontrollieren, etwa:

• Prompts und Systemanweisungen
• verwendete KI‑Modelle
• verbundene Tools oder APIs
• Retrieval‑ oder Datenquellen
• Sicherheitsrichtlinien

Schlägt ein Sicherheitstest fehl, kann die Pipeline den Release blockieren, bevor eine riskante Version in Produktion geht.

Clarity: Sicherheitsanalyse schon vor dem ersten Code

Während RAMPART vor allem das Testen abdeckt, setzt Clarity deutlich früher an – nämlich bei der Planung eines KI‑Agenten.

Microsoft beschreibt Clarity als eine Art strukturierte Denk‑ und Diskussionshilfe für Entwicklungsteams. Sie unterstützt dabei, zentrale Fragen zu klären, bevor überhaupt Code geschrieben wird.

Typische Fragen sind zum Beispiel:

• Welche Aufgaben soll der Agent übernehmen – und welche ausdrücklich nicht?
• Welche Tools, Datenquellen oder Berechtigungen braucht er?
• Welche Missbrauchs‑ oder Fehlerszenarien sind plausibel?
• Welche Schutzmechanismen und Tests sollten vor dem Deployment existieren?

Diese strukturierte Analyse hilft Teams, riskante Annahmen früh zu erkennen – also zu einem Zeitpunkt, an dem Designänderungen noch relativ einfach umzusetzen sind.

Einsatz nach Vorfällen oder fehlgeschlagenen Tests

Clarity ist nicht nur für die Planung gedacht. Das Tool kann auch nach einem Sicherheitsvorfall oder fehlgeschlagenen Tests eingesetzt werden.

Wenn ein Agent beispielsweise einen RAMPART‑Test nicht besteht oder sich in der Praxis unerwartet verhält, können Teams mit Clarity analysieren:

• welche Annahmen im Design falsch waren
• welche Sicherheitskontrollen fehlten
• welche neuen Tests künftig notwendig sind

Diese Erkenntnisse lassen sich anschließend wieder in neue RAMPART‑Regressionstests überführen – wodurch das System Schritt für Schritt robuster wird.

Warum dieser Ansatz für Unternehmen wichtig ist

Unternehmens‑KI‑Agenten arbeiten oft in komplexen Umgebungen: Sie lesen interne Dokumente, greifen auf Datenbanken zu, führen Skripte aus oder kommunizieren mit externen Diensten.

Fehler oder Manipulationen können daher echte operative oder sicherheitsrelevante Folgen haben. Prompt‑Injection‑Angriffe oder missbräuchliche Tool‑Aufrufe gehören inzwischen zu den zentralen Risiken solcher Systeme.

Microsofts Ansatz mit RAMPART und Clarity verfolgt deshalb ein klares Ziel: Sicherheit soll eine kontinuierliche Ingenieurdisziplin werden, nicht nur eine einmalige Prüfung vor dem Produktstart. Entwickler sollen Risiken früh identifizieren, sie regelmäßig testen und jede entdeckte Schwachstelle in dauerhafte Schutzmechanismen übersetzen.

Mit zunehmender Autonomie von KI‑Agenten könnte genau dieser Ansatz – Sicherheit fest in den Entwicklungsworkflow einzubauen – zu einem Standard in der Entwicklung zuverlässiger Unternehmens‑KI werden.