AntwortenVeröffentlicht20 Quellen
KI-Agenten sicher und schrittweise skalieren
Unternehmen sollten KI Agenten erst dann mehr Befugnisse geben, wenn Zugriffsgrenzen, klare Verantwortlichkeiten, wirksame Freigaben und nachvollziehbare Protokolle zuverlässig funktionieren. Singapurs rund viermonatige Sandbox erprobte Agenten bei Softwaretests, Chatbot Sicherheit und Anträgen auf Sozialhilfe.
Veröffentlicht vonBearbeitet mit GPT-6 LunaBilder erstellt mit GPT Image 2
Forschungsantwort
Wichtige Erkenntnisse
- Unternehmen sollten KI Agenten erst dann mehr Befugnisse geben, wenn Zugriffsgrenzen, klare Verantwortlichkeiten, wirksame Freigaben und nachvollziehbare Protokolle zuverlässig funktionieren.
- Singapurs rund viermonatige Sandbox erprobte Agenten bei Softwaretests, Chatbot Sicherheit und Anträgen auf Sozialhilfe.
KI-Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How can enterprises in Singapore’s highly regulated business environment safely scale agentic AI from controlled experiments into accountabl. Article summary: Singapore enterprises should scale agentic AI through progressively earned autonomy, not by giving successful prototypes unrestricted production access. The recommended approach is to treat every agent as a controlled op. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
KI-Agenten können mehr als Antworten vorschlagen: Sie können Kundendaten ändern, Werkzeuge aufrufen oder mehrstufige Abläufe vorantreiben. Für Unternehmen besteht der sichere Weg vom Experiment in den Produktivbetrieb darin, ihnen schrittweise mehr Befugnisse zu geben – und zwar erst dann, wenn Zugriff, Aufsicht und Wiederherstellung im konkreten Einsatz nachweislich funktionieren. Singapurs Governance-Rahmen bietet dafür eine Orientierung; die folgenden Maßnahmen übersetzen sie in einen praktischen Ansatz für die Einführung. 10
11
Was Singapurs Sandbox und die Adoptionszahlen zeigen
In der AI Agents Sandbox von Google und den singapurischen Behörden CSA, GovTech Singapore und IMDA wurden über ungefähr vier Monate mögliche Anwendungen für automatisierte Softwarequalitätssicherung, Chatbot-Sicherheitstests und die Bearbeitung von Sozialhilfeanträgen erprobt. Der Versuch zeigte Potenzial, machte aber auch Fragen zu Aufsicht, Cybersicherheit, Datenschutz und Governance sichtbar. Es handelte sich um ein kontrolliertes Experiment – nicht um eine pauschale Bestätigung, dass Agenten für den Einsatz in sämtlichen Unternehmenssystemen bereit sind. 4
12
Der Druck, den Einsatz auszuweiten, ist dennoch groß: Laut Deloitte planten 72 Prozent der Unternehmen in Singapur, agentische KI innerhalb von zwei Jahren in mehreren Geschäftsbereichen einzusetzen. Zum Zeitpunkt des Berichts waren es 15 Prozent. In einer separaten globalen Erhebung gaben 21 Prozent der befragten Unternehmen an, über eine ausgereifte Governance für agentische KI zu verfügen. Diese globale Zahl ist keine Kennzahl für Singapur allein. 24
26
Singapurs Model AI Governance Framework for Agentic AI gliedert seine Empfehlungen in vier Bereiche: Risiken einschätzen und begrenzen, Menschen wirksam verantwortlich machen, technische Kontrollen über den gesamten Lebenszyklus hinweg umsetzen und einen verantwortungsvollen Einsatz durch Endnutzer ermöglichen. Der Rahmen ist eine Grundlage für Governance – aber kein Nachweis dafür, dass ein bestimmtes System ohne Tests im vorgesehenen Umfeld sicher ist. 10
11
Befugnisse schrittweise erweitern
Ein erfolgreicher Prototyp ist ein Grund für den nächsten Evaluationsschritt, nicht für uneingeschränkten Zugriff im Produktivbetrieb. Ein praktikabler Stufenplan sieht so aus:
- Tests ohne Live-Anbindung: Repräsentative Aufgaben und Fehlerszenarien prüfen, ohne den Agenten mit laufenden Systemen zu verbinden.
- Lesender Schattenbetrieb: Der Agent darf freigegebene Daten einsehen und Aktionen vorschlagen; Entscheidungen und Ausführung bleiben zunächst bei den Mitarbeitenden.
- Änderungen mit menschlicher Freigabe: Eng begrenzte Schreibzugriffe zulassen, nachdem eine befugte Person die konkrete Aktion und die zugrunde liegenden Informationen geprüft hat.
- Begrenzte autonome Ausführung: Definierte und rückgängig zu machende Aktionen ohne Einzelfreigabe erlauben – aber erst, wenn Tests belegen, dass die Kontrollen zuverlässig greifen.
Für jede Stufe sollte es eine klare Freigabeentscheidung geben. Maßstab ist nicht allein, ob der Agent die Aufgabe erledigt: Zu prüfen sind auch unbefugte Aktionen, mögliche Datenoffenlegung, der Umgang mit unklaren Informationen, die Wirksamkeit menschlicher Eingriffe und die Wiederherstellung nach Fehlern. Singapurs Agentic Testing Starter Kit bietet eine praktische Orientierung. Die Tests für die eigenen Agenten, Werkzeuge und Abläufe muss jedes Unternehmen jedoch selbst durchführen. 1
36
Zugriffe begrenzen und Freigaben konkret gestalten
Bevor ein Agent an Kundendaten, Finanzprozesse oder Betriebsdatenbanken angeschlossen wird, muss seine Befugnis genau festgelegt sein. Dazu gehört, auf welche Systeme, Datensätze, Felder, Werkzeuge und Ziele er zugreifen darf – und welche Aktionen eine Freigabe erfordern. Wo es sinnvoll ist, sollten außerdem Grenzen für Transaktionshöhe, Aktionshäufigkeit und Ausführungsdauer gelten.
Eine menschliche Prüfung ist am wirksamsten als Kontrollpunkt vor einer folgenreichen Aktion, nicht nur als nachträgliche Kontrolle. Die prüfende Person sollte die geplante Änderung, die betroffenen Datensätze, die Belege und die voraussichtlichen Folgen sehen. Die Freigabe muss sich auf genau diese Aktion beziehen; ändern sich die relevanten Daten oder die Aktion selbst, sollte eine neue Freigabe nötig sein.
Diese Grenzen sollten außerhalb des Modells durchgesetzt werden. Ein kontrolliertes Gateway für Werkzeugaufrufe kann Identität, Berechtigungen, Aktionsparameter und Richtlinien prüfen, bevor eine Anfrage ein Geschäftssystem erreicht. Bei Finanzabläufen sollten Vorschlag, Autorisierung und Ausführung voneinander getrennt sein. Bei Änderungen an Kundendaten sollten die ursprünglichen und aktualisierten Werte sowie die Begründung dokumentiert werden.
Auf uneinheitliche Systeme und nicht vertrauenswürdige Inhalte vorbereiten
Fragmentierte Systeme, ältere Anwendungen, mehrere Datenverantwortliche und mehrdeutige Dokumente machen den Produktiveinsatz schwieriger als eine Vorführung in der Sandbox. Zwischen Agenten und Geschäftssystemen sollten validierte Schnittstellen liegen. Außerdem muss die jeweils zuständige Stelle den Datenzugriff genehmigen. Prüfen Sie, ob Datensätze aktuell und im erwarteten Format sind. Sind Angaben widersprüchlich oder unklar, sollte der Fall an einen Menschen gehen, statt den Agenten raten zu lassen.
E-Mails, Dokumente und Webinhalte sind als nicht vertrauenswürdige Eingaben zu behandeln. Indirekte Prompt-Injection kann in Material stecken, das ein Agent liest. Abgerufene Inhalte dürfen daher weder neue Berechtigungen schaffen noch Aktionsrichtlinien außer Kraft setzen. Bevor der Zugriff ausgeweitet wird, sollte getestet werden, ob sich der Agent dazu verleiten lässt, ein nicht freigegebenes Werkzeug einzusetzen oder eine Aktion außerhalb seines Aufgabenbereichs auszuführen. 35
43
Auch Betriebsstörungen müssen berücksichtigt werden – nicht nur Modellfehler. Testen Sie doppelte Anfragen, veraltete Datensätze, Teilausfälle und gleichzeitige Änderungen. Sehen Sie Validierungen und Abstimmungen vor und legen Sie fest, wie eine Ausführung gestoppt sowie eine Änderung korrigiert oder rückgängig gemacht werden kann. Welche Kontrollen im Einzelnen nötig sind, hängt vom System und den möglichen Folgen eines Fehlers ab.
Datensouveränität als nachweisbare Kontrolle verstehen
Für den Unternehmenseinsatz lässt sich Datensouveränität praktisch so verstehen: Die Organisation kann belegen, wohin sensible Informationen gelangen, wer darauf zugreifen kann, wie sie verwendet oder gespeichert werden und welche Nachweise diese Kontrollen stützen. Der Serverstandort allein gewährleistet noch keine umfassende Kontrolle.
Erfassen Sie den gesamten Datenfluss – einschließlich Modellinferenz, Datenabruf, Embeddings, Agentengedächtnis, Orchestrierung und Protokollen. Legen Sie fest, welche Komponenten sensible Informationen verarbeiten dürfen und unter welchen Bedingungen. Unterscheiden Sie zwischen einer gewöhnlichen Anfrage und dauerhaftem Speichern, Feinabstimmung oder Modelltraining. Eine Speicherung oder Weiterverwendung über den vorgesehenen Zweck hinaus sollte ausdrücklich genehmigt werden.
Wählen Sie die Infrastruktur anhand der Kontrollen, die sich tatsächlich überprüfen lassen – etwa Zugriffsbeschränkungen, Verwaltung von Verschlüsselungsschlüsseln, Aufbewahrungsfristen, Vertragsbedingungen des Anbieters und Rechtsraum. Gehen Sie nicht pauschal davon aus, dass eine öffentliche Cloud oder eine lokale Infrastruktur grundsätzlich sicherer ist. Die passende Architektur hängt von den Daten, den Verpflichtungen und der Risikobewertung des Unternehmens ab.
Verantwortung über den gesamten Lebenszyklus sichtbar machen
Benennen Sie für jeden produktiv eingesetzten Agenten eine fachlich verantwortliche Person und eine technische Betriebsverantwortung. Halten Sie außerdem fest, wer für die Daten und für die Freigabe von Aktionen zuständig ist – und wer den Agenten anhalten oder deaktivieren kann. Solche klaren Rollen machen menschliche Verantwortung überprüfbar und entsprechen dem Schwerpunkt des Governance-Rahmens auf eindeutiger Zuständigkeit und technischen Schutzmaßnahmen. 10
11
Führen Sie versionierte Aufzeichnungen über das verwendete Modell, Prompts, Werkzeuge, Berechtigungen und Richtlinien. Protokollieren Sie die Identität des Agenten, Datenreferenzen, Werkzeugaufrufe, Richtlinienprüfungen, Freigaben und Ausführungsergebnisse in gegen unbefugte Änderungen geschützten Aufzeichnungen. Halten Sie die Belege für eine Entscheidung und eine knappe Erklärung fest. Eine vom Modell erzeugte Erklärung allein beweist nicht, wie es intern zu seiner Antwort gekommen ist.
Überwachen Sie ungewöhnliche Zugriffe, unerwartete Ziele, steigende Fehlerraten und Versuche, Freigaben zu umgehen. Legen Sie Schwellenwerte fest, bei deren Überschreitung der Agent pausiert und ein Mensch den Vorfall untersucht. Testen Sie erneut, wenn sich Modell, Werkzeuge, Datenquellen oder Berechtigungen ändern. Prüfen Sie außerdem regelmäßig, ob der Agent noch für seine genehmigte Aufgabe geeignet ist. Das Agentic Testing Starter Kit kann diese Arbeit unterstützen, ersetzt aber keine unternehmensspezifische Absicherung. 1
36
Die entscheidende Frage vor dem Produktiveinsatz ist einfach: Kann das Unternehmen nachweisen, dass der Agent autorisierten Zugriff hat, innerhalb klarer Grenzen arbeitet, wirksam unterbrochen werden kann und überprüfbare Spuren seiner Aktionen hinterlässt? Mehr Autonomie sollte es erst geben, wenn die Antwort Ja lautet. Eine Sandbox kann Potenzial zeigen; verantwortbarer Produktiveinsatz braucht den Nachweis, dass die Kontrolle funktioniert.
Studio Global AI
Setzen Sie Ihre Recherche fort
Diese Seite enthält eine quellengestützte Antwort, die Sie in Studio Global fortsetzen können.
Die Leute fragen auch
Wie lautet die kurze Antwort auf „KI-Agenten sicher und schrittweise skalieren“?
Unternehmen sollten KI Agenten erst dann mehr Befugnisse geben, wenn Zugriffsgrenzen, klare Verantwortlichkeiten, wirksame Freigaben und nachvollziehbare Protokolle zuverlässig funktionieren.
Was sind die wichtigsten Punkte, die zuerst validiert werden müssen?
Unternehmen sollten KI Agenten erst dann mehr Befugnisse geben, wenn Zugriffsgrenzen, klare Verantwortlichkeiten, wirksame Freigaben und nachvollziehbare Protokolle zuverlässig funktionieren. Singapurs rund viermonatige Sandbox erprobte Agenten bei Softwaretests, Chatbot Sicherheit und Anträgen auf Sozialhilfe.
Quellen
imda.gov.sgMODEL AI GOVERNANCE FRAMEWORK FOR AGENTIC AI
csa.gov.sgAI Agents: Insights from the Singapore Government and Google...