KI-Risiken: Singapur setzt auf unabhängige Prüfungen und klare Grenzen für Agenten

Die Frage, ob KI eines Tages die Menschheit gefährden könnte, lässt sich derzeit nicht durch einen Sicherheitstest abschließend beantworten. Stimmen aus Singapurs KI-Branche ziehen daraus jedoch keinen Grund zum Abwarten: Sie fordern unabhängige Prüfungen, Einblick in Sicherheitspraktiken und klare Grenzen für das, was eingesetzte Systeme tun dürfen. 732

Was die Debatte im September verschärft hat

Jacob Coxon kündigte bei Anthropic, nachdem er zuvor auch bei OpenAI gearbeitet hatte. Er warf beiden Unternehmen vor, unverantwortlich auf KI hinzuarbeiten, die ihre eigenen Fähigkeiten verbessern könnte. Anthropic-Forscher Evan Hubinger teilte die Sorge und schätzte persönlich das Risiko, dass KI innerhalb des nächsten Jahrzehnts zur Auslöschung der Menschheit führt, auf mehr als zehn Prozent. Das ist seine Einschätzung – keine gemessene Wahrscheinlichkeit und kein Beleg für eine unmittelbar bevorstehende Katastrophe. 34

Anthropic-Chef Dario Amodei sprach sich am 12. September für eine langsamere Entwicklung aus. Sein Vorschlag umfasst auch Zugang für unabhängige Prüfer: Sie sollen nachvollziehen können, ob Sicherheitspraktiken und entsprechende Kommunikation eingehalten werden, und Vorfälle melden. Damit wird aus einer schwer zu entscheidenden Zukunftsfrage eine konkrete Gegenwartsfrage: Was können Außenstehende tatsächlich überprüfen? 1332

Prüfen, was sich prüfen lässt

Singapur hat dafür bereits ein Instrument: Das 2022 eingeführte Toolkit AI Verify unterstützt technische Prüfungen darauf, ob KI-Ergebnisse fair, robust und erklärbar sind. Ein Programm zur Akkreditierung von KI-Prüfern soll zusätzliche Testkapazitäten schaffen. Solche Verfahren können Schwächen bestehender Systeme sichtbar machen – sie garantieren nicht die Sicherheit aller künftigen Systeme. 1933

Dazu reicht die Zusicherung eines Anbieters, sein Modell habe interne Tests bestanden, nicht aus. Unabhängige Prüfer benötigen angemessenen Zugang zu den Sicherheitspraktiken und Informationen über Vorfälle. Organisationen wiederum brauchen Transparenz und Kontrollmöglichkeiten, bevor sie ein Modell mit ihren Daten und Arbeitsabläufen verbinden. Selbst Zugang zu den Modellgewichten allein erklärt noch nicht sämtliche Trainingsentscheidungen, Fehler oder Schutzmaßnahmen. 3234

Das schließt gezielte Entwicklungsstopps nicht aus. Ein in der Debatte zitierter Experte aus Singapur hält eine Pause bei einer konkreten Tätigkeit für geboten, wenn Entwickler das betreffende System nicht ausreichend beherrschen oder den Umgang mit schwerwiegenden Risiken nicht erklären können. Das ist etwas anderes als ein pauschaler Stopp sämtlicher KI-Arbeit. 32

KI-Agenten brauchen Grenzen, bevor sie handeln

Besonders unmittelbar wird die Frage bei KI-Agenten: Systemen, die Werkzeuge nutzen und Aufgaben über mehrere Arbeitsschritte hinweg selbstständig ausführen können. Singapurs Behörde für digitale Entwicklung, die Infocomm Media Development Authority (IMDA), stellte im Januar 2026 einen Governance-Rahmen für solche Agenten vor. Er empfiehlt, Risiken vorab zu bewerten und Autonomie sowie Zugriff auf Werkzeuge und Daten zu begrenzen. Die aktualisierte Fassung konkretisiert das Prinzip der minimal nötigen Berechtigungen. Es handelt sich um Leitlinien, nicht um ein generelles gesetzliches Verbot des Agenteneinsatzes. 504852

Für Organisationen heißt das: Jeder Agent braucht eine klar benannte menschliche Verantwortungsperson, eng gefasste Berechtigungen, nachvollziehbare und möglichst rückgängig zu machende Handlungen sowie laufende Überwachung. Das ist belastbarer als die bloße Behauptung, ein Agent sei „sicher“. 34 Singapurs Ministerin Josephine Teo hat die vertrauensbildende Rolle von KI-Schutzmaßnahmen und Standards mit Sicherheitspraktiken in der zivilen Luftfahrt verglichen. 17

Der Kern der Antwort lautet: Rechenschaft trotz Unsicherheit. Bestehende Systeme prüfen, unabhängige Kontrolle ermöglichen und einem Agenten keine Befugnisse geben, die sich nicht sicher steuern lassen. Die langfristige Risikodebatte ist damit nicht entschieden – aber Entwickler und Anwender erhalten Aufgaben, die sie jetzt angehen können. 3248