KI-Entwicklung bremsen: Was dafür nötig wäre – und welche Rolle Singapur spielen könnte

Eine sinnvolle Bremse für KI würde die Entwicklung besonders leistungsfähiger Systeme verlangsamen, nicht den Einsatz von KI in der gesamten Wirtschaft stoppen. Führende Branchenvertreter haben zuletzt unabhängige Prüfungen und mehr Abstimmung ins Gespräch gebracht. Verlässliche Schutzregeln entstehen daraus aber nicht durch freiwillige Zusagen allein: Prüfungen müssen unabhängig sein, ihre Ergebnisse müssen Folgen haben können, und die Anforderungen sollten sich nach dem Risiko richten.

Singapur kann auf mehreren vorhandenen Ansätzen aufbauen: einem Governance-Rahmen für KI-Agenten, den Testwerkzeugen von AI Verify und einem Programm zur Anerkennung externer KI-Prüfer. Die nächste Aufgabe wäre, diese Instrumente mit klaren, evidenzbasierten Entscheidungen über tatsächlich eingesetzte Systeme zu verknüpfen. 4

Was die Forderungen nach einer KI-Bremse aussagen – und was nicht

Die jüngsten Vorschläge zielen auf das Tempo bei Frontier-KI: besonders leistungsfähigen Systemen, bei denen Sicherheitsmaßnahmen und externe Aufsicht mit den Fortschritten bei den Fähigkeiten womöglich nicht Schritt halten. Zu den in der Berichterstattung genannten Ideen gehören ein laufender Zugang externer Prüfer zu führenden KI-Unternehmen, abgestimmte Sicherheitsstandards und eine breitere internationale Zusammenarbeit.

Das zeigt wachsendes Interesse an solchen Maßnahmen, ist aber noch keine beschlossene Politik und kein bindendes Abkommen zwischen KI-Unternehmen. Der International AI Safety Report beschreibt das Risikomanagement als noch wenig ausgereift und hält fest, dass die meisten Initiativen der Unternehmen freiwillig bleiben. Der Unterschied ist wichtig: Die Zusage eines Unternehmens, ein Modell zu testen, ist für sich genommen keine durchsetzbare Vorschrift, die eine Veröffentlichung bei fortbestehenden erheblichen Risiken verhindert.

Eine risikobasierte Freigabeprüfung statt eines pauschalen Stopps

Ein praktikabler Ansatz würde strengere Bedingungen für Systeme mit größeren Fähigkeiten oder weitreichenden Handlungsvollmachten festlegen – ohne die alltägliche KI-Nutzung pauschal auszubremsen. Ein Werkzeug zum Formulieren von Texten und ein Agent, der folgenreiche Handlungen ausführen darf, sollten nicht automatisch denselben Anforderungen unterliegen. Singapurs Governance-Rahmen für KI-Agenten empfiehlt bereits, Risiken frühzeitig zu bewerten und zu begrenzen sowie bei wichtigen oder sensiblen Handlungen menschliche Freigabepunkte einzurichten. 46

Für Frontier-Modelle und Anwendungen mit großen Auswirkungen könnten Behörden auf diesem Grundsatz aufbauen und einen Freigabeprozess mit folgenden Elementen schaffen:

• Unabhängige Prüfungen vor der Veröffentlichung: Qualifizierte externe Prüfer erhalten sicheren Zugang zu relevanten Systemen und Nachweisen. Sie untersuchen gefährliche Fähigkeiten und absehbare Missbrauchsmöglichkeiten. Ein fortlaufender Zugang für Prüfer wurde in jüngsten Vorschlägen zur Begrenzung der Frontier-Entwicklung gefordert; eine allgemeingültige Pflicht ist er nicht.
• Klare Schwellenwerte und Konsequenzen: Es sollte transparent festgelegt werden, welche Prüfergebnisse zusätzliche Schutzmaßnahmen, Zugangsbeschränkungen oder eine Verzögerung auslösen. Eine nicht bestandene Prüfung sollte eine dokumentierte Reaktion nach sich ziehen – und bei entsprechendem Risiko auch dazu führen können, dass eine Veröffentlichung zurückgestellt wird, statt lediglich eine weitere interne Prüfung anzustoßen. Das sind Vorschläge für die Governance, keine Anforderungen des derzeitigen singapurischen Rahmens. 4
• Schutzmaßnahmen passend zum Einsatz: Wenn KI-Agenten folgenreiche Befugnisse erhalten, kommen begrenzte Zugriffsrechte, menschliche Freigaben für wichtige Aktionen, laufende Überwachung und klare Verantwortlichkeiten infrage. Singapurs Rahmenwerk befürwortet eine Begrenzung der Risiken und wirksame menschliche Aufsicht; die konkreten Maßnahmen sollten sich nach System und Einsatz richten. 48
• Erneute Prüfung bei wesentlichen Änderungen: Größere Veränderungen am Modell, an seinen Werkzeugen oder am Einsatzkontext sollten neu bewertet werden. Eine frühere Prüfung ist keine dauerhafte Sicherheitsgarantie. Das wäre ein möglicher Weg, die Aussagekraft der Prüfung bei Veränderungen am eingesetzten System zu erhalten.

Für Anwendungen mit geringerem Risiko sollte es einen klareren und leichteren Weg zum Einsatz geben. Risikobasierte Regeln können die Nutzung in Unternehmen ermöglichen, ohne eine bestandene Prüfung als Beleg dafür zu behandeln, dass ein System in jedem Kontext sicher ist. Der EU AI Act ist ein Beispiel für eine Regulierung, die sich an den Risiken unterschiedlicher KI-Anwendungen orientiert.

Regeln öffentlich festlegen, Prüfungen unabhängig halten

Internationale Abstimmung könnte Prüfungen vergleichbarer machen und den Anreiz verringern, Aufsicht mit möglichst niedrigen Anforderungen zu suchen. Regierungen könnten gemeinsame Testmethoden, den Austausch von Informationen über Zwischenfälle und Mindestanforderungen für Systeme mit besonders hohem Risiko vereinbaren. Unabhängige Prüfer könnten anschließend anhand dieser Maßstäbe Nachweise erbringen. Auch die jüngsten Vorschläge zur Verlangsamung der Entwicklung setzen auf Zusammenarbeit zwischen Unternehmen und über Ländergrenzen hinweg.

Wichtig ist dabei die Aufgabenverteilung: Öffentliche Stellen sollten verbindliche Schwellenwerte festlegen und bestimmen, welche Folgen ihre Überschreitung hat. Unternehmen können technisches Wissen beitragen, sollten aber nicht allein darüber entscheiden, ob ihre eigenen Systeme die Anforderungen erfüllen. Unabhängige Prüfer brauchen nachvollziehbare Methoden und müssen Interessenkonflikte offenlegen. Das sind Gestaltungsprinzipien für ein mögliches Aufsichtssystem – keine bereits etablierten Merkmale der öffentlich diskutierten Branchenvorschläge.

Worauf Singapur aufbauen kann

Singapurs Model AI Governance Framework for Agentic AI bietet Organisationen Orientierung für den Einsatz von KI-Agenten. Dazu gehören Risikobewertung, menschliche Verantwortlichkeit und Schutzmaßnahmen. Es handelt sich um eine Anleitung für einen verantwortungsvollen Einsatz, nicht um eine verbindliche Freigabeprüfung. 468

AI Verify stellt Testwerkzeuge bereit. Das AI Tester Accreditation Programme wiederum erkennt externe Prüfdienstleister an, die über einschlägige technische Fähigkeiten und die nötige betriebliche Einsatzbereitschaft verfügen. Zusammen könnten diese Initiativen dazu beitragen, Prüfungen in Wirtschaft und Finanzbranche einheitlicher zu gestalten. Singapur könnte außerdem gemeinsame Prüfprofile und Vertragsstandards fördern, die klären, welche Nachweise von Modellanbietern, Systemintegratoren, Betreibern und Prüfern erwartet werden. Das wären mögliche nächste Schritte, keine bereits beschlossenen Maßnahmen der genannten Programme.

Ein sinnvolles Ziel wäre die grenzüberschreitende Anerkennung von Prüfnachweisen und Methoden – nicht die Behauptung, ein einzelnes nationales Zertifikat garantiere die Sicherheit jedes Systems und jeder Anwendung. Rahmenwerk und Testwerkzeuge können helfen, Nachweise besser zu strukturieren. Behörden und Unternehmen müssen dennoch beurteilen, ob diese Nachweise die tatsächliche Anwendung und ihre Risiken abdecken.

KI-Sicherheit, Softwarezuverlässigkeit und Cybersicherheit gemeinsam betrachten

Die Prüfung der Ausgaben eines Modells ist nur ein Teil der Bewertung eines KI-Agenten. Eine vollständige Untersuchung sollte auch die Software rund um das Modell und die Sicherheit der Werkzeuge und Berechtigungen berücksichtigen, auf die es zugreifen kann. Dabei geht es um drei verwandte, aber unterschiedliche Fragen: Welche schädlichen Verhaltensweisen kann die KI zeigen? Wie verhält sich die zusammengesetzte Anwendung, wenn etwas ausfällt oder sich ändert? Und kann ein Angreifer das System kompromittieren oder in eine andere Richtung lenken?

Eine solche gemeinsame Prüfung ist eine empfohlene Erweiterung der Qualitätssicherung – keine Behauptung, dass jedes bestehende Werkzeug schon alle drei Bereiche abdeckt. Das AI Verify Toolkit beschreibt technische Tests für herkömmliche maschinelle Lernsysteme, unter anderem zu Fairness, Erklärbarkeit und Robustheit. Umso wichtiger ist es, für den Einsatz von KI-Agenten genau festzulegen, welche zusätzlichen Tests des Gesamtsystems nötig sind, statt anzunehmen, ein Ergebnis auf Modellebene zertifiziere automatisch die ganze Anwendung.

Woran sich eine wirksame KI-Bremse messen lässt

Eine Bremse ist dann wirksam, wenn unabhängige Nachweise den weiteren Verlauf tatsächlich beeinflussen können: Eine Veröffentlichung mit hohem Risiko kann verzögert, eingeschränkt oder korrigiert werden, wenn Schutzmaßnahmen nicht ausreichen. Gleichzeitig behalten alltägliche Anwendungen mit geringerem Risiko einen angemessenen Weg zum Einsatz. Singapurs Rahmenwerke und Testprogramme bieten eine Grundlage für eine solche Qualitätssicherung. Freigabeschwellen, Durchsetzung und Umfang der Prüfungen müssten jedoch ausdrücklich festgelegt werden.