Je leistungsfähiger KI-Modelle werden, desto schwieriger lassen sich ihre Sicherheitsrisiken allein durch ein Unternehmen oder einen Staat beurteilen. Das ist der Ausgangspunkt der Initiative A Call for Control of Frontier AI Models, die am 21. September 2026 während der Woche der UN-Generalversammlung in New York vorgestellt wurde. Sie soll sicherstellen, dass Menschen die Kontrolle behalten, ohne auf die möglichen Vorteile von KI zu verzichten.
1
31
33
Warum Singapur mitmacht
Singapurs Premierminister Lawrence Wong brachte die Abwägung auf den Punkt: KI biete enormes Potenzial, müsse aber unter menschlicher Kontrolle und Aufsicht bleiben. Singapur war der einzige südostasiatische Staat unter den anfänglichen Unterstützern des gemeinsamen Aufrufs.
6
17
Auch die Erklärung erkennt an, dass KI das Leben verbessern, die Wissenschaft voranbringen und Volkswirtschaften stärken kann. Zugleich warnt sie vor Sicherheitsrisiken durch die schnelle Entwicklung besonders fortgeschrittener Modelle. Sie fordert menschliche Aufsicht und die Entwicklung und Nutzung von KI im Einklang mit dem Völkerrecht.
13
31
Was sich konkret ändern soll
Die Unterzeichner schlagen Maßnahmen auf drei Ebenen vor:
- KI-Unternehmen sollen transparente Sicherheitsverfahren einführen. Dazu gehören verpflichtende Tests vor dem Einsatz und unabhängige Bewertungen; qualifizierte Prüfer sollen ausreichend Zugang erhalten, um Risiken einschätzen zu können.
30
- Regierungen und regionale Organisationen sollen gemeinsame Standards abstimmen und schwerwiegende Sicherheitsvorfälle transparenter melden. Die Vorschläge sehen außerdem einen breiteren Zugang zu wissenschaftlicher Expertise und vertrauenswürdigen Prüfungen vor.
25
30
- UN-Mitgliedstaaten sollen bestehende internationale Mechanismen nutzen und eine mögliche Institution prüfen, die Standards setzen, deren Einhaltung überprüfen und Staaten zusammenbringen könnte, wenn KI-Modelle bestimmte Fähigkeitsschwellen überschreiten.
29
36
Wichtig ist die Unterscheidung: Die Erklärung schafft eine solche Institution noch nicht. Sie setzt auf Tests, Überprüfung und gemeinsame Aufsicht; eine ausdrückliche Forderung nach einem Stopp der Entwicklung besonders leistungsfähiger KI ist in den angeführten Vorschlägen nicht enthalten.
29
30
36
Wer den Aufruf trägt
Initiiert wurde er vom finnischen Präsidenten Alexander Stubb und Norwegens Ministerpräsident Jonas Gahr Støre. Nach Angaben des finnischen Präsidialamts unterstützten ihn zum Start Finnland und Norwegen sowie Dänemark, Island, Estland, Lettland, die Niederlande, Irland, Deutschland, Spanien, Moldau, die Türkei, die Vereinigten Arabischen Emirate, Bahrain, Kasachstan, Singapur, Kenia, Südafrika, Kanada und Australien. Hinzu kam die Europäische Kommission. Das Präsidialamt berichtet auch von weiteren Unterstützern nach dem Start – die ursprüngliche Liste ist also keine endgültige.
33
Die USA und China gehörten nicht zu den anfänglichen Unterstützern. Stubb äußerte die Hoffnung, weitere Beteiligte zu gewinnen. Aus dem Fernbleiben allein lässt sich jedoch nicht ableiten, warum die beiden Regierungen nicht mitmachten.
9 UN-Generalsekretär António Guterres begrüßte die Initiative und unterstützte ausdrücklich die Prüfung internationaler Standards, von Überprüfungsmöglichkeiten und eines Verfahrens, um Staaten beim Überschreiten von Fähigkeitsschwellen zusammenzubringen.
36
Der Aufruf fiel in eine Phase wachsender Aufmerksamkeit für die Sicherheit fortgeschrittener KI: Microsoft hatte Leitprinzipien für seine neuesten Modelle veröffentlicht, und Anthropic kündigte wenige Tage zuvor eine Partnerschaft mit Accenture für unabhängige Bewertungen an. Beides liefert Kontext – belegt aber nicht, dass diese Schritte die Erklärung ausgelöst haben.
39
40