Das Programm soll deshalb ein Netzwerk glaubwürdiger Prüfunternehmen aufbauen. Diese sollen KI-Anwendungen in Bereichen wie Gesundheitswesen, Finanzwesen, Personalgewinnung und öffentlichen Dienstleistungen untersuchen können. Gleichzeitig soll ein praxisnaher Mindeststandard dafür entstehen, wie eine gute technische KI-Absicherung – im Englischen häufig AI assurance genannt – aussehen sollte.

Akkreditierte Anbieter werden für einen dokumentierten und klar abgegrenzten Prüfungsumfang anerkannt. Unternehmen, die externe Tester suchen, sollen leichter geeignete Dienstleister finden können. Das soll das Vertrauen von Organisationen, weiteren Beteiligten und letztlich auch von Nutzerinnen und Nutzern stärken.

Wichtig ist jedoch die Abgrenzung: Eine AI-TAP-Akkreditierung bedeutet nicht, dass ein bestimmtes KI-System vollständig sicher oder frei von Risiken ist. Risiken, die erst durch die konkrete Einbindung, die jeweilige Anwendung oder neue Angriffsmethoden entstehen, können bestehen bleiben. Für Governance, die Akzeptanz verbleibender Risiken und zusätzliche Schutzmaßnahmen bleibt die einsetzende Organisation verantwortlich.

Was die akkreditierten Tester untersuchen sollen

Die Anbieter können sogenannte Red-Team-Tests durchführen. Dabei versuchen Prüfer gezielt, Schutzmechanismen zu umgehen – etwa durch Prompt Injection oder Jailbreaks. Bei solchen Angriffen werden Anweisungen so manipuliert, dass ein Modell seine vorgesehenen Regeln ignoriert und beispielsweise unerlaubte, schädliche oder anderweitig unsichere Antworten erzeugt.

Der mögliche Prüfungsumfang umfasst unter anderem:

• Sicherheit und Zuverlässigkeit: etwa ungenaue oder erfundene Antworten sowie schädliche oder unerwünschte Inhalte.
• Fairness: beispielsweise Verzerrungen bei automatisierten Entscheidungen.
• Datenschutz und Sicherheit: darunter Datenlecks und technische Schwachstellen.
• Widerstandsfähigkeit gegen Prompt Injection und Jailbreaks: besonders relevant für generative KI und KI-Agenten, die eigenständig mit Daten oder digitalen Werkzeugen arbeiten.

Welche Anforderungen Unternehmen erfüllen müssen

Bei der Bewerbung soll nicht nur die technische Testfähigkeit geprüft werden. Auch die organisatorische Leistungsfähigkeit des Anbieters spielt eine Rolle. Zu den genannten Kriterien gehören:

• Technische Kompetenz: Das Unternehmen muss nachweisen, dass es die von ihm angebotenen konkreten Prüfleistungen tatsächlich erbringen kann. Als Orientierung dient unter anderem das IMDA-„Starter Kit for Testing LLM-Based Applications for Safety and Reliability“.
• Governance und geschäftliche Integrität: Erwartet werden einschlägige Erfahrung, ein guter geschäftlicher Ruf und die Bereitschaft, in Singapur geschäftlich tätig zu sein.
• Finanzielle Tragfähigkeit: Der Anbieter muss finanziell ausreichend stabil sein, um seine Tätigkeit nachhaltig auszuüben.
• Operative Bereitschaft: Erforderlich sind angemessene Kapazitäten und die Fähigkeit, die angebotenen Prüfungen praktisch durchzuführen.
• Übereinstimmung des Leistungsumfangs: Der deklarierte Geschäfts- und Prüfungsumfang muss zu den nachgewiesenen Fähigkeiten passen.

Die fünf zentralen Risiken im IMDA-Starter-Kit

Das Starter-Kit der IMDA ist eine freiwillige Orientierungshilfe für grundlegende Sicherheits- und Zuverlässigkeitstests von Anwendungen auf Basis großer Sprachmodelle (Large Language Models, LLMs). Es nennt fünf zentrale Risikobereiche:

1. Halluzinationen und Ungenauigkeiten
2. Verzerrungen bei Entscheidungen
3. Unerwünschte Inhalte
4. Datenlecks
5. Schwachstellen, insbesondere die Anfälligkeit für gegnerische Eingaben

Welche Risiken wie intensiv geprüft werden, hängt dabei von der jeweiligen Anwendung, ihrem Einsatzgebiet und ihrer technischen Umgebung ab.

Keine Gebühren, zunächst zwölf Monate gültig

Die AI Verify Foundation will weder Antrags- noch Akkreditierungsgebühren verlangen. Dadurch sollen die Einstiegshürden niedrig bleiben und sich der Markt für unabhängige KI-Prüfungen entwickeln können.

Eine Akkreditierung soll zwölf Monate gelten. Anschließend müssen Anbieter sie erneuern und ihre fortbestehende Kompetenz nachweisen. Das ist vor allem deshalb relevant, weil sich technische Standards und die Bedrohungslage rund um KI schnell verändern.

Frühes Interesse an einer Teilnahme wurde von Advai, AIDX, Ernst & Young, Knovel Engineering, PwC, Resaro und Vulcan berichtet.

Was sich für Unternehmen ändern könnte

Der erwartete Nutzen liegt vor allem in einem einheitlicheren und glaubwürdigeren Markt für externe KI-Prüfungen. Gemeinsame Erwartungen an die Kompetenz der Tester, dokumentierte Ergebnisse und ein ausdrücklich definierter Prüfungsumfang sollen es Unternehmen erleichtern, Tests passend zu ihrem konkreten KI-Einsatz auszuwählen.

Die verfügbaren Belege enthalten keine konkreten Stellungnahmen von Branchenvertretern dazu, in welchem Umfang AI TAP die individuelle Anpassung von Tests, Governance oder das Vertrauen in die KI-Sicherheit verbessern wird. Das Design des Programms unterstützt diese Ziele jedoch grundsätzlich: Käufer können qualifizierte Anbieter leichter identifizieren, den Umfang einer Prüfung nachvollziehen und zusätzliche Sicherheit durch eine unabhängige Bewertung gewinnen.

Das Programm soll deshalb ein Netzwerk glaubwürdiger Prüfunternehmen aufbauen. Diese sollen KI-Anwendungen in Bereichen wie Gesundheitswesen, Finanzwesen, Personalgewinnung und öffentlichen Dienstleistungen untersuchen können. Gleichzeitig soll ein praxisnaher Mindeststandard dafür entstehen, wie eine gute technische KI-Absicherung – im Englischen häufig AI assurance genannt – aussehen sollte.

Akkreditierte Anbieter werden für einen dokumentierten und klar abgegrenzten Prüfungsumfang anerkannt. Unternehmen, die externe Tester suchen, sollen leichter geeignete Dienstleister finden können. Das soll das Vertrauen von Organisationen, weiteren Beteiligten und letztlich auch von Nutzerinnen und Nutzern stärken.

Wichtig ist jedoch die Abgrenzung: Eine AI-TAP-Akkreditierung bedeutet nicht, dass ein bestimmtes KI-System vollständig sicher oder frei von Risiken ist. Risiken, die erst durch die konkrete Einbindung, die jeweilige Anwendung oder neue Angriffsmethoden entstehen, können bestehen bleiben. Für Governance, die Akzeptanz verbleibender Risiken und zusätzliche Schutzmaßnahmen bleibt die einsetzende Organisation verantwortlich.

Was die akkreditierten Tester untersuchen sollen

Die Anbieter können sogenannte Red-Team-Tests durchführen. Dabei versuchen Prüfer gezielt, Schutzmechanismen zu umgehen – etwa durch Prompt Injection oder Jailbreaks. Bei solchen Angriffen werden Anweisungen so manipuliert, dass ein Modell seine vorgesehenen Regeln ignoriert und beispielsweise unerlaubte, schädliche oder anderweitig unsichere Antworten erzeugt.

Der mögliche Prüfungsumfang umfasst unter anderem:

• Sicherheit und Zuverlässigkeit: etwa ungenaue oder erfundene Antworten sowie schädliche oder unerwünschte Inhalte.
• Fairness: beispielsweise Verzerrungen bei automatisierten Entscheidungen.
• Datenschutz und Sicherheit: darunter Datenlecks und technische Schwachstellen.
• Widerstandsfähigkeit gegen Prompt Injection und Jailbreaks: besonders relevant für generative KI und KI-Agenten, die eigenständig mit Daten oder digitalen Werkzeugen arbeiten.

Welche Anforderungen Unternehmen erfüllen müssen

Bei der Bewerbung soll nicht nur die technische Testfähigkeit geprüft werden. Auch die organisatorische Leistungsfähigkeit des Anbieters spielt eine Rolle. Zu den genannten Kriterien gehören:

• Technische Kompetenz: Das Unternehmen muss nachweisen, dass es die von ihm angebotenen konkreten Prüfleistungen tatsächlich erbringen kann. Als Orientierung dient unter anderem das IMDA-„Starter Kit for Testing LLM-Based Applications for Safety and Reliability“.
• Governance und geschäftliche Integrität: Erwartet werden einschlägige Erfahrung, ein guter geschäftlicher Ruf und die Bereitschaft, in Singapur geschäftlich tätig zu sein.
• Finanzielle Tragfähigkeit: Der Anbieter muss finanziell ausreichend stabil sein, um seine Tätigkeit nachhaltig auszuüben.
• Operative Bereitschaft: Erforderlich sind angemessene Kapazitäten und die Fähigkeit, die angebotenen Prüfungen praktisch durchzuführen.
• Übereinstimmung des Leistungsumfangs: Der deklarierte Geschäfts- und Prüfungsumfang muss zu den nachgewiesenen Fähigkeiten passen.

Die fünf zentralen Risiken im IMDA-Starter-Kit

Das Starter-Kit der IMDA ist eine freiwillige Orientierungshilfe für grundlegende Sicherheits- und Zuverlässigkeitstests von Anwendungen auf Basis großer Sprachmodelle (Large Language Models, LLMs). Es nennt fünf zentrale Risikobereiche:

1. Halluzinationen und Ungenauigkeiten
2. Verzerrungen bei Entscheidungen
3. Unerwünschte Inhalte
4. Datenlecks
5. Schwachstellen, insbesondere die Anfälligkeit für gegnerische Eingaben

Welche Risiken wie intensiv geprüft werden, hängt dabei von der jeweiligen Anwendung, ihrem Einsatzgebiet und ihrer technischen Umgebung ab.

Keine Gebühren, zunächst zwölf Monate gültig

Die AI Verify Foundation will weder Antrags- noch Akkreditierungsgebühren verlangen. Dadurch sollen die Einstiegshürden niedrig bleiben und sich der Markt für unabhängige KI-Prüfungen entwickeln können.

Eine Akkreditierung soll zwölf Monate gelten. Anschließend müssen Anbieter sie erneuern und ihre fortbestehende Kompetenz nachweisen. Das ist vor allem deshalb relevant, weil sich technische Standards und die Bedrohungslage rund um KI schnell verändern.

Frühes Interesse an einer Teilnahme wurde von Advai, AIDX, Ernst & Young, Knovel Engineering, PwC, Resaro und Vulcan berichtet.

Was sich für Unternehmen ändern könnte

Der erwartete Nutzen liegt vor allem in einem einheitlicheren und glaubwürdigeren Markt für externe KI-Prüfungen. Gemeinsame Erwartungen an die Kompetenz der Tester, dokumentierte Ergebnisse und ein ausdrücklich definierter Prüfungsumfang sollen es Unternehmen erleichtern, Tests passend zu ihrem konkreten KI-Einsatz auszuwählen.

Die verfügbaren Belege enthalten keine konkreten Stellungnahmen von Branchenvertretern dazu, in welchem Umfang AI TAP die individuelle Anpassung von Tests, Governance oder das Vertrauen in die KI-Sicherheit verbessern wird. Das Design des Programms unterstützt diese Ziele jedoch grundsätzlich: Käufer können qualifizierte Anbieter leichter identifizieren, den Umfang einer Prüfung nachvollziehen und zusätzliche Sicherheit durch eine unabhängige Bewertung gewinnen.