EU AI Act: Was Anbieter von Hochrisiko-KI bis 2027 vorbereiten müssen

Der entscheidende Punkt ist der Zeitplan: Die umfassenden EU-Vorgaben für Hochrisiko-KI-Systeme gelten noch nicht allgemein. Für eigenständige Systeme aus Anhang III des AI Act ist der Start auf den 2. Dezember 2027 verschoben worden. Hochrisiko-KI, die Bestandteil bestimmter regulierter Produkte ist, folgt am 2. August 2028. 18

Für Unternehmen, die solche Systeme in der EU in Verkehr bringen wollen, bedeutet das: Die zusätzliche Zeit ist keine Ausnahme von den Regeln. Sie sollte genutzt werden, um Sicherheit, Nachvollziehbarkeit und klare Verantwortlichkeiten von Anfang an in die Produktentwicklung zu integrieren.

Wann gilt ein KI-System als hochriskant?

Der AI Act fasst im Wesentlichen zwei Gruppen als Hochrisiko-KI zusammen:

• KI-Systeme, die als Sicherheitskomponente in Produkten eingesetzt werden, die unter bestimmte EU-Produktvorschriften fallen und für die eine Konformitätsbewertung durch eine unabhängige Stelle erforderlich ist.
• KI-Systeme für bestimmte Einsatzbereiche des Anhangs III – vorbehaltlich der dort vorgesehenen Einschränkungen und Ausnahmen. 15

Die Einstufung ist zentral: Hochrisiko-Status löst deutlich weitergehende Pflichten über den gesamten Lebenszyklus eines Systems aus als bei gewöhnlichen KI-Werkzeugen.

Diese Anforderungen sollten Anbieter jetzt vorbereiten

Bevor ein Hochrisiko-System auf den EU-Markt kommt, müssen die erforderlichen Kontrollen Teil des Produkts und seiner Prozesse sein – nicht erst dann entstehen, wenn eine Aufsichtsbehörde Unterlagen anfordert.

Risikomanagement und Daten-Governance

Anbieter müssen Risiken fortlaufend bewerten und mindern. Zudem müssen sie Datensätze in einer Qualität einsetzen, die das Risiko diskriminierender Ergebnisse verringert. Der Rechtsrahmen für Hochrisiko-KI verlangt insbesondere relevante, hinreichend repräsentative und angemessen gesteuerte Daten für Training, Validierung und Tests. 115

Dokumentation und Nachvollziehbarkeit

Hochrisiko-Systeme müssen Protokolle führen, die Ergebnisse und Vorgänge nachvollziehbar machen. Hinzu kommt eine detaillierte technische Dokumentation zum System und seinem vorgesehenen Verwendungszweck. Sie soll Behörden in die Lage versetzen, die Einhaltung der Vorgaben zu prüfen. 1

Menschliche Aufsicht, Genauigkeit und Cybersicherheit

Vorgesehen sind geeignete Maßnahmen zur menschlichen Aufsicht sowie ein hohes Niveau bei Genauigkeit, Robustheit und Cybersicherheit. Anbieter müssen den Betreibern beziehungsweise Nutzern des Systems klare und ausreichende Informationen geben, damit sie die KI bestimmungsgemäß einsetzen und ihre Grenzen verstehen können. 1

Konformitätsbewertung, Registrierung und Beobachtung nach dem Marktstart

Vor dem Inverkehrbringen ist die jeweils einschlägige Konformitätsbewertung erforderlich. Soweit vorgesehen, müssen Anbieter das System registrieren, seine Leistung nach der Einführung überwachen und schwerwiegende Vorfälle melden. Compliance ist damit keine einmalige Produktfreigabe, sondern eine dauerhafte Betriebsaufgabe. 115

Checkliste: Ist Ihr Unternehmen für Hochrisiko-KI vorbereitet?

Unternehmen mit Blick auf die Fristen 2027 und 2028 sollten diese Fragen belastbar beantworten können:

1. Ist das System tatsächlich hochriskant? Prüfen Sie den konkreten Anwendungsfall anhand der Kategorien in Anhang I und Anhang III.
2. Wer trägt die Verantwortung? Benennen Sie Zuständigkeiten für Produktsicherheit, Rechtskonformität, Dokumentation und den Umgang mit Vorfällen.
3. Lassen sich Risiken belegen und mindern? Halten Sie einen wiederholbaren Risikomanagementprozess mit Tests und Entscheidungsnachweisen vor.
4. Sind die Datenkontrollen vertretbar dokumentiert? Erfassen Sie Relevanz, Repräsentativität, Qualitätsprüfungen und bekannte Grenzen der Datensätze.
5. Ist das System prüfbar? Bewahren Sie Protokolle, technische Unterlagen und Nutzungshinweise auf, die Zweck und Einschränkungen erklären.
6. Funktioniert menschliche Aufsicht praktisch? Definieren Sie, wann Menschen eingreifen, Ausgaben übersteuern oder den Einsatz stoppen können.
7. Ist die Marktbeobachtung nach der Einführung organisiert? Bereiten Sie Abläufe für Leistungsüberwachung, Abhilfemaßnahmen und Vorfallmeldungen vor.

Welche Bußgelder drohen nach dem EU AI Act?

Die Sanktionsregelung des AI Act verbindet feste Eurobeträge mit dem weltweiten Jahresumsatz. Bei verbotenen KI-Praktiken kann die höchste Stufe 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes erreichen. Für andere Verstöße sind Bußgelder von bis zu 15 Millionen Euro oder 3 % des weltweiten Jahresumsatzes möglich. 3

Angesichts dieser Größenordnung darf ein Programm für Hochrisiko-KI nicht allein bei der Rechtsabteilung liegen. Produktentwicklung, IT-Sicherheit, Data Science, Einkauf, Compliance und operative Teams müssen gemeinsam nachweisen können, dass die vorgesehenen Schutzmaßnahmen tatsächlich funktionieren.

Warum der Aufschub kein Grund zum Abwarten ist

Die neuen Termine verschaffen mehr Vorbereitungszeit, ändern aber nichts am Umfang der Anforderungen. Wer erst Ende 2027 beginnt, muss möglicherweise gleichzeitig Dokumentationssysteme aufbauen, Entwicklungsprozesse anpassen, Logging einführen, Verfahren zur menschlichen Aufsicht testen und Meldewege für den Betrieb nach Markteinführung etablieren.

Sinnvoll ist daher, den EU AI Act als Standard für Produkt-Governance zu behandeln: Hochrisiko-Anwendungen früh erkennen, Nachweise während der Entwicklung sammeln und Sicherheit, Nachvollziehbarkeit sowie menschliche Kontrolle fest in den Freigabeprozess einbauen. 115