Nvidias OSAA startet SAFE: Aus der Open-KI-Lobby wird ein Sicherheitsprojekt

Nvidias Open Secure AI Alliance (OSAA) hat bei der Sicherheitskonferenz Black Hat in Las Vegas ihr erstes konkretes Sicherheitsprojekt vorgestellt: die Shared AI Findings Exchange, kurz SAFE. Die Arbeitsgruppe veröffentlichte einen Entwurf zur öffentlichen Kommentierung; die Linux Foundation betreut den Vorschlagsprozess.

Das ist deutlich mehr als eine weitere Grundsatzerklärung. Allerdings handelt es sich bei SAFE weiterhin um ein frühes Rahmenwerk – ein funktionierendes, in der Praxis bewährtes System zum Austausch von Sicherheitsvorfällen ist daraus noch nicht entstanden.

Was SAFE erreichen soll

Bei der Sicherheit von KI-Systemen wiederholt sich ein bekanntes Muster: Ein Unternehmen entdeckt einen Angriff, einen Fehler oder einen Beinahe-Vorfall, während andere Organisationen ähnlichen Risiken ausgesetzt sind, ohne von den bereits gewonnenen Erkenntnissen zu profitieren.

Der SAFE-Entwurf konzentriert sich auf vier miteinander verbundene Abläufe:

• KI-Sicherheitsvorfälle und Beinahe-Vorfälle vertraulich sammeln und analysieren,
• betroffene Organisationen informieren, wenn ein Vorfall für sie relevant ist,
• wiederkehrende Schwächen bei Sicherheitskontrollen und Schutzmaßnahmen erkennen und
• sachliche, evidenzbasierte und nicht schuldzuweisende Erkenntnisse für das gesamte Ökosystem aufbereiten.

Die Idee dahinter: Aus einzelnen Fehlern soll gemeinsame Abwehrintelligenz werden. Eine Prompt-Injection, ein Datenabfluss oder ein außer Kontrolle geratener Agent müsste dann nicht von jeder Organisation aufs Neue untersucht werden.

Die vertrauliche Behandlung der Meldungen soll Unternehmen offenbar dazu bewegen, Vorfälle überhaupt zu teilen. Gleichzeitig könnten verallgemeinerte Erkenntnisse breiter zugänglich werden, ohne sensible Details über betroffene Systeme offenzulegen. SAFE ist damit ein Versuch, Transparenz und Vertraulichkeit miteinander zu verbinden.

OSAA baut einen Sicherheitsbaukasten – kein einzelnes Produkt

SAFE ist nur ein Baustein der Allianz. OSAA bündelt außerdem quelloffene und überprüfbare Technologien für unterschiedliche Ebenen der Agentensicherheit.

Zu den genannten Beiträgen gehören:

• Nvidia: offen gewichtete Modellfamilien, Laufzeitkontrollen von OpenShell, mit denen sich der Zugriff und Handlungsspielraum eines Agenten begrenzen lassen, Werkzeuge zum Testen und Auditieren von Agenten sowie Garak. Der Open-Source-Scanner prüft unter anderem Risiken durch Datenlecks, Prompt-Injection und Jailbreaks.
• Okta: Referenzimplementierungen für Identität und Zugriffsrechte von Agenten auf Basis des Protokolls Cross App Access. Ziel ist eine kontrolliertere Verbindung zwischen Agenten und Unternehmensanwendungen.
• Red Hat: asago, ein Open-Source-Projekt, das organisatorische Vorgaben mit Laufzeitberechtigungen verknüpfen und einen prüfbaren Weg von der Richtlinie zur technischen Kontrolle schaffen soll.
• Amazon: Strands Agents, ein Open-Source-Werkzeug zum Entwickeln und Bewerten von Agenten, sowie Cedar, eine Sprache für Autorisierungsregeln.
• Weitere Mitglieder: identitätsbezogene Projekte wie Agent Guard und Agent Watch. Sie unterstreichen den Ansatz, dass Agentensicherheit mehr verlangt als die Prüfung eines einzelnen Modells.

Zusammengenommen decken die Projekte Identitäten, Berechtigungen, Agenten-Umgebungen, Laufzeitverhalten, Evaluierung, Daten, Governance und Ausfallsicherheit ab. Daraus könnte langfristig ein gemeinsamer, offener Kontrollrahmen entstehen, mit dem Unternehmen KI-Agenten begrenzen und überwachen – auch dann, wenn diese sich bösartig verhalten oder ihren vorgesehenen Aufgabenbereich verlassen.

Das ist jedoch eine mögliche Entwicklung, kein bereits nachgewiesenes Ergebnis.

Wer ist dabei – und wer fehlt?

Berichten zufolge wuchs OSAA bereits in der ersten Woche auf mehr als 120 Organisationen an. Zu den genannten größeren Teilnehmern zählen Nvidia, Adobe, BlackRock, Cisco, CrowdStrike, Hugging Face, Intel, Microsoft, Red Hat und Visa. Amazon wurde als neueres Mitglied beschrieben.

Die Allianz entstand im Umfeld eines offenen Briefs vom 24. Juli, in dem Technologieunternehmen die US-Regierung aufforderten, offen gewichtete KI-Modelle nicht pauschal oder vorschnell zu beschränken. Zu den anfänglichen 25 Unterzeichnern gehörten unter anderem Nvidia, Microsoft, Meta, IBM, Dell, Palantir und Hugging Face. Der Brief argumentierte, Einschränkungen bei herunterladbaren Modellen könnten den Wettbewerb schwächen und Nutzer eher zu chinesischen KI-Systemen treiben, während Washington über seine sicherheitspolitische Reaktion nachdachte.

Bei der Berichterstattung zur Black Hat wurden Anthropic, OpenAI und Google als auffällige Abwesende in OSAA genannt. Das Verhältnis zum offenen Brief ist allerdings nicht eindeutig: Die Berichte unterscheiden sich bei der späteren Liste der Unterzeichner. Einige Darstellungen nennen OpenAI und Google als nachträglich hinzugekommene Unterstützer, andere beschreiben sie als nicht Teil der ursprünglichen Gruppe.

Warum die genannten Unternehmen OSAA nicht beigetreten sein sollen, geht aus den verfügbaren Quellen nicht hervor. Eine bestimmte Motivation lässt sich daraus daher nicht ableiten.

Warum das Tempo der Allianz wichtig ist

Die zentrale These von OSAA lautet, dass Offenheit und Sicherheit keine Gegensätze sein müssen. Wenn Modelle, Werkzeuge, Tests und Erkenntnisse zu Fehlern offen einsehbar sind, können mehr Verteidiger Schwachstellen untersuchen, Angriffe nachvollziehen und Gegenmaßnahmen anpassen.

SAFE soll diese These praktisch unterfüttern: Unternehmen könnten Vorfälle zunächst vertraulich melden und analysieren, während verallgemeinerte, evidenzbasierte Schutzmaßnahmen anschließend dem gesamten Ökosystem zugutekommen.

Die branchenübergreifende Zusammensetzung der Allianz könnte zudem gemeinsame Schnittstellen und Arbeitsweisen zwischen Modellanbietern, Cloud- und Infrastrukturunternehmen, Identitätsspezialisten, Sicherheitsfirmen und Unternehmenskunden fördern. Reift dieser Ansatz, wären offene KI-Systeme für Unternehmen möglicherweise leichter zu bewerten, zu kontrollieren und verantwortungsvoll einzusetzen.

Das könnte wiederum die politische Argumentation stärken, offen gewichtete KI sei eine Frage der US-amerikanischen Wettbewerbsfähigkeit – gerade während Washington über den Umgang mit chinesischen KI-Laboren diskutiert. Belegt ist dieser Effekt bislang aber nicht. OSAA hat weder eine höhere US-Wettbewerbsfähigkeit nachgewiesen noch das systemische KI-Risiko messbar reduziert.

Der bisher greifbare Fortschritt ist enger gefasst: Eine mehr als 120 Organisationen starke Allianz ist innerhalb weniger Tage von der politischen Unterstützung offener KI zu einem öffentlichen Entwurf für koordinierte Sicherheitsmeldungen übergegangen. Gleichzeitig tragen ihre Mitglieder Werkzeuge bei, aus denen langfristig eine besser zusammenspielende Verteidigungsschicht für KI-Agenten entstehen könnte.