Ein Sicherheitsvorfall bei einem Cloud-Anbieter führte zu einem Angriff auf Entwicklungsrechner des KI-Dienstleisters Fireworks AI. Dort starteten Angreifer eine unerlaubte Workload, die weitere Kundendaten betraf. Zu den zugänglichen Daten gehörten auch Chatprotokolle von Notion AI, die für die Funktion Insights verwendet wurden. Notion zufolge waren weniger als 1 Prozent seiner Workspaces betroffen; bei der großen Mehrheit der betroffenen Transkripte ließ sich keine bestimmte Person oder kein bestimmter Workspace erkennen. Notion stellte klar, dass der Vorfall bei einem Dienstleister stattfand – nicht in den eigenen Systemen.
4
8
Wie der Angriff ablief
Fireworks zufolge ereignete sich der Sicherheitsvorfall beim Cloud-Anbieter, der Rechner für Forschung und Entwicklung (R&D) bereitstellte, am 23. Oktober. Am 24. Oktober nutzte eine unbefugte Partei diesen Zugang, um Fireworks-Entwicklungsrechner zu erreichen und dort eine Workload auszuführen. Fireworks entdeckte die Aktivität noch am selben Tag.
4
14
Die verfügbaren Angaben beschreiben den Weg über den Cloud-Anbieter bis in die Entwicklungsumgebung. Sie erklären jedoch nicht im Detail, welche technische Schwachstelle ausgenutzt wurde oder wie jeder einzelne Zugriff auf bestimmte Daten erfolgte. Belegt ist: Der Zugang zur Entwicklungsumgebung eines Dienstleisters führte zu zusätzlichen Auswirkungen auf Kundendaten.
14
Welche Daten betroffen waren
Fireworks nannte in einer erweiterten Mitteilung Ressourcenmetadaten sowie Abrechnungs- und Zahlungshistorien als betroffene Daten. Bei einigen Kunden waren außerdem Datensätze und unvollständige Modellgewichte betroffen. Fireworks erklärte, keine Kreditkartennummern zu speichern.
4
9
34
Bei Notion ging es um Chatprotokolle, die für Klassifizierungsaufgaben der Funktion Insights genutzt wurden. Insights soll Kunden dabei helfen, die Nutzung von KI in ihrem Workspace besser zu verstehen. Notion zufolge waren weniger als 1 Prozent der Workspaces betroffen. Für die große Mehrheit der betroffenen Workspaces waren die Transkripte keiner bestimmten Person oder keinem Workspace zuzuordnen.
3
4
Die Benachrichtigungen und Notions Reaktion
- 2. November: Fireworks informierte Notion, dass eine kleine Datenmenge von Unbefugten abgerufen worden war. Notions erste Untersuchung ergab, dass sie synthetische Testdaten enthielt – zunächst schien also kein Chatverlauf von Kunden betroffen zu sein.
8
- 3. November: Notion trennte die Systeme vom Dienstleister und löschte die bei Fireworks gespeicherten Daten.
5
- 6. November: Fireworks teilte Notion mit, dass möglicherweise auch Kundendaten betroffen waren.
5
- 8. November: Fireworks bestätigte, dass der Datensatz Chatprotokolle von Notion AI für Insights enthielt.
8
- 9. November: Notion begann, betroffene Kunden zu informieren.
15
- 11. November: Notion widerrief offengelegte API-Schlüssel, die bei der Untersuchung in Nachrichten betroffener Nutzer gefunden worden waren.
8
Notion deaktivierte außerdem Insights und beendete die Bereitstellung von Open-Weight-Modellen über Fireworks.
10
11 Betroffene Kunden sollten vorsichtshalber davon ausgehen, dass Passwörter, API-Schlüssel und andere Zugangsdaten offengelegt worden sein könnten, wenn sie diese in den Assistenten eingegeben hatten. Solche Zugangsdaten sollten geändert oder widerrufen werden.
21
Untersuchung und mögliche Motivation
Fireworks zog Palo Alto Networks’ Unit 42 für die Untersuchung hinzu, informierte die Strafverfolgungsbehörden und schränkte bestimmte betroffene Funktionen ein.
34 Das Unternehmen vermutete, dass die Angreifer unerlaubten Zugriff auf Modelle über illegale Weiterleitungsdienste weiterverkaufen wollten. Diese Masche wird als „LLMJacking“ bezeichnet. Dabei handelt es sich um die Einschätzung von Fireworks zur möglichen Motivation – nicht um eine abschließende Identifizierung der Angreifer.
7
Der Vorfall über den Cloud-Anbieter war laut Fireworks der zweite im Oktober bekannt gewordene Sicherheitsvorfall. Einen früheren Vorfall hatte das Unternehmen am 6. Oktober entdeckt. Die beiden Fälle sollten nicht gleichgesetzt werden: Der hier beschriebene Angriff führte über einen Drittanbieter und erreichte Fireworks-Entwicklungsrechner am 24. Oktober.
7
Was der Vorfall über die Sicherheit von KI-Diensten zeigt
Die Sicherheitsgrenzen eines Unternehmens enden nicht unbedingt bei den eigenen Systemen. Wenn ein KI-Dienst Daten zur Verarbeitung an externe Anbieter weitergibt, gehören auch deren Infrastruktur und Entwicklungsumgebungen zum Risikobild. Im Fall von Notion lag der gemeldete Einstiegspunkt beim Cloud-Anbieter von Fireworks, betroffen waren jedoch Chatprotokolle, die zu einer Notion-Funktion gehörten.
4
8
Für Unternehmen, die KI-Dienste prüfen, ergeben sich daraus praktische Fragen: Welche Daten speichert ein Anbieter oder Unterauftragnehmer? Wo werden sie verarbeitet? Und wie schnell lässt sich eine Verbindung im Ernstfall kappen? Zugangsdaten sollten möglichst nicht in Prompts eingegeben werden. Wenn ein Geheimnis in einem möglicherweise offengelegten Transkript enthalten war, sollte es widerrufen oder geändert werden. Auch der Zugriff auf Datensätze, Zugangsdaten und Entwicklungssysteme sollte auf das für die jeweilige Aufgabe Notwendige begrenzt bleiben.