Únik nezačal v systémech Notion, ale u cloudového dodavatele, který hostoval vývojové stroje Fireworks AI. Útočníci se přes tuto cestu dostali do vývojového prostředí firmy a spustili tam neoprávněnou úlohu. Jedna ze zasažených datových sad obsahovala přepisy chatů Notion AI používané funkcí Insights. Notion uvedl, že se incident týkal méně než 1 % jeho pracovních prostorů.
4
8
Jak se útok vyvíjel
Cloudový poskytovatel, jehož infrastrukturu Fireworks využíval pro výzkum a vývoj, ohlásil bezpečnostní incident 23. října. Následující den útočníci touto cestou pronikli na vývojové stroje Fireworks a spustili na nich neoprávněnou úlohu. Fireworks aktivitu podle svého vyjádření odhalil ještě téhož dne.
4
14
Zveřejněné informace popisují cestu přes cloudového dodavatele do vývojového prostředí. Neuvádějí však přesnou technickou zranitelnost ani všechny kroky, kterými se útočníci dostali ke konkrétním datům.
14
Jaká data byla zasažena
Fireworks v rozšířeném oznámení uvedl, že přístup se týkal metadat o zdrojích a fakturačních údajů včetně historie faktur a plateb. U části zákazníků byly zasaženy také datové sady a nedokončené váhy modelů. Firma uvedla, že čísla platebních karet neukládá.
4
9
34
V případě Notion šlo o přepisy chatů používané při klasifikačních úlohách pro Insights — funkci, která zákazníkům pomáhá porozumět tomu, jak využívají umělou inteligenci. Notion oznámil, že zasaženo bylo méně než 1 % pracovních prostorů. U naprosté většiny dotčených přepisů nebylo možné určit konkrétního uživatele ani pracovní prostor.
3
4
Časová osa reakce Notion
- 2. listopadu: Fireworks informoval Notion, že někdo získal přístup k malé datové sadě. První kontrola Notionu ukázala, že obsahuje syntetická testovací data, nikoli chaty zákazníků.
8
- 3. listopadu: Notion se od Fireworks odpojil a smazal data, která u dodavatele měl.
5
- 6. listopadu: Fireworks Notion upozornil, že mohlo dojít i k přístupu k zákaznickým datům.
5
- 8. listopadu: Fireworks potvrdil, že datová sada obsahovala také přepisy chatů Notion AI pro Insights.
8
- 9. listopadu: Notion začal kontaktovat dotčené zákazníky.
15
- 11. listopadu: Notion zrušil odhalené API klíče, které vyšetřovatelé našli ve zprávách zasažených uživatelů.
8
Notion také během vyšetřování vypnul Insights a přestal přes Fireworks poskytovat modely s otevřenými váhami. Dotčeným zákazníkům doporučil, aby případná hesla, API klíče a další přihlašovací údaje vložené do asistenta považovali za potenciálně odhalené a změnili je.
10
11
21
Vyšetřování a možné motivy
Fireworks přizval k vyšetřování tým Unit 42 společnosti Palo Alto Networks, informoval orgány činné v trestním řízení a omezil některé zasažené funkce.
34 Podle hodnocení Fireworks se útočníci mohli snažit přeprodávat neoprávněný přístup k modelům přes nelegální směrovací brány. Tento způsob zneužití přístupu k jazykovým modelům se označuje jako „LLMJacking“. Jde o odhad motivu ze strany Fireworks, nikoli o definitivní určení útočníků.
7
Incident přes cloudového poskytovatele byl popsán jako druhé narušení zabezpečení Fireworks v říjnu; první firma identifikovala 6. října. Tyto případy je důležité nezaměňovat: zde popsaná cesta vedla přes externího poskytovatele a do vývojových strojů Fireworks se dostala 24. října.
7
4
Co případ ukazuje o rizicích dodavatelského řetězce AI
Bezpečnost firmy nezávisí jen na jejích vlastních systémech. Pokud služba AI posílá data externímu dodavateli ke zpracování, jeho infrastruktura i vývojové prostředí se stávají součástí širšího bezpečnostního rizika. V tomto případě byl podle zveřejněných informací vstupním bodem cloudový dodavatel Fireworks, zatímco zasažené konverzace souvisely s funkcí Notionu.
4
8
Při hodnocení AI služeb se proto vyplatí zjišťovat, jaká data dodavatel nebo jeho subdodavatelé uchovávají, kde je zpracovávají a jak rychle lze přístup odpojit. Přihlašovací údaje je lepší do promptů nevkládat. Pokud se tajný klíč či heslo mohly objevit v zasaženém přepisu, je namístě je zneplatnit nebo změnit. Důležité je také omezovat přístup k datovým sadám, přihlašovacím údajům a vývojovým systémům jen na to, co je pro danou práci nezbytné.