Jak autonomní AI agenti napadli Hugging Face: 17 000 útoků, ukradená data a selhání komerčních modelů v obraně

Co se stalo: Narušení autonomním AI agentem

Během víkendu Hugging Face detekoval průnik do své produkční infrastruktury. Útok byl řízen výhradně systémem autonomních AI agentů – frameworkem, který operoval v roji krátkodobých sandboxů a provedl více než 17 000 zaznamenaných událostí v interních systémech . Společnost útok detekovala a analyzovala převážně pomocí vlastních AI nástrojů .

Důležité je, že Hugging Face nenalezl žádné známky manipulace s veřejnými modely, datovými sadami ani Spaces, a softwarový dodavatelský řetězec (kontejnerové obrazy a publikované balíčky) zůstal neporušený . Narušení se omezilo na sadu interních datových sad a servisních přihlašovacích údajů .

Jak útočník postupoval: Zneužití datových pipeline

Průnik začal v datové pipeline společnosti Hugging Face . Útočník použil škodlivou datovou sadu, která využívala dvě cesty k provedení kódu:

• Vzdálené načítání kódu z datové sady, které umožňovalo libovolné spouštění kódu.
• Template injection zranitelnost v konfiguraci datové sady .

Jakmile útočník získal možnost spouštět kód na zpracovatelském workeru, eskaloval na úroveň uzlu, sesbíral cloudové a clusterové přihlašovací údaje a pohyboval se laterálně do několika interních clusterů .

Celá kampaň byla orchestrována autonomním agentním frameworkem. Přestože konkrétní LLM model, který poháněl útočníkovy agenty, zůstává neznámý, agenti operovali v roji pomíjivých sandboxů s vlastní migrující řídicí strukturou umístěnou na veřejných službách .

Neobvyklá výzva: Komerční LLM modely zablokovaly obránce

Když bezpečnostní tým Hugging Face začal analyzovat 17 000+ událostí v logu útočníka, obrátil se nejprve na frontier modely za komerčními API. Tyto pokusy selhaly, protože bezpečnostní omezení providerů analýzu zablokovaly . Omezení nedokázala rozlišit legitimate incident responder, který předkládá exploit payloady a artifacty command-and-control, od skutečného útočníka .

Hugging Face byl nucen přesunout celou forenzní analýzu na GLM 5.2, open-weight model běžící na vlastní infrastruktuře . To mělo další výhodu v tom, že žádná útočníkova data ani referencované přihlašovací údaje neopustily jejich prostředí .

„Praktické poučení pro obránce: mějte před incidentem připravený a otestovaný schopný model, který můžete provozovat na vlastní infrastruktuře, abyste se vyhnuli zablokování bezpečnostními omezeními a zajistili, že data útočníka a přihlašovací údaje neopustí vaše prostředí.“

Společnost zdůraznila kritickou asymetrii: nevědí, který model poháněl útočníkovy agenty, ale ať už to byl jailbreaked hosted model nebo neomezený open-weight model, „útočník nebyl vázán žádnými pravidly používání, zatímco naši vlastní forenzní práci zablokovala omezení hostovaných modelů, které jsme nejprve zkusili“ .

Přijatá opatření

Hugging Face provedl následující kroky, podrobně popsané v jejich zveřejnění bezpečnostního incidentu :

• Oprava hlavní zranitelnosti: uzavřeny dvě cesty k provedení kódu v datových sadách použité pro počáteční přístup.
• Odstranění útočníkova přístupu napříč postiženými clustery a přestavba kompromitovaných uzlů.
• Odvolání a otočení postižených přihlašovacích údajů a tokenů a zahájení širší preventivní rotace tajemství.
• Nasazení dodatečných bezpečnostních opatření a přísnějších pravidel pro vstup do clusterů.
• Zlepšení detekce a varování, aby vysoce závažný signál do několika minut kontaktoval respondenta, a to kterýkoli den v týdnu.
• Zapojení externích specialistů na kybernetickou bezpečnost k vyšetřování a přezkoumání bezpečnostních politik.
• Nahlášení incidentu orgánům činným v trestním řízení.

Společnost také doporučila komunitě, aby si preventivně otočila přístupové tokeny a zkontrolovala nedávnou aktivitu svého účtu .