Den första dokumenterade autonoma AI-agentattacken mot en större AI-plattform

Viktigt: Hugging Face har inte funnit några tecken på manipulering av publika, användarriktade modeller, dataset eller Spaces. Mjukvarukedjan (containerbilder och publicerade paket) förblev intakt . Intrånget begränsades till en uppsättning interna dataset och tjänsteuppgifter .

Hur angriparen agerade: Utnyttjande av datahanteringssystemet

Intrånget började i Hugging Faces datahanteringssystem . Angriparen använde ett skadligt dataset som utnyttjade två vägar för kodkörning:

• En fjärrkodsmodul för dataset som möjliggjorde godtycklig kodkörning.
• En template-injektionssårbarhet i datasetkonfigurationen .

När angriparen väl fått kodkörning på en bearbetningsnod, kunde de eskalera till nodnivååtkomst, samla in moln- och klusteruppgifter och röra sig lateralt till flera interna kluster .

Hela kampanjen styrdes av ett autonomt agentramverk. Den specifika språkmodellen som drev agenterna är okänd, men agenterna opererade i en svärm av kortlivade sandlådor med en självmigrerande kommandostruktur som var upplagd på publika tjänster .

Det ovanliga problemet: Kommersiella AI-modellers spärrar hindrade försvararna

När Hugging Faces säkerhetsteam började analysera angriparens händelselogg (över 17 000 händelser) använde de först toppmoderna modeller via kommersiella API:er. Dessa försök misslyckades eftersom leverantörernas säkerhetsspärrar blockerade analysen . Spärrarna kunde inte skilja en legitim incidentutredare som skickade in utnyttjandekod och kommandostrukturer från en verklig angripare .

Hugging Face tvingades att flytta hela sin forensiska analys till GLM 5.2, en öppen modell som kördes på egen infrastruktur . Detta hade den extra fördelen att inga angripardata eller refererade uppgifter lämnade deras miljö .

"Den praktiska läxan för försvarare: ha en kapabel modell som du kan köra på egen infrastruktur, kontrollerad och redo före en incident – både för att undvika spärrar och för att hålla angripardata och uppgifter inom din egen miljö."

Företaget lyfte fram den kritiska asymmetrin: de vet inte vilken modell som drev angriparens agenter, men oavsett om det var en modifierad värdmodell eller en obegränsad öppen modell, så ”var angriparen inte bunden av några användarvillkor, medan vårt eget forensiska arbete blockerades av de värdmodellers spärrar som vi först försökte använda” .

Åtgärder som vidtogs

Hugging Face genomförde följande åtgärder, enligt deras säkerhetsincidentrapport :

• Åtgärdade grundsårbarheten: de två kodkörningsvägarna som användes för initial åtkomst stängdes.
• Rensade angriparens fotfäste i berörda kluster och byggde om komprometterade noder.
• Återkallade och roterade berörda uppgifter och tokens, och påbörjade en bredare rotation av hemligheter som en försiktighetsåtgärd.
• Implementerade ytterligare spärrar och striktare kontroll för åtkomst till kluster.
• Förbättrade detektering och varning så att en högprioriterad signal larmar en utredare inom några minuter, alla dagar i veckan.
• Anlitade externa cybersäkerhetsexperter för att utreda och granska säkerhetspolicyer.
• Anmälde incidenten till polisen.

Företaget rekommenderade även communityn att rotera åtkomsttokens och granska senaste kontot aktivitet som en försiktighetsåtgärd .