Hugging Face ramt af autonomt AI-agentangreb: 17.000 hændelser og et blændende forsvarsproblem

Afgørende er det, at Hugging Face ikke fandt tegn på manipulation af offentlige, brugerrettede modeller, dataset eller Spaces, og softwareforsyningskæden (containerimages og publicerede pakker) forblev intakt . Indbruddet var begrænset til et sæt interne datasæt og servicelegitimationsoplysninger .

Sådan opererede angriberen: Udnyttelse af databehandlingspipelines

Indbruddet startede i Hugging Faces databehandlingspipeline . Angriberen brugte et ondsindet datasæt, der udnyttede to kodeudførelsesstier:

• En fjernkode-datasætindlæser, der tillod vilkårlig kodeudførelse.
• En skabeloninjektionssårbarhed i datasætkonfigurationen .

Da angriberen først havde opnået kodeudførelse på en behandlingsarbejder, eskalerede de til node-niveauadgang, høstede cloud- og cluster-legitimationsoplysninger og bevægede sig lateralt ind i flere interne klynger .

Hele kampagnen var orkestreret af en autonom agentramme. Mens den specifikke underliggende LLM, der drev angriberens agenter, forbliver ukendt, opererede agenterne på tværs af en sværm af flygtige sandkasser med en selv-migrerende kommandokontrolstruktur, der var iscenesat på offentlige tjenester .

Den usædvanlige udfordring: Kommercielle LLM-sikkerhedsforanstaltninger blokerede forsvarerne

Da Hugging Faces sikkerhedsteam begyndte at analysere angriberens hændelseslog (17.000+ hændelser), henvendte de sig først til frontmodeller bag kommercielle API'er. Disse forsøg mislykkedes, fordi udbydernes sikkerhedsforanstaltninger blokerede analysen . Sikkerhedsforanstaltningerne kunne ikke skelne en legitim hændelsesrespondent, der indsendte exploit-payloads og kommandokontrolartefakter, fra en faktisk angriber .

Hugging Face blev tvunget til at flytte hele deres retsmedicinske analyse til GLM 5.2, en åben model, der kørte på deres egen infrastruktur . Dette havde den ekstra fordel, at det sikrede, at ingen angriberdata eller refererede legitimationsoplysninger forlod deres miljø .

"Den praktiske lektion for forsvarere: Hav en dygtig model, du kan køre på din egen infrastruktur, gennemgået og klar før en hændelse, både for at undgå lockout på grund af sikkerhedsforanstaltninger og for at holde angriberdata og legitimationsoplysninger inden for dit miljø."

Virksomheden fremhævede den kritiske asymmetri: De ved ikke, hvilken model der drev angriberens agenter, men uanset om det var en jailbroken-hostet model eller en ubegrænset åben model, "var angriberen ikke bundet af nogen brugspolitik, mens vores eget retsmedicinske arbejde blev blokeret af sikkerhedsforanstaltningerne i de hosted modeller, vi først prøvede" .

Reaktionsforanstaltninger

Hugging Face tog følgende reaktionsforanstaltninger, som beskrevet i deres sikkerhedsrapport :

• Lukkede den grundlæggende sårbarhed: De to datasæt-kodeudførelsesstier, der blev brugt til den indledende adgang, blev lukket.
• Fjernede angriberens fodfæste på tværs af berørte klynger og genopbyggede kompromitterede noder.
• Tilbagekaldte og roterede berørte legitimationsoplysninger og tokens og påbegyndte en bredere forebyggende rotation af hemmeligheder.
• Implementerede yderligere sikkerhedsforanstaltninger og strengere adgangskontrol på deres klynger.
• Forbedrede detektion og overvågning, så et højprioritets signal nu kan tilkalde en responder inden for få minutter, alle ugens dage.
• Engagerede eksterne cybersikkerheds- og retsmedicinske specialister til at undersøge og gennemgå sikkerhedspolitikker.
• Anmeldte hændelsen til politimyndighederne.

Virksomheden anbefalede også, at community-medlemmer roterer eventuelle adgangstokens og gennemgår nylig kontoadfærd som en forsigtighedsforanstaltning .