Autonome AI-agenter brøt seg inn hos Hugging Face – forsvarerne ble stoppet av egne sikkerhetsmekanismer

Hugging Face fant ingen tegn til manipulering av offentlige, brukerrettede modeller, datasett eller Spaces (“rom”), og programvareforsyningskjeden (containerbilder og publiserte pakker) var intakt . Bruddet var begrenset til et sett interne datasett og tjenestepåloggingsinformasjon .

Slik opererte angriperen: Utnyttelse av datasett-pipelines

Innbruddet startet i Hugging Faces databehandlingspipeline . Angriperen brukte et ondsinnet datasett som utnyttet to kodeutføringsbaner:

• En ekstern kodelaster for datasett som tillot vilkårlig kjøring av kode.
• En malinjeksjonssårbarhet i datasettkonfigurasjonen .

Da angriperen hadde oppnådd kodeutførelse på en behandlingsarbeider, eskalerte de til nodenivåtilgang, høstet skylagrings- og klyngetilganger, og beveget seg sidelengs inn i flere interne klynger .

Hele kampanjen ble orkestrert av et autonomt agent-rammeverk. Mens den spesifikke underliggende KI-modellen som drev angripernes agenter er ukjent, opererte agentene på tvers av en sverm av flyktige sandkasser med en selvflyttende kommandosentral (C2) plassert på offentlige tjenester .

Den uvanlige utfordringen: Kommersielle KI-modellers sperrer blokkerte forsvarerne

Da Hugging Faces sikkerhetsteam begynte å analysere angriperens hendelseslogg (over 17 000 hendelser), prøvde de først å bruke frontmodeller bak kommersielle API-er. Disse forsøkene mislyktes fordi leverandørenes sikkerhetssperrer blokkerte analysen . Sperrene kunne ikke skille en legitim hendelsesetterforsker som sendte inn utnyttelseskode og kommando- og kontrollartefakter (C2) fra en faktisk angriper .

Hugging Face ble tvunget til å flytte hele sin kriminaltekniske analyse over til GLM 5.2, en åpen vektmodell som kjørte på deres egen infrastruktur . Dette hadde den ekstra fordelen at ingen angriperdata eller refererte påloggingsinformasjon forlot deres miljø .

"Den praktiske lærdommen for forsvarere: Ha en kapabel modell som du kan kjøre på din egen infrastruktur, klar og testet før en hendelse inntreffer, både for å unngå å bli stengt ute av sperrer og for å hindre at angriperdata og påloggingsinformasjon forlater ditt miljø."

Selskapet fremhevet den kritiske skjevheten: De vet ikke hvilken modell som drev angripernes agenter, men om det var en jukset (jailbroken) vertsmodell eller en ubegrenset åpen vektmodell, “var ikke angriperen bundet av noen brukspolicy, mens vårt eget etterforskningsarbeid ble blokkert av sperrene i de vertsmodellene vi først prøvde” .

Tiltak som ble iverksatt

Hugging Face iverksatte følgende tiltak, detaljert i deres offentliggjøring av sikkerhetshendelsen :

• Lukket den grunnleggende sårbarheten: De to kodeutføringsbanene som ble brukt for innledende tilgang, ble tettet.
• Fjernet angriperens fotfeste på tvers av berørte klynger og gjenoppbygde kompromitterte noder.
• Tilbakekalte og roterte berørte påloggingsinformasjoner og nøkler, og startet en bredere forebyggende rotasjon av hemmeligheter.
• Implementerte ytterligere sperrer og strengere adgangskontroller på klyngene sine.
• Forbedret deteksjon og varsling slik at et signal med høy alvorlighetsgrad varsler en responsmedarbeider innen få minutter, uansett ukedag.
• Engasjerte eksterne spesialister innen cybersikkerhet for å undersøke og gjennomgå sikkerhetspolicyer.
• Rapporterte hendelsen til politimyndigheter.

Selskapet anbefalte også at fellesskapsmedlemmer roterer eventuelle tilgangsnøkler og gjennomgår nylig kontoaktivitet som en forholdsregel .