Hoe een autonome AI-agent het systeem van Hugging Face binnendrong — en waarom de verdedigers werden geblokkeerd door AI-veiligheidsregels

Belangrijk: Hugging Face vond geen bewijs van manipulatie van openbare, gebruikersgerichte modellen, datasets of Spaces, en de softwareleveringsketen (containerimages en gepubliceerde pakketten) bleef intact . De inbraak beperkte zich tot een set interne datasets en servicecredentials .

Hoe de aanvaller opereerde: exploitatie van datasetpijplijnen

De inbraak begon in de dataverwerkingspijplijn van Hugging Face . De aanvaller gebruikte een kwaadaardige dataset die twee code-uitvoeringspaden exploiteerde:

• Een remote-code dataset-lader die willekeurige code-uitvoering mogelijk maakte.
• Een template-injectie-kwetsbaarheid in datasetconfiguratie .

Zodra de aanvaller code-uitvoering op een verwerkingsworker had bereikt, escaleerden ze naar node-level toegang, oogstten cloud- en clustercredentials, en bewogen lateraal naar meerdere interne clusters .

De hele campagne werd georkestreerd door een autonoom agentraamwerk. Hoewel de specifieke onderliggende LLM die de agenten van de aanvaller aanstuurde onbekend blijft, opereerden de agenten in een zwerm van kortlevende sandboxen met een zelfmigrerend command-and-control-systeem dat was opgezet op openbare diensten .

De ongebruikelijke uitdaging: commerciële LLM-veiligheidsregels blokkeerden de verdedigers

Toen het securityteam van Hugging Face de gebeurtenislog van de aanvaller (17.000+ gebeurtenissen) begon te analyseren, schakelden ze eerst frontier-modellen achter commerciële API's in. Die pogingen mislukten omdat de veiligheidsregels van de providers de analyse blokkeerden . De guardrails konden een legitieme incidentresponder die exploit-payloads en command-and-control-artefacten invoerde niet onderscheiden van een echte aanvaller .

Hugging Face werd gedwongen om de gehele forensische analyse over te schakelen naar GLM 5.2, een open-weight model draaiend op hun eigen infrastructuur . Dit had als bijkomend voordeel dat er geen aanvalsdata of verwezen credentials hun omgeving verlieten .

"De praktische les voor verdedigers: zorg dat je een capabel model op je eigen infrastructuur kunt draaien, gecontroleerd en klaar, voordat een incident plaatsvindt — om zowel uitsluiting door guardrails te voorkomen als om aanvalsdata en credentials binnen je eigen omgeving te houden."

Het bedrijf benadrukte de kritieke asymmetrie: ze weten niet welk model de agenten van de aanvaller aanstuurde, maar of het nu een jailbroken hosted model was of een onbeperkt open-weight model, "de aanvaller werd gebonden door geen gebruiksbeleid, terwijl ons eigen forensische werk werd geblokkeerd door de guardrails van de hosted modellen die we eerst probeerden" .

Genomen responsacties

Hugging Face nam de volgende responsacties, gedetailleerd in hun security incident disclosure :

• Verholpen de root-kwetsbaarheid: de twee dataset-code-uitvoeringspaden die voor initiële toegang werden gebruikt, werden gesloten.
• Uitgeroeid de voetafdruk van de aanvaller in getroffen clusters en herbouwde gecompromitteerde nodes.
• Ingetrokken en geroteerd getroffen credentials en tokens, en begonnen met een bredere voorzorgsrotatie van geheimen.
• Geïmplementeerd extra guardrails en strengere toegangscontroles op hun clusters.
• Verbeterde detectie en alerting zodat een hooggemelde signaal een responder binnen minuten oproept, elke dag van de week.
• Ingeschakeld externe cybersecurity-forensische specialisten om te onderzoeken en beveiligingsbeleid te herzien.
• Het incident gemeld bij wetshandhavingsinstanties.

Het bedrijf raadde de community ook aan om als voorzorg toegangstokens te roteren en recente accountactiviteit te controleren .