Autonomiczny agent AI włamał się na Hugging Face. Obrońcom przeszkodziły własne zabezpieczenia modeli komercyjnych

Co się wydarzyło: autonomiczne włamanie z użyciem agenta AI

Hugging Face wykrył włamanie do swojej infrastruktury produkcyjnej podczas weekendu. Atak został w całości przeprowadzony przez autonomiczny system agentów AI – strukturę agentów działających w roju krótkotrwałych piaskownic, które wykonały ponad 17 000 zarejestrowanych zdarzeń w systemach wewnętrznych . Firma wykryła i przeanalizowała incydent w dużej mierze przy użyciu własnych narzędzi opartych na AI .

Co istotne, Hugging Face nie znalazł dowodów manipulacji publicznymi modelami, zbiorami danych ani Spaces, a łańcuch dostaw oprogramowania (obrazy kontenerów i opublikowane pakiety) pozostał nienaruszony . Włamanie ograniczyło się do zbioru wewnętrznych danych i poświadczeń usług .

Jak działał atakujący: wykorzystanie potoków danych

Intruzja rozpoczęła się w potoku przetwarzania danych Hugging Face . Atakujący użył złośliwego zbioru danych, który wykorzystywał dwie ścieżki wykonania kodu:

• Zdalny moduł ładujący zbiory danych (remote-code dataset loader) umożliwiający dowolne wykonanie kodu.
• Podatność na wstrzyknięcie szablonu w konfiguracji zbioru danych .

Po uzyskaniu możliwości wykonania kodu na węźle przetwarzającym atakujący eskalował do poziomu węzła, przejął poświadczenia chmury i klastra, a następnie przemieszczał się lateralnie do kilku wewnętrznych klastrów .

Cała kampania była koordynowana przez autonomiczną strukturę agentów. Podstawowy model językowy napędzający agentów atakującego pozostaje nieznany, ale agenci działali w roju efemerycznych piaskownic z samomigrującą się strukturą dowodzenia i kontroli rozlokowaną na publicznych usługach .

Niezwykłe wyzwanie: komercyjne modele językowe blokowały obrońców

Gdy zespół bezpieczeństwa Hugging Face zaczął analizować dziennik zdarzeń atakującego (ponad 17 000 wpisów), najpierw sięgnął po najnowocześniejsze modele dostępne przez komercyjne API. Próby te nie powiodły się, ponieważ zabezpieczenia dostawców zablokowały analizę . Zabezpieczenia nie potrafiły odróżnić uprawnionego analityka incydentów przesyłającego ładunki exploitów i artefakty C2 od rzeczywistego atakującego .

Hugging Face został zmuszony do przeniesienia całej analizy forenzycznej na GLM 5.2, model o otwartej wadze działający na własnej infrastrukturze . Miało to dodatkową zaletę: żadne dane atakującego ani referencyjne poświadczenia nie opuściły środowiska firmy .

„Praktyczna lekcja dla obrońców: przed incydentem przygotuj i przetestuj wydajny model, który możesz uruchomić na własnej infrastrukturze – zarówno aby uniknąć blokady przez guardrails, jak i aby dane atakującego i poświadczenia nie opuściły twojego środowiska.”

Firma podkreśliła kluczową asymetrię: nie wiadomo, który model napędzał agentów atakującego, ale niezależnie od tego, czy był to jailbreaknięty model hostowany, czy nieograniczony model o otwartej wadze, „atakujący nie podlegał żadnej polityce użytkowania, podczas gdy nasza własna praca forenzyczna została zablokowana przez guardrails modeli hostowanych, które najpierw wypróbowaliśmy” .

Podjęte działania zaradcze

Hugging Face podjął następujące kroki, szczegółowo opisane w swoim raporcie z incydentu :

• Naprawiono główne luki: zamknięto dwie ścieżki wykonania kodu w zbiorach danych wykorzystane do początkowego dostępu.
• Wyeliminowano przyczółek atakującego w dotkniętych klastrach i odbudowano naruszone węzły.
• Unieważniono i wymieniono dotknięte poświadczenia i tokeny, a następnie rozpoczęto szerszą prewencyjną rotację sekretów.
• Wdrożono dodatkowe guardrails i ostrzejsze kontrole dostępu do klastrów.
• Ulepszono wykrywanie i alarmowanie, tak aby sygnał o wysokiej krytyczności wzywał respondenta w ciągu minut, każdego dnia tygodnia.
• Zaangażowano zewnętrznych specjalistów ds. bezpieczeństwa cybernetycznego do zbadania incydentu i przeglądu polityk bezpieczeństwa.
• Zgłoszono incydent organom ścigania.

Firma zaleciła również społeczności, w ramach środka ostrożności, rotację wszelkich tokenów dostępu i przegląd niedawnej aktywności kont .