הפריצה האוטונומית הראשונה מסוגה: סוכן AI פרץ ל-Hugging Face וביצע 17,000 פעולות בסוף שבוע אחד

חשוב לציין, Hugging Face לא מצאה שום עדות לחבלה במודלים ציבוריים, מערכי נתונים או Spaces, ושרשרת האספקה של התוכנה (תמונות קונטיינרים וחבילות שפורסמו) נותרה שלמה . ההפרה הוגבלה למערך מצומצם של מערכי נתונים פנימיים ואישורי שירות .

כיצד פעל התוקף: ניצול צינורות עיבוד נתונים

החדירה החלה בצינור עיבוד הנתונים של Hugging Face . התוקף השתמש במערך נתונים זדוני שניצל שני נתיבי הרצת קוד:

• טען מערך נתונים בקוד מרחוק שאפשר הרצת קוד שרירותית.
• פרצת הזרקת תבנית בתצורת מערך הנתונים .

לאחר שהתוקף השיג הרצת קוד על עובד עיבוד, הוא הסלים לגישה ברמת הצומת, אסף אישורי ענן ואשכול, ונע לרוחב למספר אשכולות פנימיים .

כל הקמפיין נוהל על ידי מסגרת סוכנים אוטונומית. בעוד שמודל השפה הספציפי שהניע את סוכני התוקף נותר לא ידוע, הסוכנים פעלו על פני נחיל של ארגזי חול זמניים עם מבנה פיקוד ושליטה נודד שעוגן בשירותים ציבוריים .

האתגר החריג: חסימת המגינים על ידי כללי בטיחות של מודלי שפה מסחריים

כשצוות האבטחה של Hugging Face החל לנתח את יומן האירועים של התוקף (מעל 17,000 אירועים), הם פנו תחילה למודלים מתקדמים דרך API מסחריים. ניסיונות אלה נכשלו מכיוון שמנגנוני הבטיחות של הספקים חסמו את הניתוח . מנגנוני הבטיחות לא הצליחו להבחין בין מגיב לאירוע לגיטימי שמגיש מטעני ניצול וארטיפקטים של פיקוד ושליטה לבין תוקף אמיתי .

Hugging Face נאלצה להעביר את כל הניתוח הפורנזי שלה לGLM 5.2, מודל במשקל פתוח שפועל על התשתית שלה . לכך היה יתרון נוסף של הבטחה שנתוני התוקף או אישורים שאוזכרו לא יצאו מהסביבה שלהם .

"הלקח המעשי למגינים: הכינו מודל בעל יכולת שאתם יכולים להריץ על התשתית שלכם, מאומת ומוכן לפני אירוע, כדי להימנע מחסימת מנגנוני הבטיחות וכדי לשמור על נתוני התוקף ואישורים מפני יציאה מהסביבה שלכם."

החברה הדגישה את הא-סימטריה הקריטית: הם לא יודעים איזה מודל הניע את סוכני התוקף, אבל בין אם זה היה מודל מאוחסן שנפרץ או מודל במשקל פתוח ללא הגבלות, "התוקף לא היה מחויב לשום מדיניות שימוש, בעוד שהעבודה הפורנזית שלנו נחסמה על ידי מנגנוני הבטיחות של המודלים המאוחסנים שניסינו תחילה" .

פעולות התגובה שננקטו

Hugging Face נקטה בפעולות התגובה הבאות, כפי שפורטו בדיווח שלה :

• תיקנו את פרצת השורש: שני נתיבי הרצת הקוד במערך הנתונים ששימשו לכניסה ראשונית נסגרו.
• השמידו את אחיזת התוקף בכל האשכולות שנפגעו ובנו מחדש צמתים שנפגעו.
• ביטלו וסובבו אישורים וטוקנים שנפגעו, והחלו בסיבוב נרחב של סודות כצעד מנע.
• פרסו מנגנוני בטיחות נוספים ובקרות קבלה מחמירות יותר על האשכולות שלהם.
• שיפרו זיהוי והתרעה כך שאות בחומרה גבוהה מעיר מגיב תוך דקות, בכל יום בשבוע.
• גייסו מומחי אבטחת סייבר חיצוניים כדי לחקור ולבחון מדיניות אבטחה.
• דיווחו על התקרית לרשויות אכיפת החוק.

החברה גם המליצה לחברי הקהילה לסובב טוקני גישה ולבדוק פעילות חשבון אחרונה כצעד מנע .