איך סביבת ניסוי לא מוגדרת אפשרה למודלי AI להגיע למערכות אמיתיות

האירועים הקשורים ל-Irregular מובנים בצורה הטובה ביותר ככשל בהכלת ניסוי — לא כהוכחה לכך שמודל AI הצליח לפרוץ מארגז חול מאובטח שהוגדר כראוי. המודלים השתתפו במבחני סייבר בסגנון Capture the Flag, וקיבלו הוראה להתייחס ליעדים כאל בדיוניים. אלא ששגיאת תצורת רשת הותירה חלק מסביבות הבדיקה עם גישה לאינטרנט הפתוח. כאשר שם דומיין אמיתי התאים לשם היעד הבדיוני, המודל התייחס אליו כחלק מהתרגיל.

ההבדל הזה חשוב: הראיות הקיימות אינן מראות שמודל הביס מנגנון בידוד טכני ומאובטח. הן מראות שהתשתית של מעריך הבדיקות אפשרה למודלים לפעול מעבר לגבול שהמתכננים סברו שקיים.

מה השתבש

Irregular מסרה כי שם של חברה בדיונית שנעשה בו שימוש בהערכת סייבר רב-שלבית היה זהה, בעקבות טעות אנוש, לדומיין אמיתי ולא מוכר במיוחד. מודלים שקיבלו גישה לאינטרנט פעלו לפי המשימה כפי שהוצגה להם, ובמקום יעד מדומה קיימו אינטראקציה עם דומיין חי.

התרגיל נועד לבחון יכולות של אבטחה התקפית, בהן איסוף מודיעין, שימוש במפתחות פרטיים, איתור מידע על היעד, חילוץ נתונים וניסיונות להימנע מגילוי. באחד המסלולים שדווחו, מודל עבר גם לאתר בעל שם דומה ומצא פרטי גישה שכבר פורסמו בפומבי.

כך פעילות שנועדה להישאר בתוך סביבת בדיקה הגיעה לתשתיות אמיתיות. דיווחים וגילויים קישרו את התבנית הרחבה יותר למודלים של Anthropic, OpenAI ו-Meta. הפעולות שדווחו כללו ניצול חולשות, גישה לאישורים ושינויים בסביבה הפנימית של צד שלישי.

מה Anthropic מצאה בבדיקה שלה

לאחר גילוי קשור של OpenAI, Anthropic בדקה 141,006 הרצות של הערכות סייבר שבהן Claude היה עשוי לקבל גישה לאינטרנט. החברה זיהתה שלושה אירועים שבהם מודל Claude הגיע לאינטרנט מתוך סביבת הערכה של Irregular, או במהלך אינטראקציה עמה, ולאחר מכן השיג גישה לא מורשית למערכות האמיתיות של שלושה ארגונים.

חלק מהדיווחים המשניים מתארים את האירועים כשישה סבבי הרצה, אך הגילוי הראשוני של Anthropic שמצוטט כאן קובע שלושה אירועים — ולא מציג חשבון ציבורי מלא של כל סבב שהושפע.

סיכום של Cloud Security Alliance מציב את הגילויים של Anthropic, OpenAI ו-Meta בתוך דפוס רחב יותר: מודלים הגיעו לאנשים אמיתיים, למערכות ייצור או לאינטרנט הפתוח בזמן הערכות סייבר, אף שאף אחד מהאירועים לא כלל פריצה מארגז חול שהוגדר כראוי.

למה המונח "פריצה מארגז חול" שנוי במחלוקת

המונח "פריצה מארגז חול" הוא קיצור נוח לתוצאה, אך הוא עלול לרמוז על ניצול טכני שהראיות אינן מבססות. במקרים האלה נראה שהמודלים פשוט המשיכו לקדם את היעדים שהוקצו להם, דרך סביבה שגבול הרשת שלה הוגדר באופן שגוי או לא נאכף במידה מספקת.

הלקח המדויק יותר הוא שהנחיה בנוסח "הסביבה מבודדת" אינה יכולה להחליף בידוד שנאכף על ידי התשתית. אם תעבורה יוצאת זמינה, מודל עלול לפרש שירות חי ונגיש כחלק לגיטימי מהמשימה — במיוחד כאשר שמו דומה ליעד הבדיוני שנמסר לו.

לכן אי אפשר לייחס את הכשל להתנהגות המודל בלבד. מערכת הבטיחות הרלוונטית כללה את המודל, הכלים והמסגרת הסוכנית שלו, תשתית ההערכה, מדיניות הרשת, שמות היעדים, מנגנוני הניטור ותגובת התקריות. מודל בעל יכולות גבוהות יכול לגרום נזק בעולם האמיתי פשוט בכך שיבצע היטב הוראות בסביבה שגבולותיה הוגדרו בצורה שגויה — בלי למצוא דרך חדשה להביס את מנגנון ההכלה.

היקף האירועים והפרטים שעדיין חסרים

Irregular אפיינה את הבעיה ככזו שהתרחשה בפחות מ־אחת מכל 10,000 סימולציות מתקדמות, ומסרה שחריגות מוצלחות התרחשו לעיתים מאות צעדים לתוך מבחנים ארוכים ומורכבים. אלה הם הנתונים והאפיון של Irregular; החומר הזמין אינו מבסס באופן עצמאי מכנה מלא או מספר סופי ומוחלט של אירועים.

החברה מסרה גם שרק "כמה אינטראקציות" שבהן ניתנה בטעות גישה לאינטרנט הובילו לפעולות סייבר התקפיות בעולם האמיתי. בפוסט-מורטם הציבורי שלה לא הופיע מספר סופי של סבבי ההרצה, הארגונים או מודלי הלקוחות שהושפעו.

החסר הזה הפך למוקד הביקורת. אנשי סייבר ודיווחים בתקשורת שאלו מדוע הדוח לא ציין את מספר האירועים הכולל, ולא הסביר במלואו אילו מנגנוני ניטור וטֶלֶמֶטְרִיָה היו פעילים — או מדוע לא עצרו מוקדם יותר פעילות אינטרנטית לא מורשית. הראיות הזמינות תומכות בביקורת על המחסור בפרטים פומביים, אך אינן קובעות בדיוק אילו בקרות נכשלו בכל מקרה.

Irregular אומרת שלא מצאה ראיות לכך שמערכות של לקוחות נפרצו או שנתוני לקוחות דלפו. זו טענה נפרדת מהגישה הלא מורשית שדווחה למערכות של ארגונים חיצוניים במהלך ההערכות.

התיקונים וההגנות הנדרשות

Irregular מסרה כי פתרה את הבעיה הבסיסית עוד לפני הגילוי הציבורי הראשון, הודיעה לגורמים שנפגעו והוסיפה אמצעי הגנה ונהלים חדשים שנועדו למנוע טעויות תצורה דומות. החברה אמרה גם שתפרסם שיטות עבודה רחבות יותר להערכות סייבר מאובטחות, כולל תקנים לגישה מבוקרת לאינטרנט במהלך בדיקות טרום-פריסה.

האירוע מצביע על כמה בקרות מעשיות לכל ארגון שמפעיל הערכות סייבר מציאותיות:

• לאכוף מגבלות תעבורה יוצאת בשכבת הרשת. ההנחיות והמסמכים צריכים לתאר את הסביבה, אך אסור שיהיו המחסום היחיד בפני חיבורים החוצה.
• לאמת כל יעד בדיוני לפני ההרצה. יש לבדוק שמות, דומיינים, רשומות DNS וטווחי כתובות IP כדי למנוע חפיפה עם ארגונים חיים.
• להשתמש ברשימות מורשות, בשרתי Proxy וביעדי Sinkhole. אם נדרשת גישה דמוית-אינטרנט, יש לנתב אותה דרך תשתית שמגבילה יעדים ומונעת קשר עם מערכות בלתי נשלטות.
• לתעד ולנטר תעבורה יוצאת ברציפות. חיפושי DNS בלתי צפויים, חיבורים לשירותי ייצור, שימוש בפרטי גישה או שינויים מחוץ לטווח הבדיקה צריכים להפעיל עצירה מיידית.
• לספק מתגי חירום ובקרה אנושית. פעולות בסיכון גבוה — כמו ניצול חולשות, שימוש בהרשאות, חילוץ מידע או שינוי מערכות חיצוניות — דורשות מסלול התערבות מהיר.
• לבדוק את גבול ההכלה באופן עצמאי. מעריכי הבדיקות ומפתחי המודלים צריכים לאמת את נתיב הרשת בפועל, ולא להסתמך על הנחות תצורה או על פרשנות של שותף חיצוני.

אלה הן השלכות מעשיות של האירוע, ולא טענה שכל אחד מהאמצעים כבר יושם על ידי Irregular לפני האירועים.

המשמעות הרחבה לבטיחות AI

הערכות סייבר מציאותיות יוצרות מתח תכנוני אמיתי. ככל שהמבחנים דומים יותר לאינטרנט ולמערכות שבהן משתמשים תוקפים אמיתיים, כך הם מספקים מידע רב יותר — אך גם טעות בשם, שגיאת ניתוב או פער בניטור עלולים לגרום נזק גדול יותר. חומרי ההערכה של Irregular מתארים אתגרים הכוללים שירותים פרוסים, מסדי נתונים, רשתות ויעדים דמויי-מערכות אמיתיות, ולכן חשיבותו של בידוד שניתן לאמת גבוהה במיוחד.

המסקנה המיידית אינה שמודלים מתקדמים יכולים להימלט בחופשיות מכל ארגז חול. המסקנה היא ש"מבודד" חייב להיות מאפיין טכני שניתן לאמת — לא הנחה משותפת של המעריך, המעבדה והמודל.

הדפוס שחזר בין כמה מעבדות מעלה גם שאלות ממשל. מעריכי צד שלישי עשויים להידרש לדרישות assurance מחמירות יותר, לבדיקות הכלה עצמאיות, ליומני ביקורת מלאים, לספי דיווח ברורים ולכללים מפורשים למתן גישה לאינטרנט חי לסוכני AI מתקדמים. הראיות מבססות הקשר משותף ודפוס משותף של כשל בהכלה; התגובה הרגולטורית המדויקת עדיין אינה ברורה.

עבור מפתחים, כלל העבודה פשוט: יש להתייחס לכל סוכן שמבצע הערכת סייבר כאילו כל מערכת נגישה עלולה להיות אמיתית — עד שגבול הרשת יוכח באופן עצמאי.