טכניקת GRAM של Anthropic ו-AE Studio: "מתג כיבוי" מודולרי לידע מסוכן בבינה מלאכותית

• כאשר המודל מעבד טקסט כללי, הוא לומד כרגיל, בעוד שמודולי העזר יכולים גם להתאמן באופן ששומר על תאימותם לשאר המודל .
• כאשר המודל נתקל בטקסט מקטגוריה דו-שימושית כמו וירולוגיה או אבטחת סייבר, ניתוב הגרדיאנט מפנה את אות הלמידה כלפי מודול העזר המתאים במקום לאפשר לידע זה להתפזר על פני כל פרמטרי המודל .
• זה מרכז ידע על כל תחום מטרה במודול ייעודי במקום להפיץ אותו בכל הרשת .

שלב ההסקה

לאחר השלמת האימון, ניתן להסיר או לנטרל מודולים בודדים כדי להפחית גישה ליכולת מסוימת, או להשאירם במקומם עבור פריסות המורשות להשתמש בידע זה . מכיוון שכל קטגוריה דו-שימושית ממופה למודול משלה, מודל יחיד שאומן ב-GRAM עם ארבע קטגוריות יכול תיאורטית להיות מוגדר ל-2⁴ = 16 פרופילי יכולות נפרדים על ידי הפעלה או כיבוי של כל מודול באופן עצמאי .

תוצאות על מודלים עד 5 מיליארד פרמטרים

החוקרים בדקו את GRAM במספר הגדרות ובגדלי מודל :

1. מערך נתונים סינתטי: בסביבה סינתטית מבוקרת, GRAM גרמה למודל "לשכוח" נושאים נבחרים, והתוצאות הושוו מול מודלים שאומנו כאילו נושאים אלה סוננו מלכתחילה .
2. נתונים דו-שימושיים מציאותיים: בסביבה מציאותית יותר שכללה טקסט אינטרנטי, קוד, מאמרים מדעיים ותחומים דו-שימושיים, הסרת מודול GRAM הפחיתה את היכולת המתאימה – בקירוב לאפקט של סינון נתונים – תוך שמירה על ביצועים כלליים .
3. מחקר קנה מידה: GRAM נבדקה על פני גדלי מודל מ-50 מיליון עד 5 מיליארד פרמטרים . ממצאים מרכזיים: GRAM עקפה אחר התנהגות סינון נתונים; מודלים גדולים יותר הראו הפרדה ברורה יותר בין התנהגות מודול פועל למודול כבוי; והשיטה השתוותה בחיוב לכמה גישות "שכחה" (unlearning) לאחר אימון בהגדרות שנבדקו .

הקשר מדיניות: מבקרות מודולריות לאיסורי יצוא בעולם האמיתי

מחקר GRAM מגיע לצד דוגמה בעולם האמיתי בעלת חשיבות גבוהה לבעיה שהוא שואף לפתור. ביוני 2025, ממשל טראמפ הטיל מגבלות יצוא על מודלי Claude Fable 5 ו-Mythos 5 של Anthropic בעקבות חששות אבטחת סייבר, תוך חסימת גישה עבור כל אזרח זר – בתוך או מחוץ לארה"ב, כולל עובדי Anthropic שהם אזרחים זרים . האיסור נמשך 18 ימים לפני שמשרד המסחר הסיר אותו לאחר בדיקת ביטחון לאומי .

פרק זה מדגים את המצב הנוכחי של בקרת גישה לבינה מלאכותית: מודל שלם – עם כל יכולותיו – מטופל כיחידה בלתי ניתנת לחלוקה. אם למודל יש יכולת מסוכנת, האפשרות היחידה כיום היא למנוע את המערכת כולה. GRAM מציעה אלטרנטיבה עדינה יותר: במקום לנעול מודל שלם, מערכת יכולה לאפשר או לנטרל קטגוריות ספציפיות של ידע בהתאם להקשר הפריסה .

שאלות פתוחות ומגבלות

חוקרי Anthropic מזהים במפורש את GRAM כעבודה ראשונית ומדגישים מספר מגבלות :

• קנה מידה חזיתי לא נבדק: GRAM לא הוכחה כעובדת במודלי Claude יצרניים או בקנה המידה של מערכות החזית הגדולות ביותר .
• היקף ההערכה: הניסויים המדווחים מתמקדים בהערכות מבוקרות; הסרה של יכולות בעולם האמיתי במורד הזרם עשויה להיות קשה יותר למדידה באופן אמין .
• בעיית ההסתבכות הבסיסית: יכולות דו-שימושיות מסוימות עשויות להיות מסובכות עמוקות עם ידע כללי, מה שהופך אותן לקשות להפרדה נקייה על ידי כל שיטת מיקום או סינון .
• ריאליזם תיוג נתונים: GRAM תלויה בזיהוי וניתוב נתונים דו-שימושיים רלוונטיים במהלך האימון, כך שתיוג אמין של נתונים כאלה בקנה מידה נותר אתגר מעשי חשוב .
• ממצאים ראשוניים: Anthropic מציגה את GRAM ככיוון מחקר מוקדם ולא כמנגנון בטיחות פרוס – והארגון לא בטוח שהוא אי פעם ייפרס .