טכניקת GRAM של Anthropic ו-AE Studio: "מתג כיבוי" מודולרי לידע מסוכן בבינה מלאכותית

Anthropic ו-AE Studio הציגו טכניקה ניסיונית בשם GRAM (Gradient-Routed Auxiliary Modules) שעשויה לתת למודלי בינה מלאכותית "מתג כיבוי" גרעיני לידע מסוכן. במקום לאמן מודלים נפרדים לכל תצורת בטיחות, GRAM שואפת לבנות מודל יחיד עם תאים ניתנים להסרה עבור יכולות דו-שימושיות כמו וירולוגיה, אבטחת סייבר ופיזיקה גרעינית ^R. המחקר ראשוני – Anthropic מציינת שהוא לא יושם באף מודל Claude יצרני ^R – אך הוא מייצג כיוון מבטיח להפוך את בטיחות הבינה המלאכותית לניתוחית יותר מארגז הכלים הקהה של ימינו.

מהי GRAM?

GRAM היא שיטת אימון מקדים שנועדה לרכז ידע דו-שימושי – מידע שיכול לשמש הן למטרות מועילות והן למטרות מזיקות – לתוך מודולים עצביים ניתנים להסרה בתוך מודל שפה ^R. לאחר האימון, ניתן להפעיל או לנתק את המודולים הללו, מה שנותן למפעילים שליטה עדינה על אילו יכולות מסוכנות נשמרות במודל ^R. אותה גישה יכולה גם לאפשר פרופילי גישה שונים למשתמשים שונים: חוקרים עשויים להפעיל ידע וירולוגי בעוד שצ'אטבוט ציבורי שומר אותו מנוטרל ^R.

כיצד GRAM פועלת מבחינה ארכיטקטונית

שלב האימון

GRAM מוסיפה מודולי עזר קטנים לארכיטקטורת ה-Transformer הסטנדרטית – למעשה נוירונים ייעודיים בכל שכבה – שנועדו ללכוד יכולות דו-שימושיות ספציפיות במהלך האימון ^RR. מנגנון המפתח הוא ניתוב גרדיאנט (gradient routing): במהלך התפשטות לאחור, מסכות משוקללות שולטות אילו פרמטרים מתעדכנים עבור אילו נתונים ^OL.

• כאשר המודל מעבד טקסט כללי, הוא לומד כרגיל, בעוד שמודולי העזר יכולים גם להתאמן באופן ששומר על תאימותם לשאר המודל ^R.
• כאשר המודל נתקל בטקסט מקטגוריה דו-שימושית כמו וירולוגיה או אבטחת סייבר, ניתוב הגרדיאנט מפנה את אות הלמידה כלפי מודול העזר המתאים במקום לאפשר לידע זה להתפזר על פני כל פרמטרי המודל ^RA.
• זה מרכז ידע על כל תחום מטרה במודול ייעודי במקום להפיץ אותו בכל הרשת ^AR.

שלב ההסקה

לאחר השלמת האימון, ניתן להסיר או לנטרל מודולים בודדים כדי להפחית גישה ליכולת מסוימת, או להשאירם במקומם עבור פריסות המורשות להשתמש בידע זה ^R. מכיוון שכל קטגוריה דו-שימושית ממופה למודול משלה, מודל יחיד שאומן ב-GRAM עם ארבע קטגוריות יכול תיאורטית להיות מוגדר ל-2⁴ = 16 פרופילי יכולות נפרדים על ידי הפעלה או כיבוי של כל מודול באופן עצמאי ^R.

תוצאות על מודלים עד 5 מיליארד פרמטרים

החוקרים בדקו את GRAM במספר הגדרות ובגדלי מודל ^R:

1. מערך נתונים סינתטי: בסביבה סינתטית מבוקרת, GRAM גרמה למודל "לשכוח" נושאים נבחרים, והתוצאות הושוו מול מודלים שאומנו כאילו נושאים אלה סוננו מלכתחילה ^R.
2. נתונים דו-שימושיים מציאותיים: בסביבה מציאותית יותר שכללה טקסט אינטרנטי, קוד, מאמרים מדעיים ותחומים דו-שימושיים, הסרת מודול GRAM הפחיתה את היכולת המתאימה – בקירוב לאפקט של סינון נתונים – תוך שמירה על ביצועים כלליים ^RA.
3. מחקר קנה מידה: GRAM נבדקה על פני גדלי מודל מ-50 מיליון עד 5 מיליארד פרמטרים ^R. ממצאים מרכזיים: GRAM עקפה אחר התנהגות סינון נתונים; מודלים גדולים יותר הראו הפרדה ברורה יותר בין התנהגות מודול פועל למודול כבוי; והשיטה השתוותה בחיוב לכמה גישות "שכחה" (unlearning) לאחר אימון בהגדרות שנבדקו ^RA.

הקשר מדיניות: מבקרות מודולריות לאיסורי יצוא בעולם האמיתי

מחקר GRAM מגיע לצד דוגמה בעולם האמיתי בעלת חשיבות גבוהה לבעיה שהוא שואף לפתור. ביוני 2025, ממשל טראמפ הטיל מגבלות יצוא על מודלי Claude Fable 5 ו-Mythos 5 של Anthropic בעקבות חששות אבטחת סייבר, תוך חסימת גישה עבור כל אזרח זר – בתוך או מחוץ לארה"ב, כולל עובדי Anthropic שהם אזרחים זרים ^ACC. האיסור נמשך 18 ימים לפני שמשרד המסחר הסיר אותו לאחר בדיקת ביטחון לאומי ^FA.

פרק זה מדגים את המצב הנוכחי של בקרת גישה לבינה מלאכותית: מודל שלם – עם כל יכולותיו – מטופל כיחידה בלתי ניתנת לחלוקה. אם למודל יש יכולת מסוכנת, האפשרות היחידה כיום היא למנוע את המערכת כולה. GRAM מציעה אלטרנטיבה עדינה יותר: במקום לנעול מודל שלם, מערכת יכולה לאפשר או לנטרל קטגוריות ספציפיות של ידע בהתאם להקשר הפריסה ^R.

שאלות פתוחות ומגבלות

חוקרי Anthropic מזהים במפורש את GRAM כעבודה ראשונית ומדגישים מספר מגבלות ^R:

• קנה מידה חזיתי לא נבדק: GRAM לא הוכחה כעובדת במודלי Claude יצרניים או בקנה המידה של מערכות החזית הגדולות ביותר ^R.
• היקף ההערכה: הניסויים המדווחים מתמקדים בהערכות מבוקרות; הסרה של יכולות בעולם האמיתי במורד הזרם עשויה להיות קשה יותר למדידה באופן אמין ^R.
• בעיית ההסתבכות הבסיסית: יכולות דו-שימושיות מסוימות עשויות להיות מסובכות עמוקות עם ידע כללי, מה שהופך אותן לקשות להפרדה נקייה על ידי כל שיטת מיקום או סינון ^RA.
• ריאליזם תיוג נתונים: GRAM תלויה בזיהוי וניתוב נתונים דו-שימושיים רלוונטיים במהלך האימון, כך שתיוג אמין של נתונים כאלה בקנה מידה נותר אתגר מעשי חשוב ^R.
• ממצאים ראשוניים: Anthropic מציגה את GRAM ככיוון מחקר מוקדם ולא כמנגנון בטיחות פרוס – והארגון לא בטוח שהוא אי פעם ייפרס ^AR.