GRAM (Gradient Routed Auxiliary Modules) היא שיטת אימון מקדים ניסיונית מ Anthropic ו AE Studio המנתבת ידע דו שימושי – כמו וירולוגיה או אבטחת סייבר – למודולים ייעודיים בתוך מודל שפה גדול, כך שניתן להסירם או לנטרלם. במערך עם ארבע קטגוריות דו שימושיות, מודל יחיד שאומן ב GRAM יכול תיאורטית להיות מוגדר ל 16 פרופילי יכולו...
פורסם על ידינערך באמצעות DeepSeek-V4-Flashהתמונות נוצרו באמצעות GPT Image 1.5
GRAM (Gradient Routed Auxiliary Modules) היא שיטת אימון מקדים ניסיונית מ Anthropic ו AE Studio המנתבת ידע דו שימושי – כמו וירולוגיה או אבטחת סייבר – למודולים ייעודיים בתוך מודל שפה גדול, כך שניתן להסירם או לנטרלם.
במערך עם ארבע קטגוריות דו שימושיות, מודל יחיד שאומן ב GRAM יכול תיאורטית להיות מוגדר ל 16 פרופילי יכולות שונים על ידי הפעלה או כיבוי של מודולים ספציפיים.
הטכניקה מגיעה על רקע ויכוחים מדיניים בעולם האמיתי: ביוני 2025, ממשל טראמפ הטיל – ואחר כך הסיר – מגבלות יצוא על מודלי Claude Fable 5 ו Mythos 5 של Anthropic בעקבות חששות אבטחת סייבר, מה שממחיש את הבעיה ש GRAM מבקשת לפתור.
המחקר עדיין ראשוני: GRAM לא יושמה במודלי Claude היצרניים, והחוקרים מציינים מגבלות משמעותיות כולל היעדר בדיקה בהיקף של מערכות חזיתיות ובעיית ההסתבכות הבסיסית של ידע דו שימושי עם ידע כללי.
Search & fact-check with cited sources for What is Anthropic and AE Studio's GRAM (Gradient-Routed Auxiliary Modules) technique for isolatinConceptual visualization of GRAM's modular architecture: dangerous knowledge is routed into dedicated, removable compartments during training.
AI Prompt
Create a landscape editorial hero image for this Studio Global article: Search & fact-check with cited sources for What is Anthropic and AE Studio's GRAM (Gradient-Routed Auxiliary Modules) technique for isolatin. Article summary: Here is a comprehensive, sourced breakdown of Anthropic and AE Studio's GRAM technique.. Topic tags: general, academic, general web, user generated, government. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails, icons, and tiny thumbnail layouts. Make it useful as an illustrative visual,
openai.com
Anthropic ו-AE Studio הציגו טכניקה ניסיונית בשם GRAM (Gradient-Routed Auxiliary Modules) שעשויה לתת למודלי בינה מלאכותית "מתג כיבוי" גרעיני לידע מסוכן. במקום לאמן מודלים נפרדים לכל תצורת בטיחות, GRAM שואפת לבנות מודל יחיד עם תאים ניתנים להסרה עבור יכולות דו-שימושיות כמו וירולוגיה, אבטחת סייבר ופיזיקה גרעינית . המחקר ראשוני – Anthropic מציינת שהוא לא יושם באף מודל Claude יצרני – אך הוא מייצג כיוון מבטיח להפוך את בטיחות הבינה המלאכותית לניתוחית יותר מארגז הכלים הקהה של ימינו.
מהי GRAM?
GRAM היא שיטת אימון מקדים שנועדה לרכז ידע דו-שימושי – מידע שיכול לשמש הן למטרות מועילות והן למטרות מזיקות – לתוך מודולים עצביים ניתנים להסרה בתוך מודל שפה . לאחר האימון, ניתן להפעיל או לנתק את המודולים הללו, מה שנותן למפעילים שליטה עדינה על אילו יכולות מסוכנות נשמרות במודל . אותה גישה יכולה גם לאפשר פרופילי גישה שונים למשתמשים שונים: חוקרים עשויים להפעיל ידע וירולוגי בעוד שצ'אטבוט ציבורי שומר אותו מנוטרל .
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
What is the short answer to "טכניקת GRAM של Anthropic ו-AE Studio: "מתג כיבוי" מודולרי לידע מסוכן בבינה מלאכותית"?
GRAM (Gradient Routed Auxiliary Modules) היא שיטת אימון מקדים ניסיונית מ Anthropic ו AE Studio המנתבת ידע דו שימושי – כמו וירולוגיה או אבטחת סייבר – למודולים ייעודיים בתוך מודל שפה גדול, כך שניתן להסירם או לנטרלם.
What are the key points to validate first?
GRAM (Gradient Routed Auxiliary Modules) היא שיטת אימון מקדים ניסיונית מ Anthropic ו AE Studio המנתבת ידע דו שימושי – כמו וירולוגיה או אבטחת סייבר – למודולים ייעודיים בתוך מודל שפה גדול, כך שניתן להסירם או לנטרלם. במערך עם ארבע קטגוריות דו שימושיות, מודל יחיד שאומן ב GRAM יכול תיאורטית להיות מוגדר ל 16 פרופילי יכולות שונים על ידי הפעלה או כיבוי של מודולים ספציפיים.
What should I do next in practice?
הטכניקה מגיעה על רקע ויכוחים מדיניים בעולם האמיתי: ביוני 2025, ממשל טראמפ הטיל – ואחר כך הסיר – מגבלות יצוא על מודלי Claude Fable 5 ו Mythos 5 של Anthropic בעקבות חששות אבטחת סייבר, מה שממחיש את הבעיה ש GRAM מבקשת לפתור.
GRAM (Gradient Routed Auxiliary Modules) היא שיטת אימון מקדים ניסיונית מ Anthropic ו AE Studio המנתבת ידע דו שימושי – כמו וירולוגיה או אבטחת סייבר – למודולים ייעודיים בתוך מודל שפה גדול, כך שניתן להסירם או לנטרלם. במערך עם ארבע קטגוריות דו שימושיות, מודל יחיד שאומן ב GRAM יכול תיאורטית להיות מוגדר ל 16 פרופילי יכולו...
פורסם על ידינערך באמצעות DeepSeek-V4-Flashהתמונות נוצרו באמצעות GPT Image 1.5
GRAM (Gradient Routed Auxiliary Modules) היא שיטת אימון מקדים ניסיונית מ Anthropic ו AE Studio המנתבת ידע דו שימושי – כמו וירולוגיה או אבטחת סייבר – למודולים ייעודיים בתוך מודל שפה גדול, כך שניתן להסירם או לנטרלם.
במערך עם ארבע קטגוריות דו שימושיות, מודל יחיד שאומן ב GRAM יכול תיאורטית להיות מוגדר ל 16 פרופילי יכולות שונים על ידי הפעלה או כיבוי של מודולים ספציפיים.
הטכניקה מגיעה על רקע ויכוחים מדיניים בעולם האמיתי: ביוני 2025, ממשל טראמפ הטיל – ואחר כך הסיר – מגבלות יצוא על מודלי Claude Fable 5 ו Mythos 5 של Anthropic בעקבות חששות אבטחת סייבר, מה שממחיש את הבעיה ש GRAM מבקשת לפתור.
המחקר עדיין ראשוני: GRAM לא יושמה במודלי Claude היצרניים, והחוקרים מציינים מגבלות משמעותיות כולל היעדר בדיקה בהיקף של מערכות חזיתיות ובעיית ההסתבכות הבסיסית של ידע דו שימושי עם ידע כללי.
Search & fact-check with cited sources for What is Anthropic and AE Studio's GRAM (Gradient-Routed Auxiliary Modules) technique for isolatinConceptual visualization of GRAM's modular architecture: dangerous knowledge is routed into dedicated, removable compartments during training.
AI Prompt
Create a landscape editorial hero image for this Studio Global article: Search & fact-check with cited sources for What is Anthropic and AE Studio's GRAM (Gradient-Routed Auxiliary Modules) technique for isolatin. Article summary: Here is a comprehensive, sourced breakdown of Anthropic and AE Studio's GRAM technique.. Topic tags: general, academic, general web, user generated, government. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails, icons, and tiny thumbnail layouts. Make it useful as an illustrative visual,
openai.com
Anthropic ו-AE Studio הציגו טכניקה ניסיונית בשם GRAM (Gradient-Routed Auxiliary Modules) שעשויה לתת למודלי בינה מלאכותית "מתג כיבוי" גרעיני לידע מסוכן. במקום לאמן מודלים נפרדים לכל תצורת בטיחות, GRAM שואפת לבנות מודל יחיד עם תאים ניתנים להסרה עבור יכולות דו-שימושיות כמו וירולוגיה, אבטחת סייבר ופיזיקה גרעינית . המחקר ראשוני – Anthropic מציינת שהוא לא יושם באף מודל Claude יצרני – אך הוא מייצג כיוון מבטיח להפוך את בטיחות הבינה המלאכותית לניתוחית יותר מארגז הכלים הקהה של ימינו.
מהי GRAM?
GRAM היא שיטת אימון מקדים שנועדה לרכז ידע דו-שימושי – מידע שיכול לשמש הן למטרות מועילות והן למטרות מזיקות – לתוך מודולים עצביים ניתנים להסרה בתוך מודל שפה . לאחר האימון, ניתן להפעיל או לנתק את המודולים הללו, מה שנותן למפעילים שליטה עדינה על אילו יכולות מסוכנות נשמרות במודל . אותה גישה יכולה גם לאפשר פרופילי גישה שונים למשתמשים שונים: חוקרים עשויים להפעיל ידע וירולוגי בעוד שצ'אטבוט ציבורי שומר אותו מנוטרל .
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
What is the short answer to "טכניקת GRAM של Anthropic ו-AE Studio: "מתג כיבוי" מודולרי לידע מסוכן בבינה מלאכותית"?
GRAM (Gradient Routed Auxiliary Modules) היא שיטת אימון מקדים ניסיונית מ Anthropic ו AE Studio המנתבת ידע דו שימושי – כמו וירולוגיה או אבטחת סייבר – למודולים ייעודיים בתוך מודל שפה גדול, כך שניתן להסירם או לנטרלם.
What are the key points to validate first?
GRAM (Gradient Routed Auxiliary Modules) היא שיטת אימון מקדים ניסיונית מ Anthropic ו AE Studio המנתבת ידע דו שימושי – כמו וירולוגיה או אבטחת סייבר – למודולים ייעודיים בתוך מודל שפה גדול, כך שניתן להסירם או לנטרלם. במערך עם ארבע קטגוריות דו שימושיות, מודל יחיד שאומן ב GRAM יכול תיאורטית להיות מוגדר ל 16 פרופילי יכולות שונים על ידי הפעלה או כיבוי של מודולים ספציפיים.
What should I do next in practice?
הטכניקה מגיעה על רקע ויכוחים מדיניים בעולם האמיתי: ביוני 2025, ממשל טראמפ הטיל – ואחר כך הסיר – מגבלות יצוא על מודלי Claude Fable 5 ו Mythos 5 של Anthropic בעקבות חששות אבטחת סייבר, מה שממחיש את הבעיה ש GRAM מבקשת לפתור.
GRAM מוסיפה מודולי עזר קטנים לארכיטקטורת ה-Transformer הסטנדרטית – למעשה נוירונים ייעודיים בכל שכבה – שנועדו ללכוד יכולות דו-שימושיות ספציפיות במהלך האימון . מנגנון המפתח הוא ניתוב גרדיאנט (gradient routing): במהלך התפשטות לאחור, מסכות משוקללות שולטות אילו פרמטרים מתעדכנים עבור אילו נתונים .
כאשר המודל מעבד טקסט כללי, הוא לומד כרגיל, בעוד שמודולי העזר יכולים גם להתאמן באופן ששומר על תאימותם לשאר המודל .
כאשר המודל נתקל בטקסט מקטגוריה דו-שימושית כמו וירולוגיה או אבטחת סייבר, ניתוב הגרדיאנט מפנה את אות הלמידה כלפי מודול העזר המתאים במקום לאפשר לידע זה להתפזר על פני כל פרמטרי המודל .
זה מרכז ידע על כל תחום מטרה במודול ייעודי במקום להפיץ אותו בכל הרשת .
שלב ההסקה
לאחר השלמת האימון, ניתן להסיר או לנטרל מודולים בודדים כדי להפחית גישה ליכולת מסוימת, או להשאירם במקומם עבור פריסות המורשות להשתמש בידע זה . מכיוון שכל קטגוריה דו-שימושית ממופה למודול משלה, מודל יחיד שאומן ב-GRAM עם ארבע קטגוריות יכול תיאורטית להיות מוגדר ל-2⁴ = 16 פרופילי יכולות נפרדים על ידי הפעלה או כיבוי של כל מודול באופן עצמאי .
תוצאות על מודלים עד 5 מיליארד פרמטרים
החוקרים בדקו את GRAM במספר הגדרות ובגדלי מודל :
מערך נתונים סינתטי: בסביבה סינתטית מבוקרת, GRAM גרמה למודל "לשכוח" נושאים נבחרים, והתוצאות הושוו מול מודלים שאומנו כאילו נושאים אלה סוננו מלכתחילה .
נתונים דו-שימושיים מציאותיים: בסביבה מציאותית יותר שכללה טקסט אינטרנטי, קוד, מאמרים מדעיים ותחומים דו-שימושיים, הסרת מודול GRAM הפחיתה את היכולת המתאימה – בקירוב לאפקט של סינון נתונים – תוך שמירה על ביצועים כלליים .
מחקר קנה מידה: GRAM נבדקה על פני גדלי מודל מ-50 מיליון עד 5 מיליארד פרמטרים . ממצאים מרכזיים: GRAM עקפה אחר התנהגות סינון נתונים; מודלים גדולים יותר הראו הפרדה ברורה יותר בין התנהגות מודול פועל למודול כבוי; והשיטה השתוותה בחיוב לכמה גישות "שכחה" (unlearning) לאחר אימון בהגדרות שנבדקו .
הקשר מדיניות: מבקרות מודולריות לאיסורי יצוא בעולם האמיתי
מחקר GRAM מגיע לצד דוגמה בעולם האמיתי בעלת חשיבות גבוהה לבעיה שהוא שואף לפתור. ביוני 2025, ממשל טראמפ הטיל מגבלות יצוא על מודלי Claude Fable 5 ו-Mythos 5 של Anthropic בעקבות חששות אבטחת סייבר, תוך חסימת גישה עבור כל אזרח זר – בתוך או מחוץ לארה"ב, כולל עובדי Anthropic שהם אזרחים זרים . האיסור נמשך 18 ימים לפני שמשרד המסחר הסיר אותו לאחר בדיקת ביטחון לאומי .
פרק זה מדגים את המצב הנוכחי של בקרת גישה לבינה מלאכותית: מודל שלם – עם כל יכולותיו – מטופל כיחידה בלתי ניתנת לחלוקה. אם למודל יש יכולת מסוכנת, האפשרות היחידה כיום היא למנוע את המערכת כולה. GRAM מציעה אלטרנטיבה עדינה יותר: במקום לנעול מודל שלם, מערכת יכולה לאפשר או לנטרל קטגוריות ספציפיות של ידע בהתאם להקשר הפריסה .
שאלות פתוחות ומגבלות
חוקרי Anthropic מזהים במפורש את GRAM כעבודה ראשונית ומדגישים מספר מגבלות :
קנה מידה חזיתי לא נבדק: GRAM לא הוכחה כעובדת במודלי Claude יצרניים או בקנה המידה של מערכות החזית הגדולות ביותר .
היקף ההערכה: הניסויים המדווחים מתמקדים בהערכות מבוקרות; הסרה של יכולות בעולם האמיתי במורד הזרם עשויה להיות קשה יותר למדידה באופן אמין .
בעיית ההסתבכות הבסיסית: יכולות דו-שימושיות מסוימות עשויות להיות מסובכות עמוקות עם ידע כללי, מה שהופך אותן לקשות להפרדה נקייה על ידי כל שיטת מיקום או סינון .
ריאליזם תיוג נתונים: GRAM תלויה בזיהוי וניתוב נתונים דו-שימושיים רלוונטיים במהלך האימון, כך שתיוג אמין של נתונים כאלה בקנה מידה נותר אתגר מעשי חשוב .
ממצאים ראשוניים: Anthropic מציגה את GRAM ככיוון מחקר מוקדם ולא כמנגנון בטיחות פרוס – והארגון לא בטוח שהוא אי פעם ייפרס .
anthropic.com
An off switch for dual use knowledge in AI models - Anthropic
GRAM מוסיפה מודולי עזר קטנים לארכיטקטורת ה-Transformer הסטנדרטית – למעשה נוירונים ייעודיים בכל שכבה – שנועדו ללכוד יכולות דו-שימושיות ספציפיות במהלך האימון . מנגנון המפתח הוא ניתוב גרדיאנט (gradient routing): במהלך התפשטות לאחור, מסכות משוקללות שולטות אילו פרמטרים מתעדכנים עבור אילו נתונים .
כאשר המודל מעבד טקסט כללי, הוא לומד כרגיל, בעוד שמודולי העזר יכולים גם להתאמן באופן ששומר על תאימותם לשאר המודל .
כאשר המודל נתקל בטקסט מקטגוריה דו-שימושית כמו וירולוגיה או אבטחת סייבר, ניתוב הגרדיאנט מפנה את אות הלמידה כלפי מודול העזר המתאים במקום לאפשר לידע זה להתפזר על פני כל פרמטרי המודל .
זה מרכז ידע על כל תחום מטרה במודול ייעודי במקום להפיץ אותו בכל הרשת .
שלב ההסקה
לאחר השלמת האימון, ניתן להסיר או לנטרל מודולים בודדים כדי להפחית גישה ליכולת מסוימת, או להשאירם במקומם עבור פריסות המורשות להשתמש בידע זה . מכיוון שכל קטגוריה דו-שימושית ממופה למודול משלה, מודל יחיד שאומן ב-GRAM עם ארבע קטגוריות יכול תיאורטית להיות מוגדר ל-2⁴ = 16 פרופילי יכולות נפרדים על ידי הפעלה או כיבוי של כל מודול באופן עצמאי .
תוצאות על מודלים עד 5 מיליארד פרמטרים
החוקרים בדקו את GRAM במספר הגדרות ובגדלי מודל :
מערך נתונים סינתטי: בסביבה סינתטית מבוקרת, GRAM גרמה למודל "לשכוח" נושאים נבחרים, והתוצאות הושוו מול מודלים שאומנו כאילו נושאים אלה סוננו מלכתחילה .
נתונים דו-שימושיים מציאותיים: בסביבה מציאותית יותר שכללה טקסט אינטרנטי, קוד, מאמרים מדעיים ותחומים דו-שימושיים, הסרת מודול GRAM הפחיתה את היכולת המתאימה – בקירוב לאפקט של סינון נתונים – תוך שמירה על ביצועים כלליים .
מחקר קנה מידה: GRAM נבדקה על פני גדלי מודל מ-50 מיליון עד 5 מיליארד פרמטרים . ממצאים מרכזיים: GRAM עקפה אחר התנהגות סינון נתונים; מודלים גדולים יותר הראו הפרדה ברורה יותר בין התנהגות מודול פועל למודול כבוי; והשיטה השתוותה בחיוב לכמה גישות "שכחה" (unlearning) לאחר אימון בהגדרות שנבדקו .
הקשר מדיניות: מבקרות מודולריות לאיסורי יצוא בעולם האמיתי
מחקר GRAM מגיע לצד דוגמה בעולם האמיתי בעלת חשיבות גבוהה לבעיה שהוא שואף לפתור. ביוני 2025, ממשל טראמפ הטיל מגבלות יצוא על מודלי Claude Fable 5 ו-Mythos 5 של Anthropic בעקבות חששות אבטחת סייבר, תוך חסימת גישה עבור כל אזרח זר – בתוך או מחוץ לארה"ב, כולל עובדי Anthropic שהם אזרחים זרים . האיסור נמשך 18 ימים לפני שמשרד המסחר הסיר אותו לאחר בדיקת ביטחון לאומי .
פרק זה מדגים את המצב הנוכחי של בקרת גישה לבינה מלאכותית: מודל שלם – עם כל יכולותיו – מטופל כיחידה בלתי ניתנת לחלוקה. אם למודל יש יכולת מסוכנת, האפשרות היחידה כיום היא למנוע את המערכת כולה. GRAM מציעה אלטרנטיבה עדינה יותר: במקום לנעול מודל שלם, מערכת יכולה לאפשר או לנטרל קטגוריות ספציפיות של ידע בהתאם להקשר הפריסה .
שאלות פתוחות ומגבלות
חוקרי Anthropic מזהים במפורש את GRAM כעבודה ראשונית ומדגישים מספר מגבלות :
קנה מידה חזיתי לא נבדק: GRAM לא הוכחה כעובדת במודלי Claude יצרניים או בקנה המידה של מערכות החזית הגדולות ביותר .
היקף ההערכה: הניסויים המדווחים מתמקדים בהערכות מבוקרות; הסרה של יכולות בעולם האמיתי במורד הזרם עשויה להיות קשה יותר למדידה באופן אמין .
בעיית ההסתבכות הבסיסית: יכולות דו-שימושיות מסוימות עשויות להיות מסובכות עמוקות עם ידע כללי, מה שהופך אותן לקשות להפרדה נקייה על ידי כל שיטת מיקום או סינון .
ריאליזם תיוג נתונים: GRAM תלויה בזיהוי וניתוב נתונים דו-שימושיים רלוונטיים במהלך האימון, כך שתיוג אמין של נתונים כאלה בקנה מידה נותר אתגר מעשי חשוב .
ממצאים ראשוניים: Anthropic מציגה את GRAM ככיוון מחקר מוקדם ולא כמנגנון בטיחות פרוס – והארגון לא בטוח שהוא אי פעם ייפרס .
anthropic.com
An off switch for dual use knowledge in AI models - Anthropic
