סינגפור ומיקרוסופט רוצות לבחון את בטיחות ה-AI: מה באמת כולל מזכר ההבנות מ-12 ביוני

שני הצדדים מתכננים להחליף מידע, שיטות עבודה מומלצות ומסגרות ממשל. שיתוף כזה עשוי לחבר בין הבדיקה הטכנית לבין החלטות תפעוליות: אילו סיכונים יש לבדוק, אילו ספים ייחשבו מקובלים, מי יקבל גישה למודל ומה יקרה כאשר תתגלה חולשה חמורה.

זוהי גישה רחבה יותר מהשוואת ביצועים בלבד. מודל יכול להציג תוצאות מרשימות במבחן ביצועים, אך עדיין לא להתאים לשימוש בשירות ציבורי או בתשתית חיונית אם הרשאות הגישה שלו, הניטור, נהלי הדיווח או הפיקוח האנושי אינם מספקים.

3. מסגרת מדיניות לגישה אמינה ומבוקרת

התחום השלישי הוא בחינת גישות מדיניות ל"גישה אמינה" למודלי AI מתקדמים. הרעיון הבסיסי הוא זמינות מבוקרת: מערכות בעלות יכולות גבוהות צריכות להיות נגישות לצורכי בדיקה לגיטימיים ולעבודה מועילה, אך לא להיחשף ללא אמצעי הגנה התואמים את היכולות ואת רמת הסיכון שלהן.

במילים אחרות, ההסכם מצביע על מודל רב-שכבתי לבטיחות AI: לבדוק את המערכת, לשתף את הלקחים, להגביל גישה כאשר הדבר נחוץ ולהגדיר באמצעות כללי ממשל מי אחראי ועל מה.

מדוע Claude Mythos רלוונטי — אך לא הוכח שהוביל להסכם

Claude Mythos Preview של Anthropic מספק דוגמה בולטת לבעיית השימוש הדו-תכליתי ב-AI מתקדם. Anthropic דיווחה כי היא וכ-50 שותפים בפרויקט Glasswing השתמשו במודל המוגבל כדי לזהות יותר מ-10,000 חולשות בדרגת חומרה גבוהה או קריטית בתוכנות בעלות חשיבות מערכתית. החברה דיווחה גם כי Mythos הצליח לזהות ולנצל חולשות, ובהן חולשות מסוג zero-day, במערכות הפעלה ובדפדפנים מרכזיים.

ליכולת כזו יש פוטנציאל הגנתי: היא יכולה לסייע לחוקרי אבטחה למצוא פגמים לפני שפושעי סייבר יאתרו אותם. אך אותה יכולת עלולה גם לקצר את הדרך מגילוי חולשה לניצולה אם המודל יופץ באופן רחב או ינוהל ללא בקרה מספקת. זו אחת הסיבות לכך ש-Anthropic שמרה את Mythos מאחורי גישה מוגבלת במסגרת Project Glasswing, במקום להפוך אותו לזמין לציבור.

עם זאת, הראיות הזמינות אינן מוכיחות ש-Claude Mythos הוא שגרם להסכם בין סינגפור למיקרוסופט או שהוביל אליו ישירות. נכון יותר לראות בו דוגמה לסביבת סיכונים המשתנה במהירות — סביבה שהופכת בדיקות מסודרות, גישה מבוקרת ומסגרות ממשל לחשובות יותר.

איך נראים אמצעי הבטיחות בפועל?

גישה מוגבלת היא אמצעי בקרה

מודל הגישה המצומצמת של Project Glasswing הוא אמצעי לניהול סיכונים בפני עצמו. Anthropic העניקה לקבוצה מוגדרת של שותפים גישה לצורכי הגנה, ולא פרסמה את המודל באופן רחב. כך ניתן לבחון את יכולותיו עם צוותי אבטחה, תוך צמצום החשיפה.

גישה מוגבלת אינה מערכת בטיחות שלמה. היא תלויה בבדיקת המשתמשים, בניטור, באחסון מאובטח ובדיווח אחראי על חולשות. עם זאת, היא ממחישה את העיקרון העומד מאחורי העבודה על גישה אמינה במסגרת ההסכם: היקף הגישה צריך להיקבע לפי היכולת ולפי הסיכון, ולא להתייחס לכל מודל AI מתקדם כאילו היה מוצר תוכנה ציבורי רגיל.

גילוי חולשה חייב להוביל גם לתיקון

מציאת פגם היא רק השלב הראשון. הסוכנות לאבטחת הסייבר של סינגפור המליצה לארגונים להתקין תיקונים עבור חולשות קריטיות ובדרגת חומרה גבוהה, להפעיל אימות רב-שלבי בכל הממשקים והשערים ולבחון מחדש הרשאות גישה מיותרות. צעדים אלה מצמצמים את ההזדמנות לתוקפים לנצל חולשות בזמן שהארגון חוקר ומתקן אותן.

הראיות הקיימות גם מצדיקות זהירות בניסוח הטענה שכ-10,000 הממצאים של Mythos כבר תוקנו ברובם. הערכה מאוחרת יותר דיווחה על 1,596 חולשות שנמסרו לתחזוקי התוכנות, אך רק 97 תיקונים. אין פירוש הדבר שהפרויקט לא הניב תועלת הגנתית, אך הטענה ש"רבות" מהחולשות תוקנו אינה מבוססת דיה ויש להציג אותה בזהירות.

המסקנה היא תפעולית לא פחות משהיא טכנולוגית: בטיחות AI דורשת תהליך לזיהוי סיכונים, לדיווח אחראי, לתעדוף תיקונים ולהפחתת החשיפה כל עוד התיקון אינו שלם.

מה תפקידה של מיקרוסופט — ומה ההסכם אינו מאשר?

מיקרוסופט מביאה לשותפות ניסיון בפיתוח מודלים מתקדמים, בתשתיות ארגוניות ובהיבטים התפעוליים של הערכת מערכות AI ושליטה בגישה אליהן. עם זאת, היקף ההסכם רחב יותר ממודל יחיד של מיקרוסופט: הוא עוסק בגישות לבדיקת בטיחות ובגישה מבוקרת למודלי AI מתקדמים באופן כללי.

החומרים שסופקו אינם מבססים כמה טענות ספציפיות כאילו הן חלק רשמי מההסכם, ובהן טענות הנוגעות למודל MAI של מיקרוסופט, לגישה דרך Azure AI Foundry למודלים של OpenAI ושל Anthropic, או להסדרים דומים עם המכון הבריטי לבטיחות AI ועם המרכז האמריקאי לתקנים ולחדשנות בתחום ה-AI. אין להציג פרטים אלה כהתחייבויות שנקבעו במסגרת מזכר ההבנות בין סינגפור למיקרוסופט.

היעד הרחב: אקוסיסטם AI שאפשר לסמוך עליו

במבט כולל, מרכיבי ההסכם יוצרים שרשרת בטיחות מעשית:

1. להעריך מערכות מתקדמות וסוכניות, כולל את התנהגותן בשפות שונות.
2. לשתף ממצאים טכניים, שיטות ממשל ולקחים מהבדיקות.
3. לשלוט בגישה למודלים שהיכולות שלהם יוצרות סיכונים מוגברים.
4. להגיב באמצעות דיווח אחראי, התקנת תיקונים, אימות והרשאות מצומצמות.
5. לקבוע מדיניות לגבי התנאים והאופן שבהם ניתן להשתמש במערכות מתקדמות בסביבות רגישות.

זו המשמעות המרכזית של מזכר ההבנות. הוא אינו הופך את ה-AI המתקדם לבטוח מעצמו, ואינו פותר את הסיכונים שהמחיש Claude Mythos. במקום זאת, הוא מחבר בין הערכה טכנית, ממשל גישה ונהלי אבטחת סייבר — בניסיון להבטיח שמערכות AI יהיו בטוחות, מאובטחות, אמינות ואחראיות יותר לפני שיכולת טכנית תיחשב בטעות להוכחה של מוכנות.