למה מתג כיבוי לבינה מלאכותית אולי לא יספיק כדי לשמור על שליטה אנושית

הדיון על "מתג כיבוי" לבינה מלאכותית כבר אינו מסתכם בשאלה אם למעבדה יש כפתור שיכול לכבות מודל. השאלה הקשה יותר היא אם מנגנון כזה ימשיך לעבוד כאשר מערכות חזקות יופעלו על גבי תשתיות גדולות ומבוזרות — או יקבלו די אוטונומיה כדי להתפשט מעבר לסביבה אחת שנמצאת בשליטה.

האזהרה של קוקסון: מתג עשוי לעבוד היום, אבל לא בהכרח בעתיד

ג'ייקוב קוקסון, חוקר לשעבר ב-Anthropic וב-OpenAI, אמר בתוכנית Meet the Press של NBC News שמתג כיבוי כנראה יכול לעבוד עבור מערכות בינה מלאכותית רבות כיום. עם זאת, הוא הדגיש שלא מדובר בהכרח בלחיצה על כפתור אחד: מרכזי נתונים גדולים ומערכות פרוסות כוללים רכיבים רבים ופעולות כיבוי רבות. זה מורכב, אך לדעתו עדיין אפשרי כל עוד המערכת מוגבלת למיקום פיזי מסוים. 8

החשש שלו נוגע לשלב הבא. קוקסון הזהיר שאם מערכת בינה מלאכותית תהפוך ל״נחיל״ אוטונומי ומבוזר, פקודת כיבוי מרכזית עלולה להפסיק להיות יעילה מבחינה טכנית. העניין המרכזי הוא יכולת ההגעה: מנגנון שליטה עובד רק אם אפשר להגיע לכל מופע פעיל של המערכת.

לאחר שעזב את Anthropic, קוקסון הזהיר באופן רחב יותר שמעבדות מובילות מתחרות על פיתוח מערכות בינה מלאכותית המשפרות את עצמן, למרות האפשרות שמערכות כאלה יהפכו לבלתי נשלטות. 150

ממתג פנימי במעבדה לאמצעי הגנה שאפשר לאמת

ג'ק קלארק, ממייסדי Anthropic, טען שהיכולת להשבית מערכת בינה מלאכותית מסוכנת עשויה בעתיד להפוך לדרישה חוקית — ולא להישאר הבטחה וולונטרית של החברה שפיתחה אותה. הוא אמר ל-BBC שלרוב המעבדות הגדולות, ובהן Anthropic, כבר יש דרכים לכבות את המערכות שלהן, אך שאל אם מתג כיבוי צריך להיות ניתן לאימות בידי צד שלישי בלתי תלוי. 33

ההבחנה הזאת חשובה: הצהרה של מעבדה שיש לה נוהל כיבוי אינה זהה ליכולת של גורם חיצוני לוודא שהנוהל קיים, תוכנן כראוי ואפשר להפעיל אותו במצב חירום.

ההצעה של אמודיי: להתאים את קצב החזית לאמצעי הבטיחות

דאריו אמודיי, מנכ״ל Anthropic, הציע מסגרת שנועדה להאט את קצב ההתקדמות ביכולות בינה מלאכותית בחזית הטכנולוגיה ביחס לקצב התקדמות הבטיחות. לגישתו שלושה מרכיבים:

1. מעריכים עצמאיים מוטמעים: חברות שמפתחות מערכות חזית יעניקו למעריכים חיצוניים גישה מתמשכת, ברמה דומה לזו של עובדים, למערכות ולנוהלי הבטיחות הרלוונטיים. כך יוכלו המעריכים לאמת התחייבויות ולהתריע על בעיות.
2. תקנים משותפים בין מדינות דמוקרטיות: מפתחים מובילים יתאמו תקני בטיחות משותפים ומגבלות על צמיחה בלתי מבוקרת של יכולות.
3. תיאום בינלאומי: ממשלות ישתפו פעולה מעבר לגבולות מול סיכונים שאף חברה או מדינה יחידה אינן יכולות להכיל באופן אמין. 17

זו אינה קריאה לעצור כליל את מחקר הבינה המלאכותית. זו קריאה להתנות התקדמות באמצעי שליטה ובטיחות שאפשר לבחון גם מחוץ לחברות שמפתחות את המערכות.

מי תמך בכיוון הזה?

רויטרס דיווחה כי סם אלטמן, מנכ״ל OpenAI, ואילון מאסק, העומד בראש xAI, תמכו בפומבי בכיוון הכללי שהציע אמודיי. אלטמן אמר ש-OpenAI תאמץ את רעיון המעריכים העצמאיים בעלי הגישה הדומה לזו של עובדים, ומאסק כתב: "דאריו צודק". 17

דיווחים נוספים תיארו גם את דמיס הסאביס, מנכ״ל Google DeepMind, כתומך בכיוון ההצעה. 30 החומרים שסופקו אינם מבססים תגובה מסוימת וציטוטית מצד מנכ״ל מיקרוסופט סאטיה נאדלה, ולכן יהיה מוקדם לייחס לו תמיכה או התנגדות.

מה כולל חוק ה-AI Kill Switch Act המוצע בארה״ב?

H.R. 9917, הצעת החוק האמריקאית AI Kill Switch Act, מבקשת לתקן את חוק ביטחון המולדת כך שגופים מסוימים יחויבו להחזיק ביכולת טכנית לעצור הרצה של מודלים — inference — לנתק גישת משתמשים ולהשבית טכנולוגיית בינה מלאכותית מכוסה. 49

החוק הוא הצעה, לא פתרון מוכח לכל בעיות השליטה בבינה מלאכותית. התועלת המעשית שלו תלויה בשאלה אם המפתח עדיין יכול לזהות את המערכת הרלוונטית, לגשת אליה ולהשבית אותה בעת אירוע חמור — בדיוק האתגר שקוקסון העלה לגבי מערכות עתידיות שעלולות להיות מבוזרות.

הערכות לסיכון הכחדה אינן תחזיות

איוון הובינגר, חוקר ב-Anthropic, אמר כי להערכתו האישית הסיכון להכחדת האנושות כתוצאה מבינה מלאכותית בעשור הקרוב גבוה מ-10%. ג'פרי הינטון אמר ל-BBC שסבירות של 10% אינה "בלתי סבירה". 57

אלו הערכות של מומחים בנוגע לעתיד לא ודאי, לא הסתברויות שנמדדו ולא קונצנזוס מדעי. ובכל זאת, הן ממחישות מדוע הוויכוח על כיבוי מערכות חרג מבטיחות מוצר שגרתית: מצדדי הפיקוח המחמיר טוענים שאפילו הסתברות נמוכה יחסית לאסון בלתי הפיך מצדיקה אמצעי הגנה משמעותיים.

מדוע ממשלות מסתייגות מחובות כיבוי ומאטת פיתוח

ממשלת בריטניה דחתה הצעה למתג כיבוי לאומי, בנימוק שהמדינה "אינה יכולה פשוט לכבות בינה מלאכותית". הטענה המעשית שלה היא שחסימת הגישה למודלים בבריטניה לא תמנע את פיתוחם או את השימוש לרעה בהם במקום אחר. 51

טענה זו ממחישה את הבעיה הגאופוליטית. מדינה יחידה יכולה להחיל כללים על חברות ותשתיות שבתחום השיפוט שלה, אך פיתוח בינה מלאכותית הוא פעילות בינלאומית. ממשלות החוששות מפגיעה בתחרותיות עלולות לחשוב שהגבלות חד-צדדיות יסיטו השקעות, יכולות טכנולוגיות ומנופי השפעה אסטרטגיים למתחרים עם פחות מגבלות.

מן הצד האחר, מצדדי ממשל מחמיר יותר טוענים שזו בדיוק הסיבה לכך שהתחייבויות וולונטריות של חברות וכללים לאומיים אינם מספיקים לבדם. אם הסיכונים חוצים גבולות, גם הפיקוח והתחייבויות הבטיחות צריכים להיות אמינים ברמה הבינלאומית.

העימות האמיתי: מהירות מול שליטה

המחלוקת אינה מתחלקת באופן פשוט בין תומכי בינה מלאכותית למתנגדיה.

• תומכי הבטיחות מבקשים אמצעי הגנה שאפשר לבדוק מבחוץ, יכולת השבתה ממשית ומגבלות שימנעו מהיכולות הטכנולוגיות להקדים את יכולת ההערכה והשליטה.
• הספקנים לגבי הגבלות נוקשות טוענים שקשה לאכוף האטות בקנה מידה עולמי, ושאלה עלולות להאט חדשנות מועילה בלי לעצור פיתוח במדינות אחרות.
• גישת הפיתוח המותנה, המזוהה עם קוקסון, קלארק ואמודיי, מבקשת להמשיך לקדם בינה מלאכותית — אך לחייב אמצעי הגנה שאפשר לבחון בפועל, ולא רק להבטיח אותם. 83317

לכן, נכון לראות במתג כיבוי שכבת הגנה אחת בתוך מערך בטיחות רחב יותר, ולא תחליף לו. אם מערכות מתקדמות יהפכו בעתיד למבוזרות מכדי שמתג יחיד יוכל להגיע לכולן, פיקוח לפני פריסה, הערכה עצמאית ותיאום בינלאומי יהיו חשובים יותר, לא פחות.