הערכת ה־10% של אוון היובינגר חושפת את הפער בלב ויכוח היישור של בינה מלאכותית

הדברים שפרסם אוון היובינגר לא הוכיחו שבינה מלאכותית תגרום להכחדת האנושות. הם חשפו משהו ממוקד יותר — ובעל משמעות ציבורית חריגה: מי שמוביל ב־Anthropic את תחום מדע היישור (alignment) כתב שלדעתו האישית יש יותר מ־10% סיכוי לכך בעשור הקרוב, ובאותה נשימה הודה שלחברה עדיין אין תוכנית לפתור את בעיית היישור של בינת־על, ואף אין לה מסלול ברור לפתרון כזה. 12

הצירוף הזה חיזק את ליבת האזהרה של ג'ייקוב קוקסון, חוקר לשעבר ב־Anthropic וב־OpenAI שהתפטר: מעבדות ה־AI המובילות עשויות לדחוף למערכות בעלות יכולות גדלות והולכות, בעוד שהשיטות להבטיח שמערכות כאלה יישארו נאמנות לכוונה האנושית עדיין לא הוכחו. 23

ההבחנה החשובה: תחזית אישית, לא עמדת חברה

הנתון של „יותר מ־10%” היה הערכתו של היובינגר עצמו. הוא לא הוצג כאומדן הסתברות רשמי של Anthropic, כהסכמה בין עובדי החברה או כתחזית מדעית מבוססת ומוסכמת. 12

הסייג הזה מהותי. הסתברות לבדה אינה מסבירה מנגנון, אינה קובעת לוח זמנים ואינה מוכיחה שאסון הוא תוצאה סבירה. לפי הדיווחים, היובינגר גם אמר שהסיכון מהמודלים הזמינים כיום נמוך. חששו נגע למערכות עתידיות שעלולות להיות מסוגלות בהרבה, לרבות באמצעות שיפור עצמי רקורסיבי — שימוש ביכולות AI כדי לסייע ביצירת AI מתקדם יותר. 210

ובכל זאת, יש משמעות לכך שהדברים באו מאדם המוביל עבודת יישור במעבדת AI מהחזית הטכנולוגית. הגילוי המרכזי איננו רק המספר הדרמטי, אלא הפער בין התקדמות ביכולות לבין ביטחון שאפשר יהיה להשאיר מערכות בינת־על תחת שליטה אנושית. 12

מדוע הדברים חיזקו את אזהרת ההתפטרות של קוקסון

קוקסון, שעבד בעבר גם ב־OpenAI וגם ב־Anthropic, התפטר בטענה שאף אחת מהחברות אינה פועלת באחריות, ושהן מתחרות בדרך לבינת־על המשפרת את עצמה. היובינגר הסכים בפומבי עם טענתו של קוקסון שלאנשים הבונים את המערכות הללו יש חשש כנה מתרחישים ברמת הכחדה. 23

אין בכך הוכחה שכל העובדים שותפים לעמדה אחת, ואין בכך להפוך את תיאורו של קוקסון להערכה מאומתת באופן בלתי תלוי של שתי החברות. אבל קשה יותר להציג את ההתפטרות כתלונה בודדת של עובד לשעבר: מנהל יישור מכהן אישר את נקודת היסוד — דאגה פנימית רצינית יכולה להתקיים לצד המשך פיתוח של מודלי חזית. 12

גם את דבריו של סמואל מרקס יש לקרוא בזהירות דומה. לפי הדיווחים, הוא אמר שמפתחי AI מאמינים שהטכנולוגיה עלולה לגרום להכחדת האנושות או לתוצאות חמורות באותה מידה; אולם זו נקודת מבט של גורם מבפנים, ולא ראיה שפורסמה להערכת סיכון כלל־חברתית. 5

הוויכוח האמיתי: ממשל תחת אי־ודאות

קל לצמצם את הפרשה ל„נביאי זעם של AI מול אופטימיסטים”. השאלה המעשית יותר היא אילו אמצעי הגנה צריכים להיות מחייבים כאשר הנזק האפשרי הוא עולמי ובלתי הפיך, אך ההסתברות ולוח הזמנים אינם ודאיים מאוד.

דברי היובינגר מחדדים כמה סוגיות:

• בעיית היישור לא נפתרה. יש הבדל בין חברה שמשקיעה מאמץ לבין הוכחה שיש לה שיטה מאומתת לשלוט במערכות החזקות משמעותית מהמודלים הקיימים. 1
• תחרות עלולה להקשות על ריסון מרצון. טענתו של קוקסון היא שלחץ תחרותי דוחף מעבדות להגדיל יכולות, גם כששאלות בטיחות מהותיות עדיין פתוחות. 23
• בטיחות המודלים הנוכחיים אינה כל הסיפור. היובינגר הפריד בין הערכת סיכון נמוכה מהמודלים של היום לבין חשש ממערכות עתידיות וחזקות בהרבה. 210
• נדרשת יכולת אימות חיצונית. לציבור, ללקוחות ולממשלות קשה להעריך טענות על תהליכי בטיחות פנימיים בלי הערכה עצמאית ודיווח שקוף.

אלה בעיות ממשל, לא הוכחה לאסון קרוב. אבל בדיוק בעיות כאלה עלולות להיות קשות הרבה יותר לפתרון לאחר שמערכות ישיגו יכולות מסוכנות.

שאלות השקיפות מגבירות את הלחץ

לפי דיווחים, Anthropic סירבה להגיש את המודל העדכני שלה לבדיקה במכון הבטיחות ל־AI של בריטניה לפני השקתו. יש להתייחס לכך בזהירות: החשבונות הזמינים מתארים זאת כדיווח, ולא כממצא פומבי מאומת של החברה או של ממשלת בריטניה. 10

ועדיין, הטענה ממחישה מדוע התחייבויות בטיחות וולונטריות מעוררות ספקנות. אם מובילי הבטיחות בחברה עצמה מכירים באתגרי יישור שטרם נפתרו, משקיפים מבחוץ ישאלו באופן סביר אילו בדיקות נערכו, מי בחן אותן, אילו תוצאות חולקו, ואילו ספי יכולת מחייבים בקרות מחמירות יותר.

מה יכול לכלול מסלול איטי ובטוח יותר

קריאה „להאט” אינה חייבת להיות דרישה להפסיק לצמיתות כל מחקר או פריסה של AI. הטיעון המדיניותי הוא לבדיקות מחייבות לפני שמערכות חוצות ספי יכולת בעלי השלכות חריגות.

צעדים אפשריים כוללים:

• הערכות עצמאיות של יכולות ובטיחות לפני פריסה;
• חובת דיווח על תקריות חמורות ועל יכולות מסוכנות באופן מהותי;
• ספים ברורים למצב שבו מפתחים חייבים להפעיל בקרות אבטחה וממשל מחמירות יותר;
• ביקורות שאינן נשענות רק על הצהרות פנימיות של המפתח; וכן
• תיאום בינלאומי, כדי שחברה או מדינה אחת לא תידחק לקצר תהליכים רק כדי לעמוד בקצב המתחרים.

ההיגיון פשוט: אם ההסתברות אינה ודאית אך המחיר האפשרי קיצוני, אמצעי ההגנה צריכים להיות ניתנים להדגמה לפני אובדן שליטה — ולא אחריו.

מה חשפה ההצהרה בסופו של דבר

הפוסט של היובינגר חשף מתח בלב תחום ה־AI המתקדם: מפתחים מובילים יכולים להכיר בפומבי בסיכונים חמורים לטווח הארוך, ובו בזמן להמשיך לבנות את היכולות שהופכות את הסיכונים הללו לדחופים יותר. 12

הוא אינו מכריע מהי ההסתברות לנזק קטסטרופלי מבינה מלאכותית, ואין להתייחס אליו כאל תחזית רשמית של Anthropic. אך הוא הופך את ויכוח היישור לקונקרטי יותר. השאלה אינה רק אם AI מתקדם עלול להיות מסוכן, אלא אם חברות וממשלות יכולות להראות — באמצעות ראיות עצמאיות, כללים אכיפים ותיאום בינלאומי — שהן ערוכות לכך לפני שהמערכות הנדונות יהיו חזקות מכדי למשול בהן בבטחה. 110