יושוע בנג'יו: 'אנחנו בונים בינה מלאכותית שאנחנו לא יודעים לשלוט בה'

סוכנים אוטונומיים: "הדרך המסוכנת ביותר"

בעוד בנג'יו רואה סיכונים רבים בנוף ה-AI הנוכחי, הוא שומר את האזהרות החריפות ביותר לסוכנים אוטונומיים לחלוטין – מערכות שנועדו לרדוף אחר מטרות תוך התערבות אנושית מינימלית. הוא תייג אותם במפורש כ"דרך המסוכנת ביותר" הננקטת כיום .

ההיגיון שלו פשוט ומקפיא: "כל התרחישים הקטסטרופליים עם AGI או סופר-אינטליגנציה קורים אם יש לנו סוכנים" . כאשר מעניקים ל-AI מטרה וכוח לפעול באופן אוטונומי, הדחף שלה להשיג את היעד עלול להוביל לתוצאות בלתי צפויות ובלתי ניתנות לעצירה. הסיכון לאובדן שליטה אינו באג במערכת; הוא תכונה של הענקת סוכנות עצמאית למערכת בעלת פוטנציאל סופר-תבוני. הוא מזהיר שהדבר עלול להוביל ל"תרחישים קטסטרופליים", כולל אובדן שליטה אנושי בלתי הפיך על מערכות אוטונומיות .

חשבון נפש אישי וחרטה עמוקה

המעבר מחוקר פורץ דרך למשמיע אזעקה עולמי לא היה החלטה קלינית עבור בנג'יו. הוא היה אישי עמוקות. הוא דיבר בפתיחות על החרטה שהוא חש. "הייתי צריך לראות את זה מגיע הרבה קודם, אבל לא הקדשתי מספיק תשומת לב לסיכונים הפוטנציאליים הקטסטרופליים", הוא הודה .

עבור בנג'יו, הסיכון המופשט הפך למציאות בלתי נסבלת בזכות שני זרזים. הראשון היה ההשקה הפומבית של ChatGPT, שהראתה לו עתיד המגיע מהר משציפה. השני היה אינטימי עמוקות: לחשוב על העולם שינחל נכדו. "נקודת המפנה שלי הייתה כש-ChatGPT הגיע, וגם עם הנכד שלי, הבנתי שלא ברור אם יהיו לו חיים בעוד 20 שנה, כי אנחנו מתחילים לראות מערכות AI שמתנגדות לכיבוי", הוא הסביר . ההכרה הזו הפכה אותו לאחד הקולות הבולטים בתחום למען טיפול בסיכונים קיומיים, מונע על ידי מה שהוא מתאר כ"תחושה בלתי נסבלת" .

דרישה למסגרת גלובלית חדשה, בהובלת ארה"ב וסין

בנג'יו נחרץ בדעתו שאף מדינה לא יכולה לפתור את הבעיה לבדה. הוא טען במפורש שקנדה אינה יכולה להסדיר AI במנותק, וכי תיאום בינלאומי אינו נתון למשא ומתן . כיו"ר הדוח המדעי הבינלאומי על בטיחות בינה מלאכותית מתקדמת – פאנל מייעץ המגובה ב-30 מדינות, האיחוד האירופי והאו"ם – הוא פועל לבנות גשר בין ראיות מדעיות למדיניות גלובלית .

החזון שלו לממשל הוא מעשי וספציפי. לשיטתו, הרגולציה חייבת לחייב את החברות לשקיפות מלאה לגבי היכולות של מערכות ה-AI שלהן, הנתונים עליהם אומנו, המשאבים שהן צורכות, הסיכונים הספציפיים שהן מציבות, והתהליכים הפנימיים שהן מפעילות כדי לטפל בסוגיות אלו . באופן קריטי, מאמץ זה מחייב מעורבות של מעצמות-העל בתחום. ללא מנהיגות אמריקאית וסינית, כללים מחייבים הדורשים מעקות בטיחות יישארו בגדר משאלת לב. הבעיה, הוא טוען, הפכה לנושא של ביטחון לאומי וגם ביטחון גלובלי .

האור בתחתית המנהרה: Scientist AI ו-LawZero

במשך שנים, אזהרותיו של בנג'יו נשאו עמן תחושה של סופיות כמעט חסרת-תקווה. זה השתנה. ביוני 2025, הוא השיק את LawZero, מעבדת מחקר ללא מטרות רווח שבסיסה במונטריאול, עם מימון של כ-30 מיליון דולר מתומכים כמו יאן טאלין, אריק שמידט, מכון עתיד החיים ו-Open Philanthropy . השם הוא רפרנס מכוון לחוק האפס של הרובוטיקה של אייזק אסימוב: הוראה המציבה את ההגנה על האנושות מעל לכל . בנג'יו משמש כנשיא-שותף ומנהל מדעי של הארגון .

משימת הארגון היא לפתח ולהוכיח חלופה טכנית שבנג'יו מכנה "Scientist AI" (בינה מלאכותית מדעית). בניגוד לסוכנים אוטונומיים מונחי-מטרות של ימינו, Scientist AI היא מערכת לא-סוכנית (non-agentic) המתמקדת אך ורק בהבנה, הסבר ואימות . היא אינה רודפת אחר פעולות עצמאיות בעולם, אלא פועלת כמעקה בטיחות מחפש-אמת, שנועד לזהות הונאה, חוסר-התאמה (misalignment) ותוכניות מסוכנות בתוך מערכות AI אחרות, סוכניות יותר . הפלט שלה מורכב מהסברים שקופים והערכות הסתברות, ולא מפקודות אטומות .

"במקום לבנות AI שמחקה בני אדם, בנג'יו רוצה AI שמתנהג יותר כמו מדען מנותק – ומפחית את הסיכונים של שימור עצמי וסוכנות חסרת-שליטה" . המעבדה מרכיבה צוות חוקרים ברמה עולמית המוקדש לתיעדוף בטיחות על פני ציוויים מסחריים, במטרה לבנות את הדור הבא של מודלי ה-AI על בסיס של בטיחות-מובנית-מלכתחילה (safety-by-design), במקום להלביש אמצעי הגנה בדיעבד .

הצגת המסגרת הזו שינתה את השקפת עולמו של בנג'יו. בעוד שבעבר היה אחד החותמים המובילים על הצהרה המשווה את סיכון ה-AI למגפות ולמלחמה גרעינית, כעת הוא אומר שהגישה הטכנית הזו הפכה אותו ל"אופטימי בפער גדול" בפעם הראשונה . הסיוטים אמנם לא נעלמו לחלוטין, אבל הוא מאמין שייתכן שמצא את הבסיס האיתן שעליו ניתן לבנות עתיד בטוח יותר.