האם בינה מלאכותית עלולה להכחיד את האנושות — ומה צריך להוכיח לפני שמאטים?

הוויכוח הנוכחי על סכנת הכחדה מבינה מלאכותית אינו עימות פשוט בין מי שחושבים שהטכנולוגיה בטוחה למי שחושבים שהיא מסוכנת. המחלוקת היא על קצב התקדמות היכולות, שרשרת התנאים שתידרש כדי שמודל יוכל לגרום לנזק בלתי הפיך, וכמה ראיות יש לדרוש לפני שמטילים מגבלות משמעותיות יותר.

אזהרות של חוקרים שעבדו במעבדות AI מובילות העניקו לדיון דחיפות חדשה. ובכל זאת, גם חלק מהמבקרים החריפים של רטוריקת ה"יום הדין" תומכים בבדיקות ובאמצעי בטיחות. לכן השאלה המדינית המעשית הולכת ומתחדדת: האם מפתחי המערכות יכולים להוכיח שליטה ובטיחות בפריסה, ככל שהמערכות נעשות חזקות יותר?

האזהרות מבפנים: מרוץ למערכות שאולי לא ניתן יהיה לשלוט בהן

ג'ייקוב קוקסון, חוקר Anthropic לשעבר שאמר כי עבד גם ב־OpenAI, התפטר בספטמבר 2026 וטען ששתי החברות נותנות עדיפות לתחרות על פני פיתוח אחראי. לדבריו, הן נמצאות במרוץ לעבר "סופר־אינטליגנציה שמשפרת את עצמה". 49

לאזהרה זו הצטרף בפומבי אוון הובינגר, מוביל מדע היישור (alignment) ב־Anthropic. הובינגר אמר כי להערכתו האישית, ההסתברות שבינה מלאכותית תהרוג את כל בני האדם בעשור הקרוב עולה על 10%; הוא הוסיף של־Anthropic עדיין אין תוכנית לפתור את בעיית היישור של סופר־אינטליגנציה. 16 הדיווחים מדגישים כי מדובר בהערכה אישית, לא בקונצנזוס מדעי ולא בהסתברות הכחדה שחושבה אמפירית. 12

גם בילאל צ'וגטאי, חוקר לשעבר ב־Google DeepMind, השמיע אזהרה דומה: לדעתו ל־AI יש פוטנציאל להרוג את כולם, וייתכן שהזמן למנוע תוצאה כזו הולך ואוזל. 2

הטיעונים הללו בדרך כלל אינם אומרים שצ'אטבוטים קיימים יתעוררו לפתע ויהפכו למסוכנים מעצמם. התרחיש שמדאיג את המזהירים הוא מותנה: מערכות עתידיות עשויות להאיץ משמעותית מחקר AI, לפעול באוטונומיה גבוהה יותר, לחמוק מפיקוח אנושי אפקטיבי, או להרחיב גישה ליכולות סייבר, ביולוגיה ומוסדות — מהר יותר מכפי ששיטות הבטיחות משתפרות. השאלה אם מסלול כזה סביר, ומתי, היא לב המחלוקת.

למה הערכת ה־10% אינה תחזית מוכחת

המספר שהציג הובינגר משך תשומת לב משום שהוא חריף ומגיע מחוקר בכיר בתחום היישור. אבל חשוב לפרש אותו נכון: זהו שיפוט אישי תחת אי־ודאות עמוקה, לא הסתברות שאומתה באמצעות נתונים היסטוריים או מודל שמסוגל למדוד סיכון להכחדה. 12

ההערכה נשענת גם על כמה הנחות שלא הוכרעו:

• מערכות AI יצטרכו להפוך לבעלות יכולות גבוהות בהרבה מהמודלים של היום.
• היכולות האלה יצטרכו להפוך לאוטונומיה אסטרטגית מתמשכת או לכוח מזיק בעולם האמיתי.
• בקרות טכניות, מפעילים אנושיים, מוסדות ואמצעי נגד יצטרכו להיכשל בהכלת המערכת או בשימוש לרעה בה.
• מחקר הבטיחות והיישור יצטרך להישאר מאחור ביחס להתקדמות היכולות.

אפשר להתווכח על כל חוליה בנפרד. אין בכך כדי להפוך את החשש לזניח, אך גם אין לבלבל בין מספר בולט בכותרת לבין תחזית שהוכחה.

הטענה הספקנית: אינטליגנציה דיגיטלית אינה כוח בעולם הפיזי

הספקנים מערערים על הקפיצה מביצועים חזקים במשימות תוכנה ושפה ליכולת לגרום נזק פיזי בקנה מידה של הכחדה. דוגמה שכיחה עולה מעולם הביולוגיה: אריק שינג טען שיצירת רצף גנומי היפותטי של נגיף באמצעות מודל שפה שונה מהותית מיצירת נגיף בר־קיום. בין השניים מפרידים השגת חומרים, ייצור, היתכנות ביולוגית, עבודת מעבדה ובדיקות. 46

ההבחנה הזו חשובה. מודל יכול להציע מידע או תכנון, אבל המרה של מידע כזה לנזק במציאות עשויה לדרוש מתקנים ייעודיים, מומחיות מעשית שאינה כתובה, שרשראות אספקה, ניסויים חוזרים וגישה לחומרים מפוקחים. המגבלות האלה אינן אומרות שסיכון ביולוגי הוא אפס; הן כן מטילות ספק בהנחה שיכולת דיגיטלית לבדה מספקת מיד כוח פיזי מכריע.

מנכ"ל Nvidia, ג'נסן הואנג, נמנה עם המבקרים הקולניים של טענות ההכחדה, וכינה את הרעיון ש־AI תסיים את האנושות "שטות מוחלטת". 33 גם מארק קיובן טען שתגובות אנושיות לטענות מבהילות עשויות להיות מסוכנות יותר מ"נחילי סוכנים" של AI עצמם. 43

העמדה הספקנית אינה בהכרח טענה שמערכות AI מתקדמות אינן זקוקות לאמצעי הגנה. היא גורסת שטענות חריגות על הכחדה קרובה דורשות ראיות חזקות יותר מהסקה מביצועי המודלים של היום וממסלולים עתידיים ספקולטיביים.

עמדת הביניים: להאט את קצב היכולות ולוודא בטיחות

תגובה מעשית יותר מגיעה ממנהלים שאינם מציגים הכחדה כוודאות, אך גם אינם פוסלים אותה. מנכ"ל Anthropic, דריו אמודיי, קרא להאט את קצב השיפור ביכולות מודלי AI כדי לפנות זמן לעבודת בטיחות. המסגרת שהציע כוללת מעריכים עצמאיים שישולבו בחברות עם גישה דומה לזו של עובדים, וכן תיאום בין חברות ה־AI המובילות. 18

רויטרס דיווחה כי מנכ"ל OpenAI, סם אלטמן, נמנה עם המנהלים המבקשים האטה מתואמת, אף שהתעשייה חלוקה בשאלה עד כמה להסתמך על אמצעי הגנה שמובילים השוק והחברות עצמן. 19 לפי דיווחים, אלטמן תמך גם בשילוב מעריכים חיצוניים במסגרת המוצעת. 20

הגישה הזו מעבירה את הדיון מתחזיות מופשטות לפרקטיקות שאפשר לבחון:

1. הערכה עצמאית: לאפשר לבודקים חיצוניים ומוסמכים גישה משמעותית לבחינת טענות בטיחות, במקום להסתמך רק על הצהרות החברות. 18
2. ספים המבוססים על יכולת: להגביר פיקוח או להגביל פריסה כאשר מודלים מציגים התקדמות מהותית בתחומים מסוכנים, כגון פעולות סייבר או התנהגות של סוכנים אוטונומיים.
3. תיאום בין מעבדות: לצמצם תמריץ לחתוך מרווחי בטיחות רק כדי לא להישאר מאחור מול מתחרים. 18
4. שיתוף פעולה בינלאומי: לתאם תקנים בין ממשלות ובין מפתחות AI מרכזיים, לרבות הסדרים שמפחיתים לחץ תחרותי לפרוס מערכות בלי אמצעי הגנה מספקים. 27
5. קצב בטיחות לצד קצב יכולות: להתייחס לשליטה מוכחת, ניטור ויכולת תגובה כתנאים שחייבים להתקדם יחד עם עוצמת המערכות.

האם הפחדים ארוכי הטווח מסיטים את תשומת הלב מנזקים שכבר קורים?

ביקורת נפרדת נוגעת לסדר העדיפויות. גם אם סיכון קטסטרופלי מצדיק מחקר והיערכות, התמקדות בלעדית בתרחישי הכחדה ספקולטיביים עלולה להסתיר נזקים שכבר קשורים למערכות AI מתקדמות ולפריסתן.

הסדר היום המיידי כולל שימוש לרעה בסייבר, הונאות, מעקב, דיסאינפורמציה, החלטות אוטומטיות מפלות, טלטלות בשוק העבודה וריכוז כוח. אמודיי עצמו ציין סיכוני שימוש לרעה, ובהם פיתוח נשק, מתקפות סייבר ומעקב, בנימוקיו להאטת קצב הפיתוח. 29

זו אינה בהכרח בחירה בין נזקי ההווה לבין סיכונים קטסטרופליים ארוכי טווח. אמצעי הגנה טובים יכולים לשרת את שני היעדים: בקרות גישה חזקות יותר, הערכות טובות יותר, מדיניות פריסה זהירה, ביקורת עצמאית, דיווח על תקריות ואחריות ברורה יכולים לצמצם שימוש לרעה כבר עכשיו — ובמקביל לשפר היערכות למערכות חזקות יותר.

מה באמת משתנה בוויכוח הזה

המסקנה החזקה אינה שהכחדה הוכחה, וגם לא שאפשר לבטל את האפשרות רק מפני שלא הודגם מסלול קטסטרופלי שלם. מן הראיות העולות מהדיון הזה נגזר סטנדרט מעשי יותר: טענות לבטיחות של מערכות שהולכות ומתחזקות צריכות להיות ניתנות לבדיקה, פתוחות לבחינה עצמאית, ומותאמות להיקף הנזק האפשרי.

קוקסון, הובינגר וצ'וגטאי מציגים טיעון לזהירות בתנאי אי־ודאות. ספקנים כמו הואנג ושינג מערערים על השאלה אם הראיות הקיימות מצדיקות מסקנות אפוקליפטיות בטווח הקרוב. אמודיי ואלטמן מצביעים על תגובה מדינית שלא מחייבת להכריע קודם בכל מחלוקת פילוסופית: להאט את חזית הפיתוח, למדוד יכולות מסוכנות, לאפשר ביקורת חיצונית אמינה, ולתאם כללים לפני שלחץ תחרותי יהפוך טענות בטיחות לא־מאומתות לברירת המחדל של פריסת מערכות. 49 16 33 18 19