אנדרו נג: חששות מהכחדת האנושות בידי AI הם "יותר מדע בדיוני ממדע"

אנדרו נג אינו טוען שבינה מלאכותית אינה מסוכנת. הטענה שלו היא אחרת: תרחיש של הכחדת האנושות בעתיד הקרוב הוא ספקולטיבי מדי מכדי שיהפוך לעיקרון המארגן של מדיניות ה-AI. בריאיון ל-Bloomberg TV ב-17 בספטמבר, ממייסדי Google Brain תיאר את האזהרות הללו כ"יותר מדע בדיוני ממדע" — וקרא להתייחס לבטיחות AI כאל משימת הנדסה: בודקים מערכות, מוסיפים שכבות הגנה ומשפרים אותן לאורך זמן. 2

מה בדיוק אמר נג על סיכון ההכחדה

נג אמר שמערכות AI לעולם לא יהיו צפויות לחלוטין. אבל, לשיטתו, חוסר ודאות אינו סיבה לעצור את הפיתוח כולו. באמצעות בדיקות, מנגנוני הגנה ועבודה הנדסית אפשר להעלות בהדרגה את רמת הבטיחות, והוא אף הזהיר שהאטה רחבה של הפיתוח עלולה לעכב גם את ההתקדמות בתחום הבטיחות. 2

זו עמדה הפוכה לזו של מי שחוששים שמערכות מתקדמות יותר ויותר יהפכו בקרוב לבלתי נשלטות. מבחינת נג, סדר היום הבטיחותי צריך להתחיל בכשלי מערכת שאפשר לצפות, למדוד ולטפל בהם — ולא בתרחישי הכחדה היפותטיים.

למה הוא מטיל ספק בנרטיב האפוקליפטי

נג אמר שאזהרות על סיכון קיומי מבינה מלאכותית עלולות לפגוע במימוש התועלות של הטכנולוגיה לחברה. לדבריו, תעשיית הטכנולוגיה כבר ליבתה בשלב מוקדם יותר של גל ה-AI חששות מפני נזקים קטסטרופליים, לכאורה כדי לייצר פרסום ולהשפיע על הרגולציה. 1

זהו ויכוח גם על תמריצים: טענות דרמטיות מושכות תשומת לב, והחלטות רגולטוריות קובעות מי יישא בעלויות הציות. נג לא קרא להפסיק את עבודת הבטיחות; הוא התנגד להצגת תרחיש ההכחדה כמדע מוכרע או כנימוק להקפאה רחבה של הפיתוח.

הבטיחות שנג רוצה לקדם

החלופה שמציג נג היא צמצום סיכונים מעשי. הדיווחים על הריאיון הצביעו על אבטחת סייבר ועל אמצעי הגנה קונקרטיים נוספים כתחומי עדיפות. 5

בפועל, הגישה שלו כוללת:

• בדיקות קפדניות לפני הטמעת מערכות וגם במהלכה.
• הגנות ומגבלות פעולה שנועדו לצמצם דפוסי כשל מוכרים.
• הנדסה איטרטיבית לשיפור האמינות כאשר מתגלות בעיות חדשות.
• התמקדות בנזקים צפויים, ובהם סיכוני סייבר, במקום ריכוז המדיניות סביב תרחישי הכחדה. 25

המסגרת הזו אינה מבטיחה שליטה מושלמת. היא גורסת שטכנולוגיה שימושית יכולה להגיע לרמת אמינות מתקבלת על הדעת באמצעות מחזור מתמשך של הערכה, תיקון ושיפור — כמו בתחומי הנדסה אחרים.

המחלוקת מול מחנה ההאטה

שורה של דמויות בולטות בעולם ה-AI מסכימות שבטיחות דורשת יותר תשומת לב, אך מסיקות מכך שיש להאט במכוון את קצב ההתקדמות של המודלים המתקדמים ביותר.

ג'ייקוב קוקסון: הערכת סיכון גבוהה בהרבה

ג'ייקוב קוקסון, חוקר לשעבר ב-Anthropic וב-OpenAI, התפטר מ-Anthropic והזהיר שפיתוח מהיר של מערכות בעלות יכולת לשיפור עצמי עלול להסתיים באסון. הוא אמר שנדרשת האטה, ובהמשך בירך על הצעת Anthropic לקצב את הפיתוח. 3343

דאריו אמודיי: להאט את קצב שיפור היכולות כדי לקנות זמן

מנכ"ל Anthropic, דאריו אמודיי, קרא לחברות להאט את הקצב שבו הן משפרות את יכולות מודלי ה-AI. מטרתו המוצהרת הייתה לפנות זמן לניהול הסיכונים, בין היתר במסגרת הכוללת מעריכים עצמאיים. 18

סם אלטמן: תמיכה בקיצוב קצב ההתקדמות בחזית

סם אלטמן, מנכ"ל OpenAI, תמך בעיקרון הבסיסי של הצעת אמודיי והתחייב ש-OpenAI תאמץ אחד ממנגנוני ההגנה: מתן גישה משמעותית למעריכים חיצוניים, כדי שיוכלו לבחון את נוהלי הבטיחות. 1924

ג'פרי הינטון: חשש מאובדן שליטה

ג'פרי הינטון אמר שיש "סיכון משמעותי" שבינה מלאכותית תחמוק משליטה אנושית. הוא תמך בהאטה ובצעדים כמו בדיקות לפני השקה, וטען שממשלות פועלות לאט מדי. 20

המחלוקת המעשית, אם כן, נוגעת הן להסתברות והן למדיניות. קוקסון, אמודיי, אלטמן והינטון רואים בסיכוני אובדן השליטה אפשרות סבירה דיה כדי להצדיק קיצוב מכוון של קצב פיתוח המערכות המתקדמות ביותר. נג, לעומתם, סבור שטענות על הכחדה אינן מבוססות דיין ומבקש למקד את הבטיחות בכשלים מוחשיים וברי-טיפול. 21820

מי מתנגד להאטה — אבל לא בהכרח מאותן סיבות

התנגדותו של נג להאטה גורפת אינה הופכת אותו לשותף לכל הטיעונים של מנהיגים פוליטיים ומנהלים בענף שגם הם מתנגדים לה.

• ג'נסן הואנג: מנכ"ל Nvidia אמר שהתעשייה אינה זקוקה לחוקים או לרגולציה חדשים. 53
• מארק צוקרברג: מנכ"ל Meta טען שהאטה כלל-ענפית אינה נחוצה, משום שהתחרות ותמריצי השוק ידחפו חברות להפוך את המודלים לבטוחים. 55
• הנשיא דונלד טראמפ: טראמפ כינה את החששות מ-AI בלתי נשלט "מתיחה" ואמר שלארצות הברית כבר יש כלים לפקח על חברות AI ולהעמידן לדין. 4950
• גורמים רשמיים בסין: דובר משרד החוץ הסיני דחה את הקריאות להאט את פיתוח ה-AI בחזית הטכנולוגית. 52

כל העמדות הללו מובילות למסקנה דומה לגבי הקפאה רחבה, אך ההצדקות שונות. הטיעון של נג הוא בעיקר טכני: להתמקד בנזקים מדידים ולבנות בקרות טובות יותר. הואנג, צוקרברג, טראמפ והגורמים הסיניים הדגישו, במינונים שונים, התנגדות למגבלות חדשות, תמריצי שוק, תחרות ואסטרטגיה לאומית. 250525355

נקודת הסכמה צרה: סייבר

הוויכוח אינו מתחלק בפשטות בין מי שאכפת להם מבטיחות לבין מי שלא. איידן גומז, מנכ"ל Cohere, אמר למשל שמודלי AI נעשו לכלי סייבר חזקים במיוחד, מפני שהם מסוגלים לאתר ולנצל חולשות בקנה מידה רחב. 62 החשש הזה קרוב לקריאתו של נג לטפל בסיכוני סייבר מוחשיים, אף שהדיווחים הזמינים אינם מאפשרים לקבוע מהי עמדתו המלאה של גומז ביחס להאטה כלל-ענפית או לממשל AI בינלאומי.

כמו כן, המקורות הזמינים אינם מספקים די ראיות כדי לאפיין באחריות את עמדתו של המשקיע סטיב אייזמן בסוגיות של האטת פיתוח, מחקר בטיחות, רגולציה וממשל בינלאומי.

השורה התחתונה

נג מבקש למסגר מחדש את הדיון בבטיחות AI. השאלה, מבחינתו, אינה אם צריך להפוך את הבינה המלאכותית לבטוחה יותר — אלא אם תרחישי הכחדה ספקולטיביים צריכים להכתיב את סדר היום. תשובתו היא לא: יש לתת עדיפות לבדיקות, למנגנוני הגנה ולהנדסה שמטפלת בנזקים קיימים וניתנים לזיהוי, ולהימנע מהאטה גורפת שלדבריו עלולה לעכב גם חדשנות וגם התקדמות בבטיחות. 12