חוקר לשעבר ב-Anthropic התפטר והזהיר: מרוץ ה-AI מתקדם מהר יותר מהיכולת לשלוט בו

קוקסון אמר שהתפטר מ-Anthropic ב־8 בספטמבר משום שהגיע למסקנה שהבעיה אינה רק תקלה טכנית כזו או אחרת, אלא התמריצים התחרותיים של מעבדות ה-AI המובילות. לדבריו, התמריצים הללו דוחפים אותן לפתח מערכות אוטונומיות יותר, בעלות יכולת לשפר את עצמן, לפני שיש בידי התעשייה דרך מוכחת לשלוט בהן. הוא עזב לאחר כארבעה חודשים בחברה, כשנותרו כחודשיים להבשלת המניות שלו — צעד שנועד, לפי דבריו, להבהיר שהוא רואה בסיכון עניין חשוב יותר מהעלות הכספית האישית. 25

מה הייתה הטענה שלו?

בשרשור שפרסם ב־X, קוקסון טען שלא Anthropic ולא OpenAI פועלות באחריות, והאשים אותן ב"דהירה ישירה לעבר סופר-אינטליגנציה שמשפרת את עצמה ובהימור על חיינו". הטענה המרכזית שלו אינה שצ'אטבוטים קיימים עומדים לגרום מעצמם להכחדה, אלא שמפתחים של מודלי חזית — המערכות החזקות ביותר בתחום — מאמינים שהן עשויות להפוך לעל-אנושיות במשימות כמו חדירה למערכות מחשב. יכולות כאלה, לטענתו, עלולות ליצור מסלולים לאובדן שליטה קטסטרופלי. 38

בראיון ל-BBC אמר כי עובדי AI "באמת מפוחדים" מקצב ההתקדמות. הוא טען שאם הפיתוח לא יואט, יש "סיכוי משמעותי שכולנו נמות בעתיד המיידי". לצד זאת, הוא הדגיש שהאטה אפקטיבית תצטרך להיות מתואמת ברמה הבינלאומית, כולל עם סין — ולא מצב שבו מדינה אחת מוותרת לבדה על התחרות הטכנולוגית. 1

מי מסכים איתו — ומה מידת הוודאות?

אוון הובינגר, חוקר התאמה (alignment) ב-Anthropic, תמך בפומבי בחשש הכללי. הוא אמר שהסיכון מהמודלים הנוכחיים נמוך, אך העריך את הסיכוי שבינה מלאכותית תהרוג את כלל בני האדם בתוך עשור ביותר מ־10%. 13 גם ג'פרי הינטון טען בעבר שתרחיש של השתלטות AI או הכחדה אינו סיכון זניח.

עם זאת, אלה הערכות סובייקטיביות של מומחים, לא תחזיות מדידות. הדיווחים הקיימים אינם מצביעים על הסכמה רחבה בקרב חוקרים באשר להסתברות, למועד או אפילו לאופי המדויק של הסיכון. 813

מה הראיות המיידיות שעל הפרק?

החששות המעשיים יותר בדיון מתמקדים בשימוש לרעה בתחום הסייבר ובהאצה ביכולות, לא ב"מתקפת AI" אוטונומית על האנושות. בדיווחים הוזכרו שימושים או ניסויים במודלים מתקדמים בהקשרים של פעילות סייבר, לרבות ניסיונות לייצר נשק ביולוגי, ריגול הקשור לאוקראינה, ותקרית שתוארה כפריצה של סוכני OpenAI לפלטפורמת Hugging Face. בפרט לגבי הטענה האחרונה, יש לנקוט זהירות: פרטי ההתרחשות, ההרשאה והגילוי אינם מפורטים דיים במקורות הזמינים כדי לאמת באופן עצמאי כל תיאור שלה. 263

הקריאה להאטה — לא לעצירה מוחלטת

מנכ"ל Anthropic, דאריו אמודיי, פרסם את ההצעה "We Must Pace the Frontier". זו אינה קריאה להפסיק את פיתוח הבינה המלאכותית, אלא להאט את קצב שיפורם של מודלי החזית; להפעיל מעקב והערכות חיצוניות ועצמאיות; לקבוע תקני בטיחות משותפים בקרב מדינות דמוקרטיות; ובהמשך לגבש הסדרים בינלאומיים שיכללו גם את סין. 12

סם אלטמן מ-OpenAI ואילון מאסק מ-xAI תמכו בפומבי בכיוון הכללי. מאסק כתב: "Dario is right" — "דאריו צודק". 113

הביקורת: בטיחות או הגנה על החברות הגדולות?

המבקרים טוענים ששיח על סיכון קיומי עלול לשמש גם כאסטרטגיה שמחזקת את החברות המבוססות. קלמנט דלנג, מנכ"ל Hugging Face, וג'נסן הואנג, מנכ"ל Nvidia, טענו שרגולציה מחמירה על מודלי חזית עלולה להקשות על מתחרים קטנים ולבסס דואופול מוגן של Anthropic ו-OpenAI. 3

העיתוי הגביר את החשדנות הזו, משום ש-Anthropic דווחה כמי שנערכת להנפקה שעשויה להשתוות בגודלה להנפקת השיא של SpaceX או לעלות עליה. 4 מנגד, Anthropic טוענת כי היא כבר מפעילה כמה מאמצעי הבטיחות החזקים בענף, וכי פיקוח עצמאי ותקנים משותפים צריכים לחול על כל השוק — לא להעניק לה יתרון ייחודי. 2

השורה התחתונה: קוקסון, הובינגר, אמודיי, אלטמן ומאסק מסכימים שבינה מלאכותית חזקה יותר מחייבת תיאום והגנות משופרים. אך עמדותיהם אינן ראיה אמפירית לכך שהכחדת האנושות קרובה; עוצמת הסיכון, לוח הזמנים ודרך הפעולה היעילה עדיין נתונים במחלוקת עמוקה.