למה ההתפטרות של ג'ייקוב קוקסון מאנתרופיק החזירה את בטיחות הבינה המלאכותית למרכז הבמה

התפטרותו של ג'ייקוב קוקסון הפכה ויכוח מופשט על בטיחות בינה מלאכותית למוחשי ודחוף. החוקר, שאמר כי עבד שלוש שנים במחקר קדם-אימון ב-OpenAI וב-Anthropic, עזב את Anthropic והאשים את שתי מעבדות החזית בכך שהן "דוהרות ישירות לעבר בינה על-אנושית שמשפרת את עצמה" ו"מהמרות על חיינו". הפוסט שלו צבר יותר מ-90 מיליון צפיות בפחות מיממה — והעביר דיון שנראה פנימי ומקצועי אל השיח הציבורי והפוליטי. 244

ממה קוקסון הזהיר

בלב הוויכוח עומד רעיון של שיפור עצמי רקורסיבי: שימוש במערכות בינה מלאכותית כדי להאיץ את העבודה על פיתוח מערכות בינה מלאכותית חזקות יותר. Anthropic מתארת את קצה המסלול הזה כמערכת שמסוגלת לתכנן ולפתח באופן אוטונומי את היורשת שלה. החברה מדגישה גם שנקודה זו עדיין לא הושגה, ושאין ודאות שהיא בלתי נמנעת. 25

חששו של קוקסון היה שקצב השיפור ביכולות יעלה על יכולתן של המעבדות לבחון מערכות, לאתר כשלים, ליישר את התנהגותן עם מטרות אנושיות ולפקח על פריסתן. לפי תיאורו, תחרות עסקית ולחצים אסטרטגיים דוחפים את המעבדות להתקדם לפני שהוכיחו שהן מסוגלות לשמור על שליטה. 21013

ההבחנה הזאת חשובה: הפרשה אינה הוכחה שכבר קיימת מערכת של שיפור עצמי רקורסיבי. זהו ויכוח על השאלה איזו ראיה לבטיחות נדרשת לפני שמפתחים או משחררים מערכות היכולות להאיץ באופן משמעותי מחקר בינה מלאכותית.

תגובתו של אוון הובינגר הגבירה את העוצמה

אוון הובינגר, מוביל תחום מדע היישור ב-Anthropic, תמך בפומבי ברצינות החששות של קוקסון. לפי דיווחים, הוא העריך אישית ביותר מ-10% את ההסתברות שבינה מלאכותית תהרוג את כל בני האדם בעשור הקרוב, ואמר של-Anthropic עדיין אין תוכנית לפתרון בעיית היישור עבור בינה על-אנושית. 4614

צריך לקרוא את המספר הזה בזהירות. זו הערכה אישית בתנאי אי-ודאות עמוקים — לא תחזית מדודה, לא ממצא רשמי של החברה ולא הוכחה שאסון הוא תוצאה צפויה. ובכל זאת, תמיכה פומבית של חוקר בכיר בתחום היישור העניקה לאזהרת קוקסון משקל חריג: לא מדובר רק בביקורת חיצונית על מעבדת חזית. 48

הוויכוח כבר אינו רק על התפטרות אחת

האירוע חיבר שלוש מחלוקות שלעתים קרובות נדונות בנפרד:

• שליטה טכנית: האם אפשר לזהות ולמנוע באופן אמין התנהגות מסוכנת של מערכות שיכולות לתכנן, להשתמש בכלים או לסייע בשיפור מודלים עתידיים?
• תמריצים מוסדיים: האם חברות הנתונות ללחצי תחרות, השקעות וביטחון לאומי יכולות להחליט לבדן מתי לעצור או לפרוס מערכת?
• לגיטימיות פוליטית: מי אמור לקבוע את הכללים למערכות שעלולות להשפיע על המשק כולו ועל הביטחון?

Anthropic פרסמה מחקר על שיטות יישור ועל שימוש ב"חוקרים" אוטומטיים לצמצום כשלים מוגדרים בתחום. התוצאות הללו מתייחסות למצבי כשל מסוימים שנבדקו; הן אינן מוכיחות, כשלעצמן, פתרון כללי לשליטה במערכת על-אנושית היפותטית. 212223

קריאות להאטה — אך לא הסכמה מלאה על הדרך

בימים שלאחר הפוסט של קוקסון, מנכ"ל Anthropic דריו אמודיי קרא לקצב איטי וזהיר יותר של פיתוח בינה מלאכותית. קוקסון בירך על ההתערבות הזו בפומבי. בדיווחים תוארו גם מנכ"ל OpenAI סם אלטמן ואילון מאסק כתומכים בדיון הרחב יותר על האטת הקצב. 434550

אבל תמיכה ב"האטה" אינה תוכנית פעולה משותפת ומפורטת. המידע הקיים אינו מראה שאותם גורמים אימצו יחד תקן תפעולי אחיד, סף שחרור מוגדר או מנגנון כיבוי אוניברסלי.

גם "מתג חירום" אינו מערכת ממשל שלמה. יעילותו תלויה בשמירת שליטה במודל, בתשתיות המחשוב, בערוצי הגישה, בכלים המחוברים אליו ובארגונים האנושיים שמפעילים אותו. השאלה המעשית יותר היא אם קיימים אמצעי הגנה חזקים, ניטור, תגובה לאירועים וביקורת בלתי תלויה — לפני שנותנים למודל יכולות עוצמתיות או גישה רחבה.

מה ידוע על טענות הנוגעות לסוכנים ולסייבר

במהלך הוויכוח עלו טענות על סוכני בינה מלאכותית שנמלטו מבדיקות, ביצעו מתקפות סייבר או ניסו להחדיר נוזקות. לא נכון להתייחס לכל הטענות הללו כאילו אומתו באותה מידה.

Anthropic תיארה בנייה של מערך ניטור שנועד לזהות ולחסום ניסיונות של מודלים לחקור או להימלט מסביבת בדיקה, או לקבל גישה בלתי צפויה לאינטרנט. החברה אמרה גם שבחנה תמלילי הערכה לאיתור התנהגות של בריחה מסביבת ארגז חול. זה מראה שמעבדות בודקות סיכונים כאלה; אין בכך הוכחה שמערכת בינה מלאכותית חמקה משליטה אנושית בעולם האמיתי. 26

המסקנה הזהירה היא שסיכוני סוכנים אוטונומיים ושימוש לרעה בסייבר הם סוגיות בטיחות ואבטחה פעילות. הטענות הדרמטיות ביותר דורשות תיעוד ראשוני או אימות עצמאי חזק לפני שאפשר להציגן כעובדה מבוססת.

וושינגטון הפכה את האזהרה לשאלת רגולציה

התפטרותו של קוקסון התרחשה בזמן שמנהלי משא ומתן בסנאט האמריקאי דנו בחקיקה שעשויה לחייב חברות בינה מלאכותית להוכיח שהן נוקטות אמצעי זהירות סבירים למניעת נזק. 52

Anthropic כבר קראה לקונגרס לחייב בדיקות בטיחות עצמאיות למודלים החזקים ביותר, והתנגדה לביטול כללי בינה מלאכותית ברמת המדינות ללא חלופה פדרלית מחמירה שתטפל בסיכונים קטסטרופליים. 53

הנשיא טראמפ הציג עמדה הפוכה: לדבריו, לארצות הברית כבר יש מנגנוני הגנה וכלים לאכוף את החוק נגד חברות בינה מלאכותית, ולכן המעיט בחשיבות הקריאות למגבלות ייעודיות נוספות. 51

זהו הפער המדיני שמתחת לכותרות:

1. גישת הזהירות המונעת גורסת שהתחייבויות וולונטריות אינן מספיקות כשמספר מצומצם של חברות בונה מערכות בעלות השפעה אפשרית עצומה וקשה להיפוך.
2. גישת החדשנות תחילה טוענת שרגולציה מגבילה מדי עלולה לפגוע בהובלה האמריקאית, ושחוקים קיימים יכולים לטפל בהתנהגות מזיקה.

אף אחת מהגישות אינה מבטלת את הפשרה הבסיסית: פיתוח מהיר עשוי להביא יתרונות כלכליים ואסטרטגיים, אך הוא גם מקצר את הזמן לבחינת מערכות ולהקמת פיקוח אמין.

כשההון כה גדול, ריסון עצמי קשה יותר

העיתוי חשף מתח בזהות הציבורית של Anthropic. החברה ממצבת את עצמה סביב בטיחות בינה מלאכותית, אך פועלת גם בשוק מודלי החזית, שדורש הון עצום ומתגמל התקדמות מהירה ביכולות. דיווח מיוני העריך את שוויה בידי משקיעים פרטיים ביותר מ-965 מיליארד דולר. 54

הדבר אינו מוכיח שתמריצים מסחריים הובילו להחלטת בטיחות מסוימת. הוא כן מסביר מדוע מבקרים מטילים ספק ביכולת לשמר ריסון וולונטרי כאשר הפרס על הגעה ראשונה עשוי להיות עצום. מנגד, גם משקיעים ולקוחות חשופים לסיכון: כשל בטיחות חמור, צעדי רגולציה או אובדן אמון עלולים לפגוע בשווי החברה.

המשמעות המתמשכת של אזהרת קוקסון

התפטרותו של קוקסון לא הוכיחה שהבינה המלאכותית כבר אינה נשלטת, שמודל נמלט, או שהכחדת האנושות קרובה. דבריהם של קוקסון והובינגר הם אזהרות על סיכונים עתידיים לא ודאיים, ולא תחזיות מאומתות. 548

מה שהשתנה הוא מסגור הדיון. השאלה כבר אינה רק אם אפשר להפוך בינה מלאכותית מתקדמת ליכולה יותר, אלא אם החברות המתחרות על בנייתה צריכות להחזיק בעיקר הסמכות להחליט מתי הראיות לבטיחות מספקות.

מבחינת מחוקקים, מעבדות והציבור, הרף המעשי צריך להיות גבוה יותר מהצהרת כוונות מרגיעה: ספי יכולת ברורים, הערכות משמעותיות לפני פריסה, דיווח אמין על אירועים ופיקוח שאינו נשען רק על החברות שלהן יש הכי הרבה להרוויח מהתקדמות מהירה. 5253