לחץ מוסרי, מרוץ מסחרי ופחד מסיכונים: המשבר השקט של חוקרי בטיחות ה-AI

הסיבה המיידית היא התנגשות בין לחץ מוסרי ללחץ ארגוני. מי שאמונים על בדיקת מודלי בינה מלאכותית מתקדמים חוששים שהמערכות עצמן — והמרוץ להוציא אותן לשוק — עלולים לאפשר נזק ביולוגי או מתקפות סייבר לפני שמנגנוני ההגנה, הפיקוח וההערכה ידביקו את הקצב. לפי דיווחים, כמה עובדים במכון הבריטי לבטיחות בינה מלאכותית (UK AI Safety Institute, או AISI) יצאו לחופשת מחלה או פנו לייעוץ נפשי, על רקע עומס בבחינת מודלים מתקדמים. חרדה דומה דווחה גם בקרב חוקרים במעבדות מובילות, אך הראיות הפומביות אינן מאפשרות לקבוע עד כמה התופעה נפוצה בכל אחד מהארגונים. 15

אילו סיכונים מטרידים את החוקרים?

החששות נוגעים גם לטווח הקרוב וגם לתרחישים קיצוניים יותר. חוקרים חוששים שמודלים יפחיתו את חסמי הכניסה למתקפות סייבר או לשימוש ביולוגי זדוני; ובטווח הארוך יותר, ממערכות אוטונומיות יותר ויותר שלא ניתן יהיה לשלוט בהן שליטה אנושית משמעותית. ג'ייקוב קוקסון הצביע במפורש על איומים ביולוגיים בעזרת AI ועל נשקי סייבר כנתיבים אפשריים לאסון. 9

העבודה עצמה עשויה להעצים תחושת שותפות בלתי רצויה: אנשי הבטיחות אינם מתבוננים בסיכון מבחוץ — הם בודקים, מאמנים או מסייעים בפריסה של המערכות המדוברות. כאשר לוחות הזמנים צפופים והתחרות המסחרית נמשכת, הפער בין זיהוי סיכון לבין היכולת למנוע שחרור של מוצר עלול לייצר שחיקה, חוסר אונים ופגיעה מוסרית. 15

ההתפטרות שהפכה חשש פנימי לדיון ציבורי

קוקסון, שעבד במחקר קדם-אימון (pretraining) גם ב-OpenAI וגם ב-Anthropic, התפטר מאנתרופיק וטען שהחברות דוהרות לעבר בינת-על שמשפרת את עצמה בלי לפעול באחריות מספקת. האזהרה הפומבית שלו הפכה חששות שלעתים נשארו מאחורי דלתיים סגורות לגלויים יותר — והעלתה את המחיר האישי שעובדים אחרים עלולים לשקול: להישאר, למחות מבפנים או לעזוב. קוקסון אמר ל-BBC שאנשים בתוך מעבדות מובילות "באמת מפוחדים" מקצב ההתקדמות ומהשלכותיו. 14 9

מדוע זה אינו עניין שעובד או חברה אחת יכולים לפתור?

הדיון שמזוהה עם רוב רייך מאוניברסיטת סטנפורד מציב את הבעיה כשאלת עבודה וממשל: מעבדה בודדת, או עובד בודד, אינם יכולים לפתור בבטחה מרוץ תחרותי. ריסון בעל משמעות מחייב פעולה מתואמת, הערכות עצמאיות אמינות וכללים ציבוריים. בדיון של Stanford HAI נקבע שהאטה רחבה בפיתוח יכולות AI תהיה קשה להשגה, אך הודגש הצורך בהערכות עצמאיות מצד ממשלות או גופים מוסמכים חיצוניים. 3

אין במקורות הזמינים כאן ראיות מספקות לייחס לרייך תוכנית מפורטת ומסוימת של פעולה מתואמת מצד עובדים, מעבר למסגרת הרחבה הזאת.

הצהרות על האטה אינן בהכרח מרגיעות

דריו אמודיי, סם אלטמן, דמיס הסאביס ואחרים הביעו, בדרגות שונות, תמיכה בהאטת הפיתוח בחזית ה-AI. 2 אולם מבקרים טוענים ש"הקפאת AI" שתעוצב או תיאכף בידי החברות המובילות עלולה דווקא לבצר את כוחן ולחסום מתחרים קטנים יותר. לכן לא תמיד ברור אם הקריאות להאטה משקפות מחויבות לבטיחות, אינטרס אסטרטגי — או שניהם. 11

מבחן האמינות אינו הרטוריקה, אלא צעדים שאפשר לבדוק: דחיית השקות, ביקורות עצמאיות, ספי סיכון מחייבים, הגנות לחושפי שחיתויות ונכונות לקבל מגבלות חיצוניות.

אוטומציה של מחקר AI מגבירה את תחושת אובדן השליטה

החשש אינו ששיפור עצמי רקורסיבי מלא כבר התרחש — הוא לא התרחש. 6 החשש הוא שמערכות AI מסוגלות יותר ויותר לבצע חלקים מעבודת המחקר וההנדסה, ובכך לקצר את מחזורי הפיתוח ולהאיץ יכולות מהר יותר מכפי שמעריכים אנושיים יכולים להבין, לבחון ולמשול בהן. מרכז CSET מציין שאוטומציה כזאת עשויה להאיץ את ההתקדמות ב-AI ולפגוע ביכולת האנושית להבין ולשלוט במערכות. מחקר עדכני מצא שסוכני AI הצליחו לבצע חלק ניכר מעבודת ההנדסה במחקר, אך לא השיגו התקדמות משמעותית במחקר מדעי פתוח. 4 5

בסופו של דבר, זו אינה הוכחה לכך שהכחדת האנושות קרובה. זו עדות לכך שחלק מהאנשים הקרובים ביותר לפיתוח מערכות AI מתקדמות רואים בשילוב של יכולות מואצות, סיכונים דו-שימושיים, תמריצי תחרות ופיקוח חיצוני חלש מצב בלתי נסבל מבחינה נפשית ואתית.