חוקרי בטיחות ב-AI נשחקים במרוץ — ומבקשים להאט

עבודת בטיחות במודלי AI מתקדמים יוצרת סוג ייחודי של לחץ: מי שבודקים את המערכות עשויים להאמין שהן עלולות לגרום נזק חמור, אך לא בהכרח מחזיקים בסמכות לעכב את השקתן או לחייב תיקון. לפי דיווחים, כמה עובדים במכון הבריטי לבטיחות בינה מלאכותית (UK AI Safety Institute) יצאו לחופשת מחלה או פנו לייעוץ נפשי; בין הגורמים שצוינו היו לוחות בדיקה צפופים, מורל נמוך ודאגה מפריסה מהירה של מערכות. אין בכך הוכחה שמצוקה נפוצה אצל כל עובדי המכון, או בכל אחת מהחברות Anthropic, OpenAI ו-Google DeepMind — אך זהו סימן אזהרה למחיר האנושי של מרוץ טכנולוגי עתיר סיכונים. 2

למה העבודה עלולה להיות קשה מבחינה נפשית

חוקרי בטיחות אינם בוחנים טכנולוגיה רחוקה ותאורטית. הם בודקים מודלים שארגונים עשויים לפרוס בזמן הקרוב. מכאן נוצר מתח בין אחריות מקצועית לבין תנופת ההשקה: איתור חולשה אינו בהכרח כולל גם סמכות למנוע השקה.

הלחץ המדווח במכון הבריטי מתמקד בקיצור חלונות ההערכה למערכות שעדיין לא פורסמו ובדאגה מכך שפריסה מסחרית ושיפור יכולות מתקדמים במהירות. 2 במצב כזה, שחיקה עלולה להתעצם בשל תחושת אחריות לסיכונים שבודק או בודקת בודדים אינם יכולים לפתור לבדם.

נכון יותר לראות בכך בעיה מוסדית — לא הוכחה לכך שעובד מסוים מגזים, ולא ראיה לכך שאסון ודאי. היא נוצרת כאשר המחיר האפשרי של טעות נתפס כגבוה, הקצב אינטנסיבי, והמנגנונים להתערבות עצמאית אינם ברורים.

מפני אילו סיכונים חוששים החוקרים

החששות כוללים גם ניצול לרעה בטווח הקרוב וגם תרחישים ספקולטיביים יותר של אובדן שליטה בטווח הארוך.

שימוש זדוני בסייבר וביולוגיה

מודל רב-עוצמה עשוי להוריד את רף המיומנות, הזמן או העלות הנדרשים לפעילות מזיקה. ג'ייקוב קוקסון, חוקר לשעבר ב-Anthropic שעבד קודם לכן ב-OpenAI, הצביע על איומים ביולוגיים ועל כלי תקיפה קיברנטיים המאפשרים AI כמסלולים אפשריים לנזק חמור. 15

אין זו טענה שמודל מסוים כבר גרם לאירוע כזה. אלו הסיבות לכך שצוותי בטיחות מדגישים הערכות, בקרות גישה וניטור לפני פריסה רחבה של מערכות בעלות יכולות הסקה מתקדמות יותר או פעולה אוטונומית יותר.

מערכות שמתקדמות מהר יותר מהפיקוח עליהן

חשש נוסף הוא שבינה מלאכותית תמכן חלקים הולכים וגדלים של מחקר והנדסה — ובכך תאיץ את מחזור הפיתוח עצמו. דוח של CSET באוניברסיטת ג'ורג'טאון מציין שמחקר ופיתוח אוטומטיים מאוד בעזרת AI עשויים להאיץ את התקדמות היכולות ולהקשות על בני אדם להבין ולשלוט במערכות; הוא מציג זאת כתרחיש סיכון אפשרי, לא כתוצאה מוכחת. 48

גם הראיות הקיימות משרטטות גבול חשוב: מחקר עדכני מצא שסוכני AI הצליחו לבצע חלק ניכר מעבודת ההנדסה של מחקר ללא סיוע אנושי, אך לא התקדמו באופן משמעותי בשאלות מחקר פתוחות שנבחנו. 49 לכן, שיפור עצמי רקורסיבי מלא עדיין אינו עובדה מבוססת. הדאגה היא לכיוון ולקצב: גם אוטומציה חלקית עלולה לקצר את הזמן העומד לרשות בדיקה, ממשל ותיקון.

מדוע התפטרותו של ג'ייקוב קוקסון עוררה הדים

התפטרותו הפומבית של קוקסון העניקה פנים אנושיות לחששות שנותרו לעיתים בתוך המעבדות. לדבריו, לאחר שעבד במחקר קדם-אימון ב-OpenAI וב-Anthropic, הוא הגיע למסקנה שהחברות דוהרות לעבר בינת-על בעלת יכולת שיפור עצמי בלי לנהוג באחריות. הוא גם אמר ל-BBC שאנשים העובדים על הטכנולוגיה "מפוחדים באמת" מקצב ההתקדמות ומהשלכותיו האפשריות. 1

התפטרות אינה מאמתת כל תחזית של מי שעוזב. היא כן חושפת דילמה במקום העבודה: האם עדיף להישאר במעבדה כדי לשפר את אמצעי ההגנה מבפנים, או לעזוב ולדבר בפומבי כאשר הערוצים הפנימיים נתפסים כבלתי מספקים.

למה מעבדה אחת אינה יכולה להאט לבדה

בעיית הממשל המרכזית היא בעיית פעולה קולקטיבית. מעבדה שתאט לבדה את פיתוח היכולות עלולה לחשוש מפיגור אחרי מתחרות; עובדים בתוכה עשויים להחזיק בפחות מנוף השפעה על מרוץ כלל-ענפי.

בדיון של Stanford HAI בשאלה אם אפשר להאט את ה-AI, המומחים הגיעו למסקנה שהאטה רחבה של פיתוח היכולות תהיה קשה לביצוע. עם זאת, הם הדגישו הערכות עצמאיות בידי ממשלה או צדדים שלישיים מוסמכים, וכן השקעה מוגברת בבטיחות, אבטחה וניטור. 18

זהו ניסוח מעשי יותר מאשר הטלת האחריות על חוקרים בודדים. הוא מעביר את הדיון ממצפון אישי לכללים משותפים: מי עורך את המבחנים, מה קורה כשנחצה סף סיכון, ומי יכול לוודא שהכללים אכן מקוימים?

האם הקריאות להאטה מצד התעשייה כנות?

דאריו אמודיי מ-Anthropic, סם אלטמן מ-OpenAI ודמיס הסאביס מ-Google DeepMind הביעו בפומבי, בדרגות שונות, תמיכה בהאטה או ב"קיצוב הקצב" של פיתוח AI מתקדם. 32 בין ההצעות שנידונו: מתן גישה מתמשכת למעריכים חיצוניים ועצמאיים בתוך מעבדות החזית. 36

אולם התחייבות פומבית אינה ריסון שאפשר לאכוף. מבקרים מציינים כי הקפאת AI שתעוצב בידי החברות הדומיננטיות עלולה לבצר את כוחן ולהקשות על מתחרים קטנים יותר. 34 שתי הטענות יכולות להיות נכונות בו-זמנית: ייתכן שמנהלים מסוימים מזהים סיכוני בטיחות אמיתיים, ובו בזמן שהחברות המובילות ירוויחו מכללים שקשה יותר לעמוד בהם.

לכן המדד המועיל אינו ניסיון לנחש מניעים, אלא יכולת אימות. אפשר לבחון מחויבות רצינית לבטיחות באמצעות:

• הערכות עצמאיות שאינן נשלטות רק בידי מפתח המודל;
• ספי סיכון מפורשים והשלכות ברורות לחצייתם;
• שקיפות בדיווח על תקריות ובנהלי אבטחה;
• פיקוח חיצוני בעל משמעות; וכן
• הגנה לעובדים שמתריעים על בעיות בטיחות.

מה הדיווחים מראים — ומה לא

הדיווחים אינם מוכיחים שהכחדת האנושות קרובה, שכל עובדי מעבדות ה-AI המתקדמות נמצאים במצוקה, או שמערכות AI קיימות מסוגלות לשפר את עצמן באופן אוטונומי וללא גבול.

הם כן מראים מדוע חלק מהאנשים הקרובים ביותר לטכנולוגיה חווים את התקופה הזו כמורכבת מבחינה אתית: מערכות חזקות נבדקות תחת לחץ זמן; הסיכונים הנתפסים כוללים ניצול לרעה בסייבר ובביולוגיה לצד אובדן שליטה; והמוסדות שאמורים לפקח על השקות עדיין אינם בהכרח עצמאיים או בעלי סמכות מספקת. 2 15 18

עבור חוקרי בטיחות ב-AI, השילוב הזה עשוי להפוך תפקיד טכני לשאלת אחריות אישית. התשובה היציבה אינה להטיל את האחריות הזאת על עובדים בודדים, אלא לבנות מערכות אמינות וניתנות לאימות עצמאי של הערכה ואחריותיות — מערכות שיוכלו לעמוד בקצב הטכנולוגיה שעליהן לפקח.