חוקרי AI קוראים לפיקוח על אוטומציה של מחקר ופיתוח בינה מלאכותית

החשש שמאחורי הקריאה החדשה לפיקוח אינו רק שמודלי AI יהיו מסוגלים יותר. הוא נוגע לאפשרות ש-AI יסייע לפתח את הדור הבא של AI, וכך ייווצר מעגל שבו מערכות מתקדמות יותר לוקחות על עצמן חלקים גדולים יותר מעבודת המחקר והפיתוח. חוקרים ומובילי מחקר מ-OpenAI, Anthropic, Meta ו-Microsoft מבקשים מקובעי המדיניות לבדוק עד כמה התהליך הזה כבר מתקדם — לפני שקצב השינוי יקשה על פיקוח יעיל. 23

תרחיש כזה מכונה לעיתים „פיצוץ אינטליגנציה”. זו אזהרה מפני אפשרות עתידית, לא הוכחה לכך ש-AI כבר משפר את עצמו ללא הכוונה אנושית. השאלה המרכזית למדיניות היא כיצד למדוד ולפקח על התפקיד ההולך וגדל של AI במחקר AI. 114

איך AI במחקר עשוי להאיץ את הפיתוח

AI יכול לסייע בעבודות הנדרשות לפיתוח מודלים עתידיים. אם התרומה הזאת תעזור לחוקרים ליצור מערכות מתקדמות יותר, והמערכות החדשות ייקחו על עצמן עוד משימות מחקר, כל מחזור עשוי להאיץ את הבא אחריו. זהו הרעיון שמכונה שיפור עצמי רקורסיבי: מערכות AI מסייעות לשפר את התהליך שבו מפתחים מערכות AI. 15

האזהרה של החוקרים עוסקת בעיקר בקצב. בתרחיש אחד שתואר בדיווחים על המסמך, התקדמות שבנסיבות אחרות הייתה נמשכת שנה עשויה להתרחש בתוך שבועות. מדובר בתחזית אפשרית, לא בתוצאה שנמדדה; המקורות אינם קובעים שקצב כזה כבר הושג. 314

מחקר מוקדם יותר, שהתבסס על ראיונות עם 25 חוקרים ממעבדות AI מובילות ומהאקדמיה, מצא שרבים מהם ציפו ש-AI יבצע חלקים ממחקר ה-AI וייצור מעגל משוב חיובי. הממצא מסביר מדוע אנשי התחום מתייחסים לאפשרות ברצינות, אך אינו מוכיח שפיצוץ אינטליגנציה הוא בלתי נמנע. 1

מה החוקרים מבקשים מקובעי המדיניות לבדוק

הבקשה המיידית היא לקבל תמונה ברורה יותר של היקף השימוש ב-AI במחקר ובפיתוח בחברות. יותר מ-20 מובילי AI וחוקרים קראו לקובעי המדיניות לבחון את התקדמות האוטומציה ולשקול אמצעי הגנה. 2

חשוב להבחין בין קריאה לפיקוח לבין קביעה שהמעבדות כבר העבירו ל-AI את השליטה במחקר. מידע טוב יותר על המקום והאופן שבהם AI משמש בתהליך עשוי לעזור לקובעי המדיניות לבדוק אם הפיקוח הקיים מספיק, ככל שמערכות מקבלות על עצמן חלקים נוספים מעבודת הפיתוח. 23

למה יש מי שקוראים להאט את הפיתוח

האטה מתואמת עשויה לתת זמן לבדיקות בטיחות, להערכה עצמאית ולחיזוק הפיקוח — לפני שיכולות המערכות ישתנו שוב. חוקרים ב-OpenAI וב-Anthropic קראו בפומבי להאט את הפיתוח, ואילו מובילים אחרים בענף תמכו בגישה שמסתמכת יותר על כוחות השוק. המחלוקת מראה שאין הסכמה בענף על מידת ההאטה הרצויה, או על האופן שבו הפסקה מעשית תיראה. 818

יש גם שאלות מעשיות: אילו מערכות או פעילויות ייכללו בהאטה, מי יפקח על קיום ההסכמות, ואיך אפשר לתאם אותה בין חברות מתחרות? לפי הדיווחים, גם משמעותה של „הפסקה” וגם דרכי האכיפה שלה עדיין אינן ברורות.

האם אפשר להתקין למערכת AI „בלם חירום”?

נשיא Microsoft, בראד סמית, טען שיוצרי מודלים, ספקיות תשתיות ענן ומי שמנהלים סוכני AI צריכים להיות מסוגלים לכבות מערכות. ההצעה מציגה יכולת השבתה כבלם חירום אפשרי — לא כתחליף למניעה או לפיקוח שוטף.

אבל גם למנגנון השבתה יש מגבלות. מערכות AI עשויות לפעול על גבי תשתיות מבוזרות, ולכן מתג יחיד אינו מבטיח שכל רכיב ייעצר. מומחים הצביעו גם על הצורך בניטור מתמשך ובהתערבות אנושית.

המתח המסחרי שמלווה את הדיון

הצעה להפקיד סמכויות פיקוח בידי מפתחים וספקיות ענן מעלה שאלה של ממשל: חברות עשויות להשתתף בפיקוח על מערכות שהן גם מפתחות או מארחות. Microsoft מעורבת בפיתוח מודלים, והיא גם ספקית ענן — כפי שעולה מדבריו של סמית. חפיפה כזאת מחזקת את החשיבות של כללים ברורים ובדיקות עצמאיות; היא אינה מוכיחה כשלעצמה שעמדת הבטיחות של חברה כלשהי אינה כנה. 2

יש כאן גם אתגר רחב יותר של תיאום. מובילי התעשייה חלוקים בשאלת קצב הפיתוח, והדיון בהאטה מתנהל על רקע תחרות חזקה לפיתוח ולהשקה של מערכות AI. קשה לחברה אחת לשמור על ריסון מרצון אם מתחרותיה ממשיכות להתקדם במהירות. המקורות מצביעים על מחלוקת ועל לחץ תחרותי, אך אינם מוכיחים שאינטרסים של השקעה קובעים את עמדתו של חוקר או חוקר מסוימים. 1218

לכן עומדות בפני קובעי המדיניות שתי שאלות קשורות: איך לעקוב אחר השימוש ב-AI לפיתוח AI, ואיך לוודא שאמצעי ההגנה ניתנים לאימות — ולא נשענים רק על הבטחות החברות עצמן. האזהרות מצדיקות בחינה של השאלות האלה כעת; הן אינן קובעות מה הסיכוי שפיצוץ אינטליגנציה יתרחש או איזו מדיניות תהיה היעילה ביותר. 123