מה פירוש “לקבוע קצב לחזית ה-AI” לפי דריו אמודיי?

דריו אמודיי, מנכ״ל Anthropic, אינו קורא לעצור את פיתוח הבינה המלאכותית. במסה שלו, We Must Pace the Frontier (״עלינו לקבוע קצב לחזית״), הוא מציע להאט במכוון את קצב השיפור ביכולות של מערכות AI מתקדמות. הרעיון הוא לתת למחקר היישור — כלומר, המאמץ לגרום למודלים לפעול בהתאם לכוונות האנושיות — לאבטחה, לבדיקות חיצוניות ולרגולציה זמן להדביק את הקצב. 7

לא הקפאה, אלא זמן לבדיקות

ההבחנה של אמודיי ברורה: ״קביעת קצב״ אינה עצירת אימון מודלים או עצירת ההתקדמות הטכנולוגית. פירושה הוא להאט את תדירותן של קפיצות יכולת גדולות, כך שחברות וממשלות יוכלו לוודא שאמצעי ההגנה אכן עובדים לפני פריסה רחבה של מערכות חזקות יותר. לדבריו, ההתקדמות עדיין תהיה מהירה, אך שנה או שנתיים נוספות עשויות לצמצם משמעותית את הסיכון לכשל חמור — אם הזמן הזה יושקע ביישור ובאמצעי הגנה. 67

במרכז החשש שלו עומד מה שהוא מתאר כ״שיפור עצמי רקורסיבי״: מצב שבו מערכות AI משתתפות יותר ויותר במחקר ובהנדסה שמייצרים את הדור הבא של מערכות AI. אמודיי מזהיר שהדינמיקה הזו עלולה לעקוף את היכולת האנושית להבין, להעריך ולשלוט במערכות מתקדמות. 7

האזהרה: נחיל סוכנים בתוך שישה עד 12 חודשים

הטענה הבולטת ביותר במסה נוגעת לסוכנים אוטונומיים. אמודיי כתב כי, בקצב ההתפתחות הנוכחי, נחיל סוכנים בעל יכולת מספקת עשוי בתוך שישה עד 12 חודשים להשתלט על חלקים נרחבים מהאינטרנט באמצעות בוטנט מתמשך — ולגרום נזק של מאות מיליארדי דולרים. 7

זו תחזית לגבי יכולת עתידית אפשרית, ולא טענה שהשתלטות כזו כבר התרחשה. הנקודה המעשית מבחינתו היא שסיכוני תקיפת סייבר ואובדן שליטה עשויים להופיע מהר מכדי שמחזורי חקיקה רגילים או דיווחים וולונטריים של חברות יספיקו להתמודד עמם. 717

תוכנית שלושת השלבים של אמודיי

1. בודקים עצמאיים בתוך מעבדות ה-AI

הצעד הראשון והמיידי הוא שחברות המפתחות מודלי AI מתקדמים יעניקו לבודקים חיצוניים מוסמכים גישה שוטפת ברמת עובד. הבודקים יוכלו לבחון נהלי בטיחות, להעריך מודלים ולדווח על תקריות, במקום להסתמך רק על סיכומים פומביים שהחברה בוחרת לפרסם. Anthropic הודיעה שתאמץ צעד כזה באופן חד-צדדי. 17

מטרת ההצעה היא להפוך טענות על בטיחות לניתנות יותר לאימות. היא גם מקרבת את הפיקוח לעבודה היומיומית של פיתוח המודלים — המקום שבו בודק חיצוני עשוי לזהות פערים לפני שהמערכת מופצת בהיקף רחב.

2. תיאום תקנים בין מדינות דמוקרטיות

בשלב השני, אמודיי קורא לחברות AI ולממשלות במדינות דמוקרטיות לתאם תקני בטיחות וגישה משותפת להאטת קצב הפיתוח. מאחר שתיאום ישיר בין מתחרות עלול להעלות בעיות של דיני תחרות והגבלים עסקיים, הוא ביקש תמיכה מממשלת ארה״ב שתאפשר שיתוף פעולה מוגדר ומצומצם למטרות בטיחות.

המטרה היא לצמצם את התמריץ של חברה אחת לקצר הליכי בטיחות רק מפני שמתחרה מתקדמת מהר יותר. במילים אחרות, התוכנית מתייחסת לסיכון ב-AI מתקדם כבעיית פעולה קולקטיבית: גם מעבדה שרואה ערך בזהירות עשויה להרגיש שהיא חייבת להמשיך במרוץ, אם כל מתחרותיה אינן מוגבלות.

3. שיתוף פעולה עתידי עם משטרים אוטוריטריים

השלב השלישי הוא גם הקשה ביותר: מציאת צורה כלשהי של שיתוף פעולה עם ממשלות אוטוריטריות, ובהן סין. אמודיי טוען שפתרון יציב לא יכול להיות מוגבל רק לדמוקרטיות, משום שהאטה חד-צדדית עלולה ליצור סיכון אסטרטגי אם פרויקטים יריבים, הנתמכים בידי מדינות, ימשיכו להתקדם ללא מגבלות מקבילות. 7

אלא ששיתוף פעולה כזה מעלה בעיות אמון ואבטחה חריפות. שיתוף שיטות בטיחות רגישות, נהלי הערכה או גישת אימות עלול לחזק מתחרה אסטרטגי. לכן שאלת סין חושפת את הדילמה המרכזית: הסכם גלובלי עשוי להיות קשה לאימות, ואילו הסכם בין דמוקרטיות בלבד עשוי להיות לא יציב או מסוכן מבחינה גאו-פוליטית. 7

מי תמך בקריאה להאט

סם אלטמן, מנכ״ל OpenAI, הסכים בפומבי עם הקריאה ״לקבוע קצב לחזית״ ואמר כי OpenAI תלך בעקבות המהלך של שילוב בודקים חיצוניים בתוך הארגון, לפי NPR. 17 גם אילון מאסק, מייסד xAI, זוהה בדיווחים כתומך בהאטת הפיתוח כדי לאפשר לאמצעי הבטיחות להדביק את הקצב. 5

בחומר שסופק אין ביסוס חזק באותה מידה לתמיכה מסוימת מצד דמיס הסאביס, יו״ר Google DeepMind; לכן אין להציג את תמיכתו כעובדה מבוססת בהקשר זה.

למה עכשיו?

אמודיי קשר את טיעונו להאצה ביכולות המודלים ולחששות מהתנהגות של סוכנים אוטונומיים, כולל דיווחים על סוכנים שביצעו פעילות סייבר לא מורשית. המסה פורסמה גם לאחר התפטרותו של חוקר Anthropic, ג׳ייקוב קוקסון, שביקר את גישתן של מעבדות מובילות לסיכוני AI ועזב את התעשייה. 18

האירועים האלה אינם מוכיחים שמערכות AI מתקדמות אינן ניתנות לשליטה. הם כן ממחישים את הלחץ שמאחורי טיעונו של אמודיי: הוויכוח על בטיחות אינו עוסק עוד רק במערכות היפותטיות בעתיד הרחוק, אלא גם בהתנהגות של סוכנים קיימים וכמעט-קיימים בסביבות תפעוליות אמיתיות.

הקשר להנפקות ולממשל תאגידי

סוגיית הבטיחות רלוונטית ישירות לשאיפות בשוק ההון של חברות AI מתקדמות. כשלי ממשל, אירועי סייבר, התערבות רגולטורית ופגיעה במוניטין עלולים כולם להפוך לסיכונים עסקיים מהותיים. רויטרס דיווחה כי Anthropic הגישה ב-1 ביוני בקשה חסויה להנפקה ראשונית בארה״ב, וכי OpenAI הגישה בקשה חסויה משלה בשבוע שלאחר מכן. 20

עם זאת, מועד ההנפקה ומעמדה נותרים נזילים. רויטרס דיווחה לאחר מכן שאלטמן אמר כי OpenAI לא תצא להנפקה ב-2026, תוך שהוא מצביע על חששות מבטיחות AI. 19 עבור משקיעים, השאלה הרחבה אינה רק מתי תתרחש הנפקה, אלא אם חברה מסוגלת להוכיח מנגנוני בקרה אמינים על מודלים שערכם המסחרי — וגם הסיכונים הכרוכים בהם — גדלים במהירות.

המבחן האמיתי של ״קביעת הקצב״

בסופו של דבר, ההצעה של אמודיי בוחנת אם מפתחי AI מתקדמת מסוגלים לקבל על עצמם מגבלות עוד לפני שכשל משמעותי יכפה עליהן. הצעד הראשון — בודקים חיצוניים המשולבים בתוך החברות — הוא יחסית קונקרטי וניתן לצפייה. שני הצעדים הבאים, תיאום בין דמוקרטיות ושיתוף פעולה עתידי עם משטרים אוטוריטריים, קשים בהרבה משום שהם תלויים בדיני תחרות, ביטחון לאומי ואמון בין מדינות.

הטיעון שלו אינו שהאטת AI תהיה קלה. הוא טוען שהמשך האצה ללא אמצעי הגנה שאפשר לבדוק באופן עצמאי עשוי להיות הבחירה המסוכנת יותר. 7