שתי האזהרות של סם אלטמן לגבי בינה מלאכותית: אובדן שליטה וריכוז כוח

בינה מלאכותית עוצמתית עלולה להיכשל מבחינה חברתית בשתי דרכים שונות מאוד, לפי מנכ״ל OpenAI סם אלטמן: בני אדם עלולים לאבד שליטה במערכות שהולכות ומתחזקות, או שהשליטה בהן עלולה להתרכז בידי מעט מדי גורמים. האזהרה שלו מחברת בין בטיחות טכנית לממשל ציבורי: AI בטוח אינו רק שאלה של יכולות המודל, אלא גם של זהות הגורם שמכוון ומפעיל אותו. 1316

שני המסלולים שאלטמן מבקש למנוע

הראשון: אובדן שליטה אנושית. אלטמן הזהיר שהאנושות עלולה „לאבד את השליטה בעתיד לטובת AI” — תוצאה שהוא הגדיר כבלתי מתקבלת על הדעת. העיקרון שהציג הוא שבינה מלאכותית צריכה לשרת אנשים, ולא שאנשים יהפכו תלויים במערכות שאין ביכולתם לפקח עליהן כראוי או לעקוף את החלטותיהן. 216

השני: ריכוז כוח AI. הוא הזהיר גם מפני עולם שבו מערכת AI חזקה במיוחד נשלטת בידי אדם יחיד, חברה אחת או מדינה אחת, ומשמשת לכפיית תפיסת עולמם על כולם. לדבריו, תוצאה כזו עלולה להיות „דיסטופית באופן קיצוני”. 113

אלה סיכונים קשורים, אך אינם זהים. הראשון נוגע לשאלה אם בני אדם יכולים להבין, להגביל ולעצור מערכות חזקות. השני נוגע למצב שבו המערכות אמנם ניתנות לכאורה לשליטה, אך מופעלות בידי גורם שמחזיק בעוצמה רבה מדי וללא בלמים מספקים.

אילו הגנות אלטמן תומך בהן?

עמדתו הציבורית של אלטמן אינה קריאה לעצור לחלוטין את פיתוח ה-AI. במקום זאת, הוא טוען שהיכולות הטכנולוגיות אינן יכולות להקדים את ההתקדמות ביישור מטרות המודל לערכים אנושיים, המכונה בתחום alignment, ובניטור. לדבריו, תחרות מול יריבים אינה יכולה לשמש תירוץ לפריסה חסרת אחריות של מערכות כאלה. 213

ההגנות שהדגיש כוללות:

• יישור וניטור שמתקדמים בקצב היכולות. הדרישה הבסיסית היא שמפתחים יוכלו להעריך באופן משמעותי ולשלוט בהתנהגותן של מערכות חזקות יותר ויותר. 213
• AI שנותר בשירות בני אדם. זו מטרת-העל שמאחורי אזהרתו מפני אובדן שליטה. 216
• דרישות פדרליות אחידות בארה״ב למערכות AI בחזית הטכנולוגית. אלטמן בירך על מסגרת פדרלית לניהול הסיכונים של מערכות מתקדמות במיוחד, במקום הסתמכות על התחייבויות וולונטריות ומפוצלות בלבד. 1316
• ביקורת חיצונית בלתי תלויה. הוא ציין מבקרים עצמאיים כמנגנון מבטיח לבניית אמון ציבורי בחברות שמפתחות מודלים בעלי יכולות מתקדמות. 16

המשמעות המעשית היא רף הוכחה גבוה יותר למערכות החזקות ביותר: אמצעי הבטיחות צריכים להיות בדוקים ואמינים לפני החלטות פריסה, ולא תוספת מאוחרת לאחר שהיכולות כבר זינקו קדימה.

כיצד אזהרות מאנתרופיק מחדדות את הוויכוח

באותו שבוע, חוקר Anthropic לשעבר ג׳ייקוב קוקסון הזהיר שהמעבדות המובילות דוהרות לעבר AI שמשפר את עצמו, תוך שהן „מהמרות על חיינו”. לפי הדיווח על התפטרותו, הוא סבר שחוקרים הבונים מערכות כאלה חוששים ברצינות שהן יהפכו לחזקות מכדי שבני אדם יוכלו לשלוט בהן. 17

הניסוח הזה חריף יותר מזה של אלטמן, אך החשש הבסיסי דומה: התקדמות ביכולות עלולה להקדים את היכולת לפקח על מערכות באופן אמין. בחילופי דברים פומביים שדווחו, אוון הובינגר, המוביל ב-Anthropic את תחום יישור המטרות, העריך אישית שיש סיכוי של יותר מ-10% שבינה מלאכותית תגרום להכחדת האנושות בתוך עשור. הוא גם הכיר בכך שעדיין אין פתרון מלא לבעיית יישור המטרות של בינה-על. זו הערכת סיכון אישית, ולא תחזית מוסכמת או הסתברות מדעית מבוססת. 17

הנקודה החשובה אינה שהוכח לוח זמנים מסוים להכחדה — הוא לא הוכח. היא שחוקרים הקרובים במיוחד לפיתוח מערכות קצה מתווכחים בפומבי אם שיטות הבטיחות הקיימות מתקדמות די מהר ביחס למערכות שנבנות.

המחלוקת האמיתית: יכולות קודם או בטיחות קודם?

הפער המתהווה מתואר לעיתים כעימות בין האצת AI להאטת AI, אבל זה תיאור חלקי. רוב המשתתפים מסכימים שבינה מלאכותית יכולה להביא תועלות גדולות. המחלוקת היא על סדר הפעולות ועל יכולת האכיפה.

לפי גישה אחת, יש לקצב את פיתוח מערכות הקצה כך שלמחקר הבטיחות, להערכות, לממשל ולמענה לשימוש לרעה יהיה זמן להבשיל. מנכ״ל Anthropic, דריו אמודאי, קרא להאט את קצב שיפור היכולות והציע צעדים ובהם מעריכים עצמאיים עם גישה פנימית, תיאום בין מעבדות AI מובילות ושיתוף פעולה בין-לאומי.

הלחץ בכיוון הנגדי ממשי: חברות וממשלות חוששות שהאטה לעומת מתחרים תעלה להן ביתרון כלכלי או גאו-פוליטי. ובכל זאת, טענתו של אלטמן היא שתחרות אינה מצדיקה מצב שבו היכולות מקדימות את היישור והניטור. 13

רויטרס דיווחה כי חוקרים אחדים סבורים שיכולות המודלים מגיעות מהר מכפי שצפו, בזמן שהנראות האנושית אל אופן פעולתם — ואולי גם היכולת לשלוט בהם — פוחתת. החשש הזה הופך את שאלת המדיניות לדחופה: האם מעבדות צריכות להמשיך לפרוס מודלים אוטונומיים יותר ויותר בזמן שאמצעי ההגנה מדביקים את הפער, או שעליהן להוכיח תחילה שההגנות אכן מספיקות?

מה נדרש מממשל על AI

שתי האזהרות של אלטמן מרמזות שממשל על AI בחזית הטכנולוגית חייב להתמודד גם עם שליטה טכנית וגם עם חלוקת הכוח. הערכות מודל טובות יותר, מחקר יישור מטרות, ניטור ופיקוח עצמאי מתייחסים לבעיה הראשונה. כללים עקביים, שקיפות והגבלות על שליטה חד-צדדית מתייחסים לשנייה.

אין להתייחס לתחזיות קטסטרופליות או ללוחות זמנים מדויקים כאל עובדות מוכחות. אבל חומרת הכשל האפשרי היא הסיבה שדרישות להערכה מחמירה יותר, לביקורת חיצונית ולכללי בטיחות הפכו מסוגיה שולית לשאלה מרכזית עבור תעשיית הבינה המלאכותית. 13