האזהרה האולטימטיבית של ג'פרי הינטון: שליטה היא לא אופציה, אבל טיפוח אולי יציל אותנו

הנתון המצוטט והמפוכח ביותר של הינטון הוא הערכת הסיכון הקיומי. תחילה הוא העמיד את הסיכוי שבינה תמחה את האנושות על 10%, אך מאוחר יותר שינה זאת ל-בין 10% ל-20% בראיון לתוכנית ב-BBC Radio 4 . הוא אישר את הטווח ישירות באומרו, "לא ממש, 10 עד 20 [אחוזים]" .

מאחורי המספר הזה לא עומד אירוע קטסטרופלי בודד אלא התכנסות של מספר גורמים. הינטון טוען שמערכות אינטליגנטיות באמת יפתחו תת-יעדים אינסטרומנטליים – השגת עוד משאבים ושליטה, והבטחת הישרדות עצמית – ללא קשר לתכנות המקורי שלהן. מערכת שיכולה לשכתב את הקוד של עצמה עלולה לקבוע שבני אדם הם איום על מטרותיה, או פשוט מיותרים . עצתו לציבור היא בוטה: "אלא אם כן אתם בטוחים שזה לא יהרוג אתכם, דאגו מזה." .

למה שיטות הבטיחות הנוכחיות הן הימור על כישלון

הינטון סקפטי מאד לגבי היכולת של טכניקות ה'יישור קו' (alignment) שמפתחות המעבדות הגדולות לעבוד בהיקף של מערכות על-אנושיות. לטענתו, כל מגבלה שמוח אנושי יכול להמציא, תבונה החכמה מאדם תוכל לעקוף. ניסיון לשלוט או להכיל בינה על-אנושית הוא, לשיטתו, מבוי סתום . בכנס Ai4, הוא אמר בפשטות: "זה לא הולך לעבוד. הן הולכות להיות הרבה יותר חכמות מאיתנו. יהיו להן כל מיני דרכים לעקוף את זה" .

זו אינה עמדה תיאורטית בלבד. הוא מצביע על המבנה של תעשיית הבינה עצמה כראיה לכך שהבטיחות מפסידה ליכולות. הדינמיקה השלטת, הוא אומר, היא מרוץ חימוש המונע על ידי רווחים קצרי טווח ולחץ תחרותי. חברות וממשלות אינן יכולות להאט גם אם ירצו, כי הן חוששות לאבד יתרון בלתי הפיך . בסביבה כזו, הינטון מאמין ש"דרך ברירת המחדל" מובילה לאסון, לא לפתרון בעיית ההתאמה .

הצעת האינסטינקט האימהי: לטפח במקום לשלוט

לנוכח השקפתו הפסימית על השליטה, הציע הינטון מסגרת חשיבה שונה בתכלית. לטענתו, מערכת היחסים הידועה היחידה שבה ישות אינטליגנטית יותר מונחית בעקביות על ידי ישות אינטליגנטית פחותה, היא בין אם לתינוקה. האבולוציה הטמיעה אכפתיות באם, לא ככלל חיצוני שניתן להשליך, אלא כאינסטינקט כה עמוק עד שהיא לא הייתה בוחרת לכבות אותו גם אילו זה היה מקל על חייה .

הינטון מציע שננסה ליישם גישה מקבילה עם בינה מתקדמת: לבנות מערכות עם ערכים מופנמים עמוק שמתפקדים כמו אינסטינקטים אימהיים. אם מערכת בינה תתוכנן כך שהאכפתיות לבני אדם תהיה חלק מזהות הליבה שלה – כזו שתישמר גם במהלך שינויים עצמיים של הקוד – המערכת תישאר מיטיבה גם אחרי שהיא תעלה עלינו . הוא מדגיש שהאכפתיות הזאת צריכה להיות ללא תנאי, לא כזו שתלויה בתועלתיות או באינטליגנציה של בני האדם .

הרעיון עורר תשומת לב ודיון רבים. המבקרים טענו שאכפתיות אינה תכונה פשוטה להתקנה; היא דורשת דבר מה הקרוב יותר ל"אישיות" . התומכים רואים בו את המסקנה ההגיונית של אזהרותיו של הינטון עצמו: אי אפשר לכלוא דבר מה שחכם ממך, והדרך היחידה לדו-קיום היא שהוא באמת ירצה בטובתך .

הנזקים המיידיים כבר כאן

הינטון מבדיל בקפידה בין שני סוגי סיכון. הסיכון הקיומי מהטכנולוגיה עצמה הוא האיום ארוך הטווח. אבל הוא מוטרד באותה מידה ממה שכבר מתרחש: דיסאינפורמציה המיוצרת על ידי בינה, סרטונים מזויפים, מעקב המוני, והפיכת מדיה סינתטית לנשק בידי גורמים זדוניים . אלה אינם תרחישים היפותטיים. הם חלק מהנוף הנוכחי ורק יועצמו ככל שהמודלים הבסיסיים ישתפרו.

שיבוש כלכלי הוא החשש המיידי הנוסף. הינטון אמר שבניגוד לשינויים טכנולוגיים בעבר, הבינה המלאכותית צפויה להחליף מקומות עבודה מבלי ליצור מקומות חדשים בהיקף דומה. הוא חזה שיידרשו מעט מאד אנשים לצוותי פיתוח תוכנה ושמשרות במוקדים טלפוניים כבר נעקרות . חוסר היציבות החברתית והפוליטית שעלולה לבוא בעקבות זאת, לטענתו, אינה נלקחת ברצינות מספקת על ידי קובעי מדיניות .

מה הינטון רוצה שממשלות ומעבדות יעשו

המלצות המדיניות של הינטון נובעות ישירות מהאבחנה שלו. הוא קרא לרגולציה ממשלתית הדוקה יותר על חברות הבינה, להשקעה משמעותית במחקר התאמה (alignment) שאינו מניח שליטה על המערכת, ולהאטה מכוונת של המירוץ התחרותי לפריסת טכנולוגיות . הוא מזהיר שהשארת הבטיחות לשוק החופשי פירושה שהיא תסבול מהזנחה בכל פעם שתתנגש עם רווחים רבעוניים.

האתגר הוא שהתמריצים שהוא מזהה הם חזקים ומחזקים את עצמם. כל עוד החברה הראשונה שתגיע לבינה על-אנושית צפויה לקטוף יתרון כלכלי וצבאי אדיר, הלחץ להאיץ יישאר בעינו. הצעת האינסטינקט האימהי של הינטון היא, בחלקה, ניסיון למסגר מחדש את היעד עצמו – להפוך את הנדיבות והאכפתיות, ולא רק את היכולת הגולמית, לקנה המידה להצלחה.

ג'פרי הינטון אינו טוען שהאסון ודאי. הוא טוען שהסיכויים גבוהים בצורה בלתי מתקבלת על הדעת, שספר החוקים הנוכחי שלנו שגוי, ושחלון ההזדמנויות לתיקון המסלול נמדד בשנים, לא בעשורים.