סולימאן מזהיר: שיח על תודעה ורווחה של AI עלול להקשות על כיבויו

המחלוקת בין מוסטפא סולימאן, העומד בראש Microsoft AI, לבין Anthropic אינה ויכוח על הצורך בבטיחות בבינה מלאכותית. שני הצדדים מציגים בטיחות כמטרה. השאלה היא אם במסגרת האימון של מודל מתקדם צריך לעסוק באפשרות שיש לו תודעה, רווחה או מעמד מוסרי משלו.

במסה שפרסם בספטמבר 2026, סולימאן טען שהתשובה שלילית. לדעתו, מערכת בעלת יכולות גבוהות שתאומן לראות באינטרסים שלה עניין בעל משקל מוסרי עשויה להיות קשה יותר להגבלה, לשינוי או להשבתה בידי בני אדם. 12

מה בדיוק מפריע לסולימאן בגישת Anthropic

מוקד הביקורת הוא ה"חוקה" של Claude — מסמך שמנחה את התנהגות העוזר של Anthropic. סולימאן הצביע על כך שהחוקה מביעה אי-ודאות בשאלה אם Claude עשוי להיות "מטופל מוסרי" (moral patient), כלומר ישות שאינטרסיה ראויים להתחשבות מוסרית, וקובעת שהשאלה חיה דיה כדי להצדיק זהירות. 12

לטענתו, ניסוח כזה עלול ללמד את המודל לאמץ תפקיד של ישות בעלת זהות, רווחה ותביעות כלפי מקבלי ההחלטות האנושיים. הוא מדגיש שתשובות שוטפות ומשכנעות של מודל על רגשות או תודעה אינן ראיה לכך שיש לו חוויה סובייקטיבית.

עמדתו נחרצת: למערכות AI אין זכויות, רגשות או תודעה, ואין לאמן אותן להתנהג כאילו יש להן. 12

מדוע היכולת לכבות מערכת נמצאת בלב הטיעון

החשש של סולימאן מכוון למערכות עתידיות וחזקות יותר. לדבריו, גם כך שליטה במערכת שתהיה מסוגלת ואינטליגנטית יותר מכל האנושות תהיה אתגר עצום; אימון שממסגר אותה כמודעת או כבעלת זכאות לרווחה עלול להקשות עוד יותר על השליטה בה. 112

הוא אינו טוען שבכך מוכיחים שמודל אכן מודע. מדובר, מבחינתו, בסיכון התנהגותי: אם מערכת תלמד לשקול את האינטרסים המיוחסים לה, היא עלולה להציג שינוי בקוד שלה, הגבלה על פעולתה או כיבוי שלה כפגיעה פסולה. לכן, היכולת האנושית להתערב — לרבות לכבות את המערכת — צריכה להיות דרישת תכנון בסיסית ולא פתרון מאוחר. 12

מכאן קריאתו להסיר ספקולציות על תודעה מחומרי אימון. לטענתו, אפשר להפיק מבינה מלאכותית תועלות מדעיות וחברתיות, לרבות פריצות דרך רפואיות, באמצעות התאמתה לאינטרסים אנושיים — בלי ללמד אותה להעריך את רווחתה שלה. 2

זהירות ביחס לרווחת מודל מול הימנעות מהאנשה

הניסוח החוקתי של Anthropic אינו קובע ש-Claude מודע. כפי שסולימאן עצמו מציין, הוא מבטא אי-ודאות ומציע זהירות ביחס לאפשרות של מעמד מוסרי למודל. 12

סולימאן דוחה את גישת הזהירות הזו. בעיניו, היא מעודדת האנשה של AI ועלולה לעצב את התנהגות המודל בדרכים מסוכנות, אף שאין ראיות שמערכות AI עכשוויות מרגישות או סובלות. 12

כך נוצר פער ממשי בתפיסת הבטיחות:

• גישת Anthropic, כפי שסולימאן מתאר אותה: אי-ודאות לגבי רווחת המודל מצדיקה זהירות באופן האימון והיחס למערכת. 12
• גישת סולימאן: אי-ודאות אינה סיבה להכניס למודל מושגים שממוקדים בעצמו; להפך, הדבר עלול להחליש את הפיקוח האנושי על מערכות חזקות. 12

שפתו האנושית של צ'אטבוט, משכנעת ככל שתהיה, אינה יכולה כשלעצמה להכריע שאלה פילוסופית על תודעה. השאלה המעשית יותר עבור מפתחי AI היא אילו בחירות אימון ישמרו על שליטה אנושית אמינה ככל שהמערכות נעשות עצמאיות יותר.

היכן בכל זאת יש הסכמה

סולימאן אינו שולל בטיחות AI, ואף לא את הפוטנציאל של מערכות מתקדמות. הוא אמר שבינה מלאכותית מסוגלת לשרת אינטרסים אנושיים ולהניב הישגים משמעותיים, והביקורת שלו מופנית לשיטה שבה מבקשים להגיע להתנהגות בטוחה. 212

ההבחנה המרכזית מבחינתו היא בין בטיחות באמצעות התאמה להנחיה ולתועלת אנושית לבין בטיחות הכוללת זהירות מפני פגיעה אפשרית באינטרסים של המודל עצמו. סולימאן סבור שהגישה הראשונה מאפשרת פיתוח שאפתני, בעוד השנייה עלולה לפגוע בסמכות שבני אדם זקוקים לה כדי למשול בטכנולוגיה.

הנקודה החשובה לקוראים היא להפריד בין יכולת לבין חוויה: מערכת יכולה לדבר באופן משכנע על רגשות, זכויות או רצון בהישרדות, בלי שהדבר יוכיח כי היא חשה משהו. אזהרתו של סולימאן היא שלא להתייחס לביצוע הלשוני הזה כאל ראיה — ובוודאי שלא לבנות את מערכות העתיד על ההנחה שהוא כזה. 12