סמפורָה רוצה שבני אדם ימשיכו לשפוט את ה-AI

השאלה שסמפורָה מנסה לפתור

ככל שמודלי בינה מלאכותית נעשים חזקים ואוטונומיים יותר, מתחדדת שאלה בסיסית: מי, או מה, מוסמך לקבוע אם מערכת AI מתנהגת נכון ובבטחה?

על השאלה הזו מנסה לענות Sampura Research, ארגון ללא מטרות רווח לבטיחות AI שמושבו בלונדון. במקום להוציא את בני האדם מתהליך הפיקוח, הארגון רוצה לתכנן מערכות שבהן בני אדם ובינה מלאכותית חולקים את האחריות להערכת המודלים. סמפורָה הודיעה שקיבלה מענק ראשוני של 11 מיליון דולר מ-Coefficient Giving: 7 מיליון דולר לשנת הפעילות הראשונה ו-4 מיליון דולר נוספים שהובטחו. 1

ההשקה הפומבית מתוארכת ל-25 באוגוסט 2026, ולא ל-24 באוגוסט. בהודעה הרשמית מופיעים Rishub Jain וג'ושוע (Josh) Jacob כמייסדים. פוסטים מוקדמים יותר ברשתות החברתיות הזכירו גם את Alex Adams, אך ההודעה הרשמית אינה קובעת שכל השלושה הקימו את הארגון באופן רשמי. 112

מהו “שופט” של AI?

במונחים של סמפורָה, שופט יכול להיות אדם, מודל AI או מערכת משולבת, שתפקידה לבדוק אם ההתנהגות של מערכת AI אחרת נכונה ותואמת את היעדים והערכים שהוגדרו לה. הבדיקה יכולה להתייחס לתשובה יחידה, לשיחה שלמה או למסלול פעולה רב-שלבי של “סוכן” אוטונומי. 1

ההבחנה הזו חשובה משום שפיקוח נוטה להיתפס כבעיה נפרדת מיכולת המודל. מודל יכול לנסח תשובות משכנעות ולהשלים משימות מורכבות, ובכל זאת להטעות את המעריך, לנצל פרצות במנגנון התגמול או לבצע פעולה מסוכנת במהלך רצף ארוך של צעדים.

סמפורָה מגדירה את גישתה כ-השלמה בין אדם ל-AI לצורך פיקוח שניתן להרחיב: להשתמש באוטומציה במקומות שבהם היא אמינה, אך לשמור על מעורבות אנושית במקרים הדורשים שיקול דעת, פרשנות או הכרעות תלויות-ערכים. 1

למה לא להסתמך על AI שיפקח על AI?

מערכות AI אטרקטיביות כמפקחות משום שהן מהירות וזולות יותר להפעלה בקנה מידה גדול. אבל מהירות לבדה אינה הופכת מעריך לאמין. בהודעת ההשקה שלה מצביעה סמפורָה על כמה סיכונים מרכזיים:

• יכולות לא אחידות: הביצועים של מערכות AI עלולים להיות “משוננים” — חזקים מאוד במשימות מסוימות, אך חלשים באופן בלתי צפוי במשימות אחרות.
• כשלים חופפים: בני אדם ומערכות AI עלולים לטעות באותם מקומות, במיוחד כאשר המודל המפוקח מותאם כדי לעקוף את תהליך ההערכה.
• מניפולציה ושיתוף פעולה: המערכת שנבחנת עלולה לנצל את המפקח האוטומטי, להטעות אותו או להשפיע עליו בדרכים אחרות.
• מצבים חדשים ועמומים: מקרים שלא נראו קודם לכן עשויים לדרוש דיון אנושי בשאלות של ערכים, ולא רק הפעלה מכנית של העדפות שנלמדו בעבר.

הטענות האלה אינן מוכיחות שמעריכים אנושיים תמיד טובים יותר. הן מסבירות מדוע סמפורָה רוצה לבדוק איזה שילוב של הערכה אנושית וממוחשבת מתפקד בצורה הטובה ביותר בתנאי לחץ, במקום להניח שבני אדם או AI צריכים לטפל לבדם בכל מקרה. 1

כך ייבחן “השופט”

תוכנית העבודה הראשונה של סמפורָה תימשך שישה חודשים ותתמקד בבניית דירוג מגוון של מעריכים, שיכלול יותר מ-20 תתי-מאגרי נתונים. בין תחומי הבדיקה המתוכננים: זיהוי הטעיה, הטיה תרבותית ופעולות לא בטוחות של סוכני AI. 1

הבדיקות לא יסתפקו בשאלות ותשובות סטטיות. סמפורָה מתכננת גם תרחישים שבהם המודל המפוקח מנסה באופן ישיר למטב את התנהגותו מול השופט במהלך למידת חיזוק. המטרה היא לבדוק אם מנגנון ההערכה ממשיך לעבוד גם כאשר למודל יש תמריץ לאתר את חולשותיו ולנצל אותן. 1

המחקר ישווה בין שלוש גישות עיקריות:

1. שופטים אנושיים, שמבצעים את ההערכה ישירות.
2. שופטים המבוססים על AI בלבד, שמציעים מהירות ויכולת להתרחב.
3. שופטים היברידיים, שמחלקים או מתאמים את עבודת ההערכה בין בני אדם למכונות.

המטרה אינה רק להשיג ציון גבוה במבחן צר ומוגדר. סמפורָה אומרת שהיא מחפשת מעריכים שיישארו עמידים במגוון רחב של בדיקות — גם כאשר המודלים שעליהם הם מפקחים ילמדו לנצל טוב יותר את חולשות ההערכה. 1

איך נראה פיקוח היברידי?

הארגון הציג כמה דרכים אפשריות לשלב בין שיפוט אנושי לשיפוט ממוחשב:

• מערכת AI יכולה להעריך את רמת הביטחון שלה ולהעביר מקרים לא ודאיים לאדם.
• מערכת ניתוב יכולה להחליט אם משימת פיקוח שלמה תועבר למעריך אנושי או למעריך אוטומטי.
• משימה מורכבת יכולה להתפרק לתת-משימות, שכל אחת מהן תנותב לאדם או למכונה.
• ממשקים ייעודיים יכולים לספק למעריכים אנושיים כלים שיאפשרו להם לבצע בדיקות קשות במהירות ובעקביות רבה יותר.

בגישה הזו, מעורבות אנושית אינה דרישה של “הכול או כלום”, אלא משאב שצריך לתכנן ולייעל. מקרים פשוטים עשויים להתאים לבדיקה אוטומטית זולה ואמינה; מקרים אחרים יצדיקו תשומת לב אנושית איטית ומעמיקה יותר.

לכן השאלה אינה באמת “אדם או AI”, אלא כיצד לאזן בין דיוק, עלות, מהירות ועמידות בפני ניסיון מכוון לעקוף את המערכת. 1

מה צפוי בהמשך?

לאחר פיתוח שופטים חזקים יותר, סמפורָה מתכננת לבדוק אם הם יכולים לצמצם פריצת תגמול — מצב שבו מודל מוצא דרך להשיג ציון גבוה בלי לבצע בפועל את המטרה הרצויה — במהלך אימון המודלים. הארגון רוצה גם לבחון כמה מעורבות אנושית נדרשת, כיצד מערכות פיקוח צריכות להשתנות כאשר מודלים לומדים לנצל אותן, והאם אפשר להשתמש בשופטים למשימות רחבות יותר מסיווג פלטים. 1

העבודה עשויה לכלול גם ניסוח או הערכה של מפרטים, הוראות, מדדים, כללי בדיקה ותרחישי מבחן המשמשים לאימון ולהערכת מערכות AI. סמפורָה מסרה כי בכוונתה לפרסם את מחקריה באמצעות מאמרים, קוד, מאגרי נתונים ודירוגים. 1

עם זאת, החומרים הזמינים אינם מאשרים כל פרויקט ספציפי שמקושר לשם הארגון. בפרט, אין בהם אישור למאגר נתונים בשם “forward-looking harm” או לפלטפורמת קוד פתוח מאומתת לדירוג אנושי. לכן יש להתייחס לתיאורים הללו כאל טענות שטרם אומתו, ולא כמוצרים שהוכרזו רשמית.

למה הגיוס בלונדון חשוב?

סמפורָה מגייסת אנשי צוות טכניים ראשונים בלונדון. התוכנית שלה דורשת שילוב של למידת מכונה, תכנון הערכות, אינטראקציית אדם–מחשב, תפעול נתונים והטמעה. 1 פוסטים קודמים ברשתות החברתיות דיברו על גיוס של לפחות שישה חוקרים נוספים ועל שכר של 100 אלף עד 290 אלף ליש"ט, אך ההודעה הרשמית של הארגון אינה מאשרת את הנתונים המדויקים האלה. 1213

השוק הרחב יותר של הערכת AI מתמודד אף הוא על מאגר מצומצם של מומחים. מודעת גיוס של METR לתפקיד בתחום ביצוע ההערכות מציינת שכר בסיס של 285,548 עד 503,116 דולר, ואף אומרת שהארגון עשוי לשקול סכום גבוה יותר עבור מועמדים מנוסים במיוחד. 18

ההשוואה ממחישה את האתגר: פיקוח אמין דורש גם מחקר טכני וגם הערכה קפדנית בעולם האמיתי, בעוד שהארגונים העוסקים בכך מתחרים על רבים מאותם אנשי מקצוע.

חלק מחשש רחב יותר

השקת סמפורָה מתרחשת על רקע חשש גובר שהתקדמות ה-AI תקדים את מערכות הפיקוח שנועדו לנטר אותה. ביולי 2026 חתמו יותר מ-1,100 עובדים מחברות AI גדולות על מכתב פתוח שקרא לממשל האמריקאי לתמוך בכלים טכניים וממשלתיים בינלאומיים, שיוכלו להאט במכוון את פיתוח ה-AI המתקדם אם יהיה בכך צורך. המכתב לא קרא לעצירה מיידית של פיתוח הבינה המלאכותית. 40

במקביל נרשמו שינויים משמעותיים בקרב חוקרי AI בכירים. רויטרס דיווחה על חילופי תפקידים בהנהלת חטיבת ה-AI של גוגל ועל עזיבת מהנדסים וחוקרים בולטים לחברות ולסטארט-אפים אחרים. 49 ההתפתחויות האלה מספקות הקשר להקמת סמפורָה, אך אינן מוכיחות שהארגון פתר את בעיית הבטיחות הבסיסית.

מה סמפורָה יכולה — ולא יכולה — לטעון בשלב הזה

הראיות הקיימות תומכות בתיאור סמפורָה כארגון מחקר צעיר שבונה תשתית מדידה וקבלת החלטות לפיקוח על מערכות AI. בעתיד, הדירוגים ושיטות ההערכה ההיברידיות שלה עשויים לשמש מעבדות AI, מעריכים עצמאיים וארגונים אחרים שבוחנים את התנהגותם של מודלים. 1

אבל זה שונה מאוד מהוכחה שסמפורָה מסוגלת “לבלום” מערכות AI מתקדמות. התרומה המיידית שלה היא לחקור כיצד צריך לתכנן ולבחון מנגנוני פיקוח כאשר המודל המפוקח חזק, מסתגל, ואולי אף מתומרץ לעבור את הבדיקות בהצלחה בלי להיות בטוח באמת.

ההימור המרכזי של סמפורָה הוא שבטיחות בקנה מידה גדול תדרוש אוטומציה — אבל לא אוטומציה שתסלק את בני האדם מההכרעות החשובות ביותר.