מהי Sampura Research — ולמה היא מתנגדת לרעיון ש-AI יפקח על AI?

לא אלכס אדמס: מי עומד מאחורי Sampura?

Sampura Research היא עמותה ללא מטרות רווח בתחום בטיחות הבינה המלאכותית, שבסיסה בלונדון. היא נוסדה בידי חוקרי Google DeepMind לשעבר Rishub Jain ו-Josh Jacob — ולא, לפי ההודעה הרשמית של הארגון, בידי Alex Adams. הארגון הושק לציבור ב-25 באוגוסט 2026, ולא ב-24 באוגוסט כפי שנטען בניסוח המקורי, והוא נתמך במענק ראשוני של 11 מיליון דולר מ-Coefficient Giving: 7 מיליון דולר לשנה הראשונה ו-4 מיליון דולר נוספים שהובטחו להמשך. Adams מוזכר כמי שסיפק משוב על ההודעה. 4

השם Sampura מצטרף לוויכוח רחב יותר בתעשייה: מי אמור לבדוק אם מערכת AI פועלת כראוי — בני אדם, מודלים אחרים, או שילוב בין השניים?

הבעיה עם ״AI שמפקח על AI״

חברות AI משתמשות יותר ויותר ב-LLM-ים — מודלי שפה גדולים — כדי לשפוט את התשובות והפעולות של מודלים אחרים. היתרון ברור: מערכות אוטומטיות זולות ומהירות יותר מבדיקה אנושית, ויכולות לעבור על כמויות עצומות של מידע.

אבל Sampura טוענת שהגישה הזו עלולה להשאיר נקודות עיוורות. מודלים נוטים להיכשל באופן לא אחיד: הם עשויים להצטיין במשימה אחת ולהיכשל במשימה שנראית דומה, תופעה שהחוקרים מכנים כשל ״משונן״. בנוסף, אם המודל הנבדק והמודל השופט חולקים חולשות דומות, השופט עלול שלא לזהות את הבעיה — או אפילו לאשר התנהגות שהמערכת למדה להסתיר.

לפי הארגון, לבני אדם יש עדיין כמה יתרונות ייחודיים: הם יכולים לשמש בדיקה בלתי תלויה, לזהות כשלים לא צפויים ולדון בערכים אנושיים חדשים או משתנים. המטרה אינה שאנשים יבדקו כל תשובה, אלא שהם יתערבו בדיוק במקרים שבהם התוספת האנושית מעניקה את הערך הבטיחותי הגדול ביותר. 4

מהו ״שופט״ היברידי?

במונחים של Sampura, שופט הוא אדם, מערכת AI או שילוב ביניהם שבוחנים אם התנהגות של מערכת בינה מלאכותית נכונה, בטוחה ותואמת את היעד שלה. זה יכול להיות דירוג של תשובה בשיחה, או בדיקה של מסלול פעולה של סוכן AI שמבצע סדרת משימות.

הגישה המתוכננת כוללת כמה שכבות:

• הערכת רמת הביטחון של השופט האוטומטי והעברת מקרים לא ודאיים לבדיקה אנושית;
• שימוש במערכות ניתוב שיחליטו אילו משימות או תתי-משימות יבוצעו בידי אדם ואילו בידי AI;
• מתן כלי AI ייעודיים לבודקים אנושיים, כדי לסייע להם במשימה בלי להחליף את שיקול דעתם;
• בחינה מתמשכת של האיזון בין עלות, מהירות ואיכות הבדיקה.

זהו למעשה ניסיון לבנות פיקוח מדורג: אוטומציה היכן שהיא אמינה, ובני אדם היכן שהסיכון או אי-הוודאות גבוהים.

לוח דירוג פתוח ומאגרי נתונים חדשים

בששת החודשים הראשונים מתכננת Sampura להתמקד בבניית שופטים טובים יותר באמצעות תוכנית ציבורית ומתעדכנת. התוכנית אמורה לכלול לוח דירוג עם יותר מ-20 תתי-מאגרי נתונים, ובהם בדיקות לזיהוי הטעיה, הטיה תרבותית ופעולות לא בטוחות של סוכני AI. 4

הארגון אינו מתכנן לבחון רק תשובות קבועות מתוך מאגר. הוא רוצה לבדוק מה קורה כאשר המודל הנבדק לומד לבצע אופטימיזציה מול השופט במהלך אימון בחיזוק. כך ניתן לבחון אם המודל מתחיל ״לשחק לפי המדד״ במקום להשתפר באמת — תופעה המכונה reward hacking, או ניצול של מנגנון התגמול.

Sampura אומרת שתפרסם לציבור מאמרים, קוד, מאגרי נתונים ולוחות דירוג. פתיחות כזו עשויה לאפשר לחוקרים חיצוניים לבדוק אם השיטות אכן עובדות, ולא רק להסתמך על הצהרות הארגון.

לא רק תרחיש של ״AI מורד״

המחקר המתוכנן אינו מוגבל לתרחישים דרמטיים שבהם מערכת AI יוצאת משליטה. היקף הסיכונים שעליהם מדברת Sampura כולל גם הטיות, אינטראקציות לא בטוחות עם ילדים ותלות רגשית במערכות AI המשמשות כבני לוויה.

בהמשך, הארגון מתכנן להרחיב את הבדיקה: לא רק לשפוט את פלט המודל, אלא גם לסייע ביצירה ובהערכה של ההוראות, הקריטריונים ומקרי הבדיקה שבאמצעותם המודל נבחן. אם יצליח, הדבר עשוי לסייע באיתור כשלים עוד לפני שהם מופיעים בשימוש נרחב.

עם זאת, חשוב להבחין בין כיוון מחקרי לבין יכולת מוכחת. בשלב זה Sampura מציגה תוכנית עבודה, לא מערכת שהוכיחה שהיא מסוגלת למנוע ממודלים מתקדמים לגרום נזק.

איך תיבחן ההצלחה?

השאלה המרכזית לא תהיה רק אם השופטים נותנים ציונים מדויקים יותר. Sampura רוצה לבדוק אם השיפור במדידה אכן מפחית reward hacking, מתי יש לאמן מחדש את השופטים כאשר המודלים משתנים, וכמה מעורבות אנושית נדרשת כדי להגיע לתוצאה בטוחה — בלי להפוך את התהליך לאיטי ויקר מדי.

ייתכן שהארגון יתחיל בבדיקות עומס עם מעריכים חיצוניים, ורק לאחר מכן ינסה לקדם שימוש בשיטותיו בתהליכי אימון, הערכה וניטור של מעבדות המפתחות מודלי AI מתקדמים. 4

המחסור במעריכי AI מחדד את האתגר

גם אם המתודולוגיה תעבוד, נותרת בעיה מעשית: אין מספיק אנשים בעלי ניסיון בהערכת מערכות AI מתקדמות. משרת Evaluation Execution שפרסמה METR, ארגון העוסק בהערכה עצמאית של מודלים, הציעה שכר בסיס שנתי של 285,548–503,116 דולר, ואף ציינה כי מועמדים יוצאי דופן עשויים לקבל יותר. 9

הנתון ממחיש עד כמה הכישרון המקצועי בתחום נדיר. Sampura הודיעה שהיא מגייסת אנשי צוות טכניים מייסדים בלונדון, אך לא נמצא מקור ראשוני מספק לטענה הספציפית שהיא תגייס לפחות שישה עובדים בשכר של 100,000–290,000 ליש״ט. ההודעה הרשמית מדברת רק על גיוס אנשי צוות טכניים ראשונים. 4

חלק מפתרון — לא תחליף לממשל

היוזמה מגיעה בתקופה שבה יותר מ-1,100 אנשי מקצוע בתחום ה-AI חתמו ביולי 2026 על מכתב שקרא לפתח יכולת בינלאומית להאט את קצב פיתוח מערכות ה-AI המתקדמות, אם הן יתקדמו מהר יותר מיכולת הפיקוח האנושית. 1

Sampura עשויה לספק רכיב טכני חשוב לדיון הזה: הערכות אמינות, ניתנות לביקורת ומתעדכנות. אבל עמותת מחקר אינה יכולה ליצור לבדה סמכות חוקית, תיאום בינלאומי, גישה למודלים או מנגנוני אכיפה. לכן העבודה שלה משלימה את הממשל והרגולציה — ואינה מחליפה אותם.

ומה לגבי עזיבת DeepMind?

עזיבתו של Jain דווחה כחלק מרצף רחב יותר של עזיבות מ-Google DeepMind. עם זאת, הטענה שלפיה חמישה חוקרי ליבה עזבו בתוך שישה ימים נשענת כאן על דיווחים משניים באיכות נמוכה יחסית, ולכן אין להתייחס אליה כעובדה שהוכחה באופן עצמאי. 5

גם הטענה הרחבה שלפיה חברות AI ״אינן מסוגלות עדיין להכיל את מה שבנו״ אינה מוכחת במידע הזמין. המסקנה הזהירה יותר היא שמנגנוני הפיקוח על מודלים בעלי יכולות הולכות וגדלות עדיין לא הוכחו במלואם, שכוח האדם בתחום ההערכה מצומצם, וש-Sampura מנסה להפוך את המעורבות האנושית לניתנת להרחבה ולעמידה יותר — במקום להניח ש-AI יכול לפקח בבטחה על AI לבדו.