אופן AI נטשה את שני מדדי הקידוד שלה — וחשפה משבר אמון עמוק בתעשייה

תוך שבעה חודשים בלבד, אופן AI (OpenAI) נטשה את שני מדדי הקידוד (coding benchmarks) שהיא עצמה קידמה. ראשית, בפברואר 2026, היא פרשה את השימוש ב- SWE-bench Verified, מדד שהיא יצרה בשיתוף פעולה והפך לסטנדרט בתעשייה. לאחר מכן, ביולי 2026, היא חזרה בה מההמלצה שלה על המחליף המיועד, SWE-bench Pro. הנסיגה הכפולה הזו היא יותר מבעיה לוגיסטית עבור מעריכי מודלים — היא איתות לכך שהדרך שבה תעשיית הבינה המלאכותית מודדת יכולות קידוד היא פגומה מיסודה.

שלב 1: נטישת SWE-bench Verified (פברואר 2026)

SWE-bench Verified הושק באוגוסט 2024 כקבוצת משנה מאומתת אנושית של מדד SWE-bench המקורי של אוניברסיטת פרינסטון. המדד הכיל 500 משימות Python שנלקחו מבעיות GitHub אמיתיות . במשך כ-18 חודשים, הוא שימש כמדד העיקרי לבחינת יכולתם של סוכני קידוד AI לפתור בעיות תוכנה בעולם האמיתי .

ב-23 בפברואר 2026, צוות ה- Frontier Evals של אופן AI הפסיק באופן רשמי את השימוש במדד . הסיבות היו חדות וברורות:

• בדיקות פגומות. ביקורת פנימית של 138 הבעיות הקשות ביותר שמודל o3 נכשל בהן (קבוצת משנה של 27.6%) מצאה כי ב-59.4% לפחות מהמקרים היו בדיקות שדחו תיקונים נכונים מבחינה תפקודית — כלומר, מודלים סומנו כשגויים על אף שפתרו את הבעיה כראוי .
• זיהום נרחב. כל מודל מתקדם שנבדק — GPT-5.2, Claude Opus 4.5, Gemini 3 Flash — הצליח לשחזר מילה במילה את "התיקון המוזהב" שנכתב על ידי אדם במשימות מסוימות, סימן ברור לכך שמערכת 500 המשימות דלפה לנתוני האימון .
• רוויה. הציונים טיפסו מכ-60% מקו הבסיס האנושי ב-2024 לכמעט 100% בתוך שנה אחת, מה שהפך את המדד לחסר תועלת להבחנה בין מודלים מתקדמים . לפי Stanford AI Index 2026, "הביצועים עלו מכ-60% ב-2024 לקרוב ל-100% ב-2025" .

המסקנה של אופן AI הייתה חד-משמעית: "שיפורים ב- SWE-bench Verified אינם משקפים עוד שיפורים משמעותיים ביכולות פיתוח התוכנה האמיתיות של מודלים. הם משקפים יותר ויותר את מידת החשיפה של המודל למדד בזמן האימון" .

אופן AI המליצה במפורש על SWE-bench Pro — מדד גדול יותר שנבנה על ידי Scale AI ממאגרי קוד פרטיים ובעלי רישיון copyleft — כמחליף .

שלב 2: חזרה מההמלצה על SWE-bench Pro (יולי 2026)

ב-8 ביולי 2026, אופן AI דיווחה על תוצאות ביקורת מפורטת של SWE-bench Pro — אותו מדד שהיא עצמה קידמה זה עתה כחזק יותר. הממצאים היו הרסניים :

• כ-30% מהמשימות פגומות מיסודן. אופן AI השתמשה גם בצינור אוטומטי וגם בסיווג אנושי כדי לבקר את SWE-bench Pro. הצינור האוטומטי סימן 27.4% מהמשימות כלא-תקינות; הסוקרים האנושיים סימנו 34.1%. אופן AI מעריכה שכ- 30% ממשימות SWE-bench Pro אינן מתאימות כפריטי הערכה .
• סיבת השורש. הדו"ח ציין כי בעיות GitHub ובקשות משיכה (pull requests) תוכננו לשיתוף פעולה אנושי, ולא כמשימות הערכה עצמאיות ונקיות שיכולות למדוד באופן אמין את יכולת הבינה המלאכותית בבידוד .

זה אילץ את אופן AI לחזור בה מהמלצתה על SWE-bench Pro, והותיר את התעשייה ללא מדד יורש מהימן .

משבר רחב יותר במדידת יכולות קידוד AI

הנסיגה הכפולה של אופן AI אינה תקלה מבודדת. היא חלק ממשבר מערכתי באופן שבו תעשיית הבינה המלאכותית מעריכה יכולת קידוד:

• פער תקפות אקולוגית. חוקרים מ- Stanford HAI, ביקורות arXiv וגופים עצמאיים מתעדים נתק יסודי: מודלים שקיבלו ציונים של 70-80% ומעלה ב- SWE-bench Verified מציגים אמינות נמוכה בהרבה בעולם האמיתי, במיוחד במשימות מורכבות, רב-שלביות או מעורפלות . ניתוח אחד קובע בפשטות: "מדדים נוכחיים להערכת סוכני קידוד AI סובלים ממשבר תקפות אקולוגית יסודי. בעוד שמודלים משיגים ציונים מרשימים ב- SWE-bench (70%+) ו- HumanEval (90%+), מדדים אלה אינם מצליחים לחזות תועלת בעולם האמיתי" .
• דליפה בין נתוני אימון לבדיקה היא אנדמית. מכיוון ש- SWE-bench שואב מנתוני GitHub ציבוריים שעשויים להופיע במאגרי אימון, ציוני המדד משקפים יותר ויותר שינון מאשר חשיבה . Stanford AI Index 2026 מתאר את קצב השיפור ב- SWE-bench Verified כאות לזיהום, לא לצמיחת יכולת אמיתית .
• משבר מדידה רחב יותר. Stanford AI Index 2026 מזהיר כי תעשיית הבינה המלאכותית "בונה מהר יותר ממה שהיא מסוגלת למדוד", כאשר הערכות מודלים בתחומים שונים הופכות לבלתי אמינות ככל שהמדדים רוויים ודולפים . סקירת arXiv "מידוד מודלים של AI בהנדסת תוכנה" מצביעה על ידע מקוטע, חוסר סטנדרטיזציה ופגמים עיצוביים יסודיים כבעיות כלל-תעשייתיות .

מה זה אומר

הנסיגה הכפולה של אופן AI — תחילה נטישת המדד שלה, ואז התנערות מהמחליף — הותירה את נוף הערכת הקידוד של AI ללא מנהיג מהימן. הקהילה מכירה יותר ויותר בכך שציוני מדד גבוהים אינם מנבאים עוד באופן אמין אם סוכן קידוד AI יכול להתמודד עם משימות הנדסת תוכנה בעולם האמיתי . מתודולוגיות הערכה חדשות — כגון מדדים ספציפיים למשימה, יריביים או מתעדכנים באופן רציף — נחוצות בדחיפות אך עדיין אינן בשלות .

לעת עתה, כל מי שמנסה להעריך סוכן קידוד AI אין לו סטנדרט אחד לסמוך עליו. קריסת SWE-bench Verified ו- SWE-bench Pro אינה רק סיפור על שתי בדיקות פגומות. זהו סיפור על תעשייה שבנתה מהר יותר ממה שהיא יכלה למדוד.