אופן AI נטשה את שני מדדי הקידוד שלה — וחשפה משבר אמון עמוק בתעשייה

• בדיקות פגומות. ביקורת פנימית של 138 הבעיות הקשות ביותר שמודל o3 נכשל בהן (קבוצת משנה של 27.6%) מצאה כי ב-59.4% לפחות מהמקרים היו בדיקות שדחו תיקונים נכונים מבחינה תפקודית — כלומר, מודלים סומנו כשגויים על אף שפתרו את הבעיה כראוי .
• זיהום נרחב. כל מודל מתקדם שנבדק — GPT-5.2, Claude Opus 4.5, Gemini 3 Flash — הצליח לשחזר מילה במילה את "התיקון המוזהב" שנכתב על ידי אדם במשימות מסוימות, סימן ברור לכך שמערכת 500 המשימות דלפה לנתוני האימון .
• רוויה. הציונים טיפסו מכ-60% מקו הבסיס האנושי ב-2024 לכמעט 100% בתוך שנה אחת, מה שהפך את המדד לחסר תועלת להבחנה בין מודלים מתקדמים . לפי Stanford AI Index 2026, "הביצועים עלו מכ-60% ב-2024 לקרוב ל-100% ב-2025" .

המסקנה של אופן AI הייתה חד-משמעית: "שיפורים ב- SWE-bench Verified אינם משקפים עוד שיפורים משמעותיים ביכולות פיתוח התוכנה האמיתיות של מודלים. הם משקפים יותר ויותר את מידת החשיפה של המודל למדד בזמן האימון" .

אופן AI המליצה במפורש על SWE-bench Pro — מדד גדול יותר שנבנה על ידי Scale AI ממאגרי קוד פרטיים ובעלי רישיון copyleft — כמחליף .

שלב 2: חזרה מההמלצה על SWE-bench Pro (יולי 2026)

ב-8 ביולי 2026, אופן AI דיווחה על תוצאות ביקורת מפורטת של SWE-bench Pro — אותו מדד שהיא עצמה קידמה זה עתה כחזק יותר. הממצאים היו הרסניים :

• כ-30% מהמשימות פגומות מיסודן. אופן AI השתמשה גם בצינור אוטומטי וגם בסיווג אנושי כדי לבקר את SWE-bench Pro. הצינור האוטומטי סימן 27.4% מהמשימות כלא-תקינות; הסוקרים האנושיים סימנו 34.1%. אופן AI מעריכה שכ- 30% ממשימות SWE-bench Pro אינן מתאימות כפריטי הערכה .
• סיבת השורש. הדו"ח ציין כי בעיות GitHub ובקשות משיכה (pull requests) תוכננו לשיתוף פעולה אנושי, ולא כמשימות הערכה עצמאיות ונקיות שיכולות למדוד באופן אמין את יכולת הבינה המלאכותית בבידוד .

זה אילץ את אופן AI לחזור בה מהמלצתה על SWE-bench Pro, והותיר את התעשייה ללא מדד יורש מהימן .

משבר רחב יותר במדידת יכולות קידוד AI

הנסיגה הכפולה של אופן AI אינה תקלה מבודדת. היא חלק ממשבר מערכתי באופן שבו תעשיית הבינה המלאכותית מעריכה יכולת קידוד:

• פער תקפות אקולוגית. חוקרים מ- Stanford HAI, ביקורות arXiv וגופים עצמאיים מתעדים נתק יסודי: מודלים שקיבלו ציונים של 70-80% ומעלה ב- SWE-bench Verified מציגים אמינות נמוכה בהרבה בעולם האמיתי, במיוחד במשימות מורכבות, רב-שלביות או מעורפלות . ניתוח אחד קובע בפשטות: "מדדים נוכחיים להערכת סוכני קידוד AI סובלים ממשבר תקפות אקולוגית יסודי. בעוד שמודלים משיגים ציונים מרשימים ב- SWE-bench (70%+) ו- HumanEval (90%+), מדדים אלה אינם מצליחים לחזות תועלת בעולם האמיתי" .
• דליפה בין נתוני אימון לבדיקה היא אנדמית. מכיוון ש- SWE-bench שואב מנתוני GitHub ציבוריים שעשויים להופיע במאגרי אימון, ציוני המדד משקפים יותר ויותר שינון מאשר חשיבה . Stanford AI Index 2026 מתאר את קצב השיפור ב- SWE-bench Verified כאות לזיהום, לא לצמיחת יכולת אמיתית .
• משבר מדידה רחב יותר. Stanford AI Index 2026 מזהיר כי תעשיית הבינה המלאכותית "בונה מהר יותר ממה שהיא מסוגלת למדוד", כאשר הערכות מודלים בתחומים שונים הופכות לבלתי אמינות ככל שהמדדים רוויים ודולפים . סקירת arXiv "מידוד מודלים של AI בהנדסת תוכנה" מצביעה על ידע מקוטע, חוסר סטנדרטיזציה ופגמים עיצוביים יסודיים כבעיות כלל-תעשייתיות .

מה זה אומר

הנסיגה הכפולה של אופן AI — תחילה נטישת המדד שלה, ואז התנערות מהמחליף — הותירה את נוף הערכת הקידוד של AI ללא מנהיג מהימן. הקהילה מכירה יותר ויותר בכך שציוני מדד גבוהים אינם מנבאים עוד באופן אמין אם סוכן קידוד AI יכול להתמודד עם משימות הנדסת תוכנה בעולם האמיתי . מתודולוגיות הערכה חדשות — כגון מדדים ספציפיים למשימה, יריביים או מתעדכנים באופן רציף — נחוצות בדחיפות אך עדיין אינן בשלות .

לעת עתה, כל מי שמנסה להעריך סוכן קידוד AI אין לו סטנדרט אחד לסמוך עליו. קריסת SWE-bench Verified ו- SWE-bench Pro אינה רק סיפור על שתי בדיקות פגומות. זהו סיפור על תעשייה שבנתה מהר יותר ממה שהיא יכלה למדוד.