23 फरवरी 2026 को, OpenAI की Frontier Evals टीम ने इस बेंचमार्क को औपचारिक रूप से बंद कर दिया । इसके कारण बेहद स्पष्ट और चौंकाने वाले थे:

• खराब टेस्ट केस: उन 138 सबसे कठिन समस्याओं के आंतरिक ऑडिट में, जिन्हें o3 मॉडल हल नहीं कर सका (कुल का 27.6%), पाया गया कि कम से कम 59.4% में ऐसे टेस्ट थे जो कार्यात्मक रूप से सही पैच को भी रिजेक्ट कर रहे थे – यानी मॉडल को समस्या सही हल करने के बावजूद गलत ठहराया जा रहा था ।
• व्यापक संदूषण: हर फ्रंटियर मॉडल – GPT-5.2, Claude Opus 4.5, Gemini 3 Flash – कुछ टास्क पर मानव-लिखित 'गोल्ड पैच' को शब्दशः दोहरा सकता था। यह साफ़ संकेत था कि 500 टास्क वाला यह सेट ट्रेनिंग डेटा में लीक हो चुका था ।
• संतृप्ति: स्कोर 2024 में लगभग 60% (मानव बेसलाइन के) से बढ़कर 2025 में लगभग 100% हो गए थे, जिससे यह बेंचमार्क फ्रंटियर मॉडलों में अंतर करने के लिए बेकार हो गया । स्टैनफोर्ड AI इंडेक्स 2026 के अनुसार, "प्रदर्शन 2024 में लगभग 60% से बढ़कर 2025 में लगभग 100% हो गया" ।

OpenAI का निष्कर्ष बेहद स्पष्ट था: "SWE-bench Verified में सुधार अब मॉडलों की वास्तविक सॉफ्टवेयर डेवलपमेंट क्षमताओं में सार्थक सुधार को नहीं दर्शाते। वे तेज़ी से यह दर्शाते हैं कि ट्रेनिंग के समय मॉडल बेंचमार्क के कितने संपर्क में आया था" ।

OpenAI ने स्पष्ट रूप से SWE-bench Pro को विकल्प के रूप में सुझाया – यह एक बड़ा बेंचमार्क था जिसे Scale AI ने प्राइवेट और कॉपीलेफ्ट रिपॉजिटरी से बनाया था ।

चरण 2: SWE-bench Pro की सिफारिश वापस लेना (जुलाई 2026)

8 जुलाई 2026 को, OpenAI ने SWE-bench Pro के विस्तृत ऑडिट के नतीजे पेश किए – यह वही बेंचमार्क था जिसे उसने अभी-अभी अधिक मजबूत बताकर प्रमोट किया था। नतीजे विनाशकारी थे :

• लगभग 30% टास्क बुनियादी रूप से खराब हैं। OpenAI ने SWE-bench Pro के ऑडिट के लिए एक ऑटोमेटेड पाइपलाइन और मानव वर्गीकरण दोनों का इस्तेमाल किया। ऑटोमेटेड पाइपलाइन ने 27.4% टास्क को अमान्य बताया; मानव समीक्षकों ने 34.1% टास्क में समस्या पाई। OpenAI का अनुमान है कि SWE-bench Pro के लगभग 30% टास्क मूल्यांकन के लिए उपयुक्त नहीं हैं ।
• मूल कारण: रिपोर्ट में बताया गया कि GitHub के इश्यू और पुल रिक्वेस्ट मूल रूप से मानव सहयोग के लिए डिज़ाइन किए गए थे, न कि AI की क्षमता को अलग-थलग करके मापने वाले स्वतंत्र मूल्यांकन कार्यों के रूप में ।

इसने OpenAI को SWE-bench Pro की अपनी सिफारिश वापस लेने पर मजबूर कर दिया, जिससे पूरा उद्योग एक भरोसेमंद उत्तराधिकारी बेंचमार्क के बिना रह गया ।

AI कोडिंग मापन में एक व्यापक संकट

OpenAI का यह दो-कदमी पीछे हटना कोई अलग-थलग घटना नहीं है। यह AI क्षेत्र में कोडिंग क्षमता के मूल्यांकन में एक व्यवस्थित संकट का हिस्सा है:

• पारिस्थितिक वैधता का अंतर: स्टैनफोर्ड HAI, arXiv समीक्षाओं और स्वतंत्र समूहों के शोध से पता चलता है कि SWE-bench Verified पर 70-80% या उससे अधिक स्कोर करने वाले मॉडल वास्तविक दुनिया में कहीं कम विश्वसनीय होते हैं, खासकर जटिल, बहु-चरणीय या अस्पष्ट कार्यों पर । एक विश्लेषण इसे सीधे शब्दों में कहता है: "AI कोडिंग एजेंटों के मूल्यांकन के लिए मौजूदा बेंचमार्क एक बुनियादी पारिस्थितिक वैधता संकट से ग्रस्त हैं। जबकि मॉडल SWE-bench (70%+) और HumanEval (90%+) पर प्रभावशाली स्कोर हासिल करते हैं, ये मीट्रिक वास्तविक दुनिया की उपयोगिता की भविष्यवाणी करने में विफल रहते हैं" ।
• ट्रेन-टेस्ट लीकेज आम है: चूंकि SWE-bench पब्लिक GitHub डेटा पर आधारित है जो ट्रेनिंग कॉर्पोरा में मौजूद हो सकता है, बेंचमार्क स्कोर तेज़ी से तर्क के बजाय रटने (memorization) को दर्शाते हैं । स्टैनफोर्ड AI इंडेक्स 2026 SWE-bench Verified पर सुधार की गति को वास्तविक क्षमता वृद्धि के बजाय संदूषण का संकेत बताता है ।
• व्यापक मापन संकट: स्टैनफोर्ड AI इंडेक्स 2026 ने चेतावनी दी है कि AI क्षेत्र "जितना हम माप सकते हैं उससे कहीं ज़्यादा तेज़ी से निर्माण कर रहा है" और बेंचमार्क के संतृप्त होने और लीक होने के कारण विभिन्न क्षेत्रों में मॉडल मूल्यांकन अविश्वसनीय होता जा रहा है । arXiv समीक्षा "Benchmarking AI Models in Software Engineering" खंडित ज्ञान, मानकीकरण की कमी और बुनियादी डिज़ाइन दोषों को उद्योग-व्यापी समस्या बताती है ।

इसका क्या मतलब है

OpenAI का लगातार दो बार पीछे हटना – पहले अपने ही बेंचमार्क को छोड़ना, फिर उसके विकल्प को भी नकारना – ने AI कोडिंग मूल्यांकन के परिदृश्य को एक भरोसेमंद नेता के बिना छोड़ दिया है। समुदाय तेज़ी से यह स्वीकार कर रहा है कि उच्च बेंचमार्क स्कोर अब विश्वसनीय रूप से यह भविष्यवाणी नहीं करते कि कोई AI कोडिंग एजेंट वास्तविक दुनिया के सॉफ्टवेयर इंजीनियरिंग कार्यों को संभाल सकता है या नहीं । मूल्यांकन के नए तरीकों – जैसे टास्क-विशिष्ट, प्रतिकूल, या लगातार अपडेट होने वाले बेंचमार्क – की सख्त ज़रूरत है, लेकिन वे अभी तक परिपक्व नहीं हुए हैं ।

फिलहाल, कोई भी व्यक्ति जो AI कोडिंग एजेंट का मूल्यांकन करना चाहता है, उसके पास भरोसा करने के लिए कोई एक मानक नहीं है। SWE-bench Verified और SWE-bench Pro का पतन सिर्फ़ दो खराब टेस्टों की कहानी नहीं है। यह एक ऐसे उद्योग की कहानी है जो मापने की अपनी क्षमता से कहीं ज़्यादा तेज़ी से निर्माण कर रहा था।

23 फरवरी 2026 को, OpenAI की Frontier Evals टीम ने इस बेंचमार्क को औपचारिक रूप से बंद कर दिया । इसके कारण बेहद स्पष्ट और चौंकाने वाले थे:

• खराब टेस्ट केस: उन 138 सबसे कठिन समस्याओं के आंतरिक ऑडिट में, जिन्हें o3 मॉडल हल नहीं कर सका (कुल का 27.6%), पाया गया कि कम से कम 59.4% में ऐसे टेस्ट थे जो कार्यात्मक रूप से सही पैच को भी रिजेक्ट कर रहे थे – यानी मॉडल को समस्या सही हल करने के बावजूद गलत ठहराया जा रहा था ।
• व्यापक संदूषण: हर फ्रंटियर मॉडल – GPT-5.2, Claude Opus 4.5, Gemini 3 Flash – कुछ टास्क पर मानव-लिखित 'गोल्ड पैच' को शब्दशः दोहरा सकता था। यह साफ़ संकेत था कि 500 टास्क वाला यह सेट ट्रेनिंग डेटा में लीक हो चुका था ।
• संतृप्ति: स्कोर 2024 में लगभग 60% (मानव बेसलाइन के) से बढ़कर 2025 में लगभग 100% हो गए थे, जिससे यह बेंचमार्क फ्रंटियर मॉडलों में अंतर करने के लिए बेकार हो गया । स्टैनफोर्ड AI इंडेक्स 2026 के अनुसार, "प्रदर्शन 2024 में लगभग 60% से बढ़कर 2025 में लगभग 100% हो गया" ।

OpenAI का निष्कर्ष बेहद स्पष्ट था: "SWE-bench Verified में सुधार अब मॉडलों की वास्तविक सॉफ्टवेयर डेवलपमेंट क्षमताओं में सार्थक सुधार को नहीं दर्शाते। वे तेज़ी से यह दर्शाते हैं कि ट्रेनिंग के समय मॉडल बेंचमार्क के कितने संपर्क में आया था" ।

OpenAI ने स्पष्ट रूप से SWE-bench Pro को विकल्प के रूप में सुझाया – यह एक बड़ा बेंचमार्क था जिसे Scale AI ने प्राइवेट और कॉपीलेफ्ट रिपॉजिटरी से बनाया था ।

चरण 2: SWE-bench Pro की सिफारिश वापस लेना (जुलाई 2026)

8 जुलाई 2026 को, OpenAI ने SWE-bench Pro के विस्तृत ऑडिट के नतीजे पेश किए – यह वही बेंचमार्क था जिसे उसने अभी-अभी अधिक मजबूत बताकर प्रमोट किया था। नतीजे विनाशकारी थे :

• लगभग 30% टास्क बुनियादी रूप से खराब हैं। OpenAI ने SWE-bench Pro के ऑडिट के लिए एक ऑटोमेटेड पाइपलाइन और मानव वर्गीकरण दोनों का इस्तेमाल किया। ऑटोमेटेड पाइपलाइन ने 27.4% टास्क को अमान्य बताया; मानव समीक्षकों ने 34.1% टास्क में समस्या पाई। OpenAI का अनुमान है कि SWE-bench Pro के लगभग 30% टास्क मूल्यांकन के लिए उपयुक्त नहीं हैं ।
• मूल कारण: रिपोर्ट में बताया गया कि GitHub के इश्यू और पुल रिक्वेस्ट मूल रूप से मानव सहयोग के लिए डिज़ाइन किए गए थे, न कि AI की क्षमता को अलग-थलग करके मापने वाले स्वतंत्र मूल्यांकन कार्यों के रूप में ।

इसने OpenAI को SWE-bench Pro की अपनी सिफारिश वापस लेने पर मजबूर कर दिया, जिससे पूरा उद्योग एक भरोसेमंद उत्तराधिकारी बेंचमार्क के बिना रह गया ।

AI कोडिंग मापन में एक व्यापक संकट

OpenAI का यह दो-कदमी पीछे हटना कोई अलग-थलग घटना नहीं है। यह AI क्षेत्र में कोडिंग क्षमता के मूल्यांकन में एक व्यवस्थित संकट का हिस्सा है:

• पारिस्थितिक वैधता का अंतर: स्टैनफोर्ड HAI, arXiv समीक्षाओं और स्वतंत्र समूहों के शोध से पता चलता है कि SWE-bench Verified पर 70-80% या उससे अधिक स्कोर करने वाले मॉडल वास्तविक दुनिया में कहीं कम विश्वसनीय होते हैं, खासकर जटिल, बहु-चरणीय या अस्पष्ट कार्यों पर । एक विश्लेषण इसे सीधे शब्दों में कहता है: "AI कोडिंग एजेंटों के मूल्यांकन के लिए मौजूदा बेंचमार्क एक बुनियादी पारिस्थितिक वैधता संकट से ग्रस्त हैं। जबकि मॉडल SWE-bench (70%+) और HumanEval (90%+) पर प्रभावशाली स्कोर हासिल करते हैं, ये मीट्रिक वास्तविक दुनिया की उपयोगिता की भविष्यवाणी करने में विफल रहते हैं" ।
• ट्रेन-टेस्ट लीकेज आम है: चूंकि SWE-bench पब्लिक GitHub डेटा पर आधारित है जो ट्रेनिंग कॉर्पोरा में मौजूद हो सकता है, बेंचमार्क स्कोर तेज़ी से तर्क के बजाय रटने (memorization) को दर्शाते हैं । स्टैनफोर्ड AI इंडेक्स 2026 SWE-bench Verified पर सुधार की गति को वास्तविक क्षमता वृद्धि के बजाय संदूषण का संकेत बताता है ।
• व्यापक मापन संकट: स्टैनफोर्ड AI इंडेक्स 2026 ने चेतावनी दी है कि AI क्षेत्र "जितना हम माप सकते हैं उससे कहीं ज़्यादा तेज़ी से निर्माण कर रहा है" और बेंचमार्क के संतृप्त होने और लीक होने के कारण विभिन्न क्षेत्रों में मॉडल मूल्यांकन अविश्वसनीय होता जा रहा है । arXiv समीक्षा "Benchmarking AI Models in Software Engineering" खंडित ज्ञान, मानकीकरण की कमी और बुनियादी डिज़ाइन दोषों को उद्योग-व्यापी समस्या बताती है ।

इसका क्या मतलब है

OpenAI का लगातार दो बार पीछे हटना – पहले अपने ही बेंचमार्क को छोड़ना, फिर उसके विकल्प को भी नकारना – ने AI कोडिंग मूल्यांकन के परिदृश्य को एक भरोसेमंद नेता के बिना छोड़ दिया है। समुदाय तेज़ी से यह स्वीकार कर रहा है कि उच्च बेंचमार्क स्कोर अब विश्वसनीय रूप से यह भविष्यवाणी नहीं करते कि कोई AI कोडिंग एजेंट वास्तविक दुनिया के सॉफ्टवेयर इंजीनियरिंग कार्यों को संभाल सकता है या नहीं । मूल्यांकन के नए तरीकों – जैसे टास्क-विशिष्ट, प्रतिकूल, या लगातार अपडेट होने वाले बेंचमार्क – की सख्त ज़रूरत है, लेकिन वे अभी तक परिपक्व नहीं हुए हैं ।

फिलहाल, कोई भी व्यक्ति जो AI कोडिंग एजेंट का मूल्यांकन करना चाहता है, उसके पास भरोसा करने के लिए कोई एक मानक नहीं है। SWE-bench Verified और SWE-bench Pro का पतन सिर्फ़ दो खराब टेस्टों की कहानी नहीं है। यह एक ऐसे उद्योग की कहानी है जो मापने की अपनी क्षमता से कहीं ज़्यादा तेज़ी से निर्माण कर रहा था।