انهيار معايير تقييم البرمجة بالذكاء الاصطناعي: قصة SWE-bench Verified و SWE-bench Pro

وكان استنتاج OpenAI لا لبس فيه: "التحسينات في SWE-bench Verified لم تعد تعكس تحسينات ذات معنى في قدرات تطوير البرمجيات الحقيقية للنماذج. إنها تعكس بشكل متزايد مدى تعرّض النموذج للمعيار أثناء التدريب" .

أوصت OpenAI صراحةً باستخدام SWE-bench Pro — وهو معيار أكبر بنته شركة Scale AI من مستودعات خاصة ومستودعات ذات تراخيص مفتوحة — كبديل .

المرحلة الثانية: سحب التوصية بـ SWE-bench Pro (يوليو 2026)

في 8 يوليو 2026، نشرت OpenAI نتائج تدقيق مفصل لمعيار SWE-bench Pro — وهو نفس المعيار الذي أوصت به للتو على أنه أكثر متانة. كانت النتائج كارثية :

• حوالي 30% من المهام معطوبة جوهريًا. استخدمت OpenAI خط أنابيب آليًا وتصنيفًا بشريًا لتدقيق SWE-bench Pro. قام الخط الآلي بتصنيف 27.4% من المهام على أنها غير صالحة؛ المصنفون البشريون صنفوا 34.1%. تقدر OpenAI أن حوالي 30% من مهام SWE-bench Pro غير قابلة للتقييم السليم .
• السبب الجذري. أشار التقرير إلى أن مشكلات GitHub وطلبات السحب (Pull Requests) صُممت أصلاً للتعاون البشري، وليس كمهام تقييم مستقلة ونظيفة يمكنها قياس قدرة الذكاء الاصطناعي بمعزل عن السياق البشري .

أجبر هذا الأمر OpenAI على سحب توصيتها باستخدام SWE-bench Pro، تاركة الصناعة بدون معيار خلف موثوق .

أزمة أوسع في قياس قدرات البرمجة بالذكاء الاصطناعي

التراجع المزدوج من OpenAI ليس مجرد خطأ منعزل. بل هو جزء من أزمة منهجية في كيفية تقييم مجال الذكاء الاصطناعي لقدرات البرمجة:

• فجوة الصدق البيئي. يوثق باحثون من Stanford HAI ومراجعات arXiv ومجموعات مستقلة وجود انفصال جوهري: النماذج التي تحقق درجات 70-80% أو أعلى على SWE-bench Verified تظهر موثوقية أقل بكثير في العالم الحقيقي، خاصة في المهام المعقدة متعددة الخطوات أو الغامضة . أحد التحليلات يصف الأمر بصراحة: "تعاني المعايير الحالية لتقييم وكلاء البرمجة بالذكاء الاصطناعي من أزمة صدق بيئي أساسية. بينما تحقق النماذج درجات مبهرة على SWE-bench (70%+) و HumanEval (90%+)، تفشل هذه المقاييس في توقع الفائدة في العالم الحقيقي" .
• تسرب بيانات التدريب-الاختبار متوطن. نظرًا لأن SWE-bench يعتمد على بيانات GitHub العامة التي قد تظهر في مجموعات التدريب، فإن درجات المعايير تعكس بشكل متزايد الحفظ وليس التفكير . يصف مؤشر ستانفورد للذكاء الاصطناعي 2026 سرعة التحسن على SWE-bench Verified بأنها إشارة على تلوث، وليس نموًا حقيقيًا للقدرات .
• أزمة قياس أوسع. يحذر مؤشر ستانفورد للذكاء الاصطناعي 2026 من أن مجال الذكاء الاصطناعي "يبني أسرع مما يمكننا قياسه"، وأن تقييمات النماذج عبر المجالات أصبحت غير موثوقة مع تشبع المعايير وتسربها . تشير مراجعة arXiv بعنوان "قياس أداء نماذج الذكاء الاصطناعي في هندسة البرمجيات" إلى المعرفة المجزأة، ونقص التوحيد القياسي، والعيوب التصميمية الأساسية كمشاكل على مستوى الصناعة .

ماذا يعني هذا

إن تراجع OpenAI المزدوج — أولاً التخلي عن معياره الخاص، ثم نفي المعيار البديل — قد ترك مشهد تقييم البرمجة بالذكاء الاصطناعي بدون قائد موثوق. يدرك المجتمع بشكل متزايد أن درجات المعايير العالية لم تعد تتنبأ بشكل موثوق بقدرة وكيل البرمجة على التعامل مع مهام هندسة البرمجيات في العالم الحقيقي . هناك حاجة ماسة لمنهجيات تقييم جديدة — مثل المهام المحددة والسياقية أو المعايير المحدثة باستمرار — لكنها لم تنضج بعد .

في الوقت الحالي، أي شخص يحاول تقييم وكيل برمجة بالذكاء الاصطناعي ليس لديه معيار واحد يمكنه الوثوق به. انهيار SWE-bench Verified و SWE-bench Pro ليس مجرد قصة عن اختبارين معيبين. إنها قصة عن صناعة بنت أسرع مما يمكنها القياس.