OpenAI Tinggalkan Kedua Tolok Ukur Coding-nya: Keruntuhan SWE-bench Dijelaskan

Kesimpulan OpenAI tidak ambigu: "Perbaikan pada SWE-bench Verified tidak lagi mencerminkan peningkatan berarti dalam kemampuan pengembangan perangkat lunak model di dunia nyata. Perbaikan itu semakin mencerminkan seberapa banyak model terpapar pada tolok ukur saat pelatihan" .

OpenAI secara eksplisit merekomendasikan SWE-bench Pro — tolok ukur yang lebih besar yang dibangun oleh Scale AI dari repositori privat dan copyleft — sebagai penggantinya .

Fase 2: Pencabutan rekomendasi SWE-bench Pro (Juli 2026)

Pada 8 Juli 2026, OpenAI melaporkan hasil audit detail terhadap SWE-bench Pro — tolok ukur yang baru saja dipromosikannya sebagai yang lebih kokoh. Temuannya sangat menghancurkan :

• ~30% tugas secara fundamental rusak. OpenAI menggunakan pipeline otomatis dan klasifikasi manusia untuk mengaudit SWE-bench Pro. Pipeline otomatis menandai 27,4% tugas sebagai tidak valid; pengulas manusia menandai 34,1%. OpenAI memperkirakan secara kasar 30% tugas SWE-bench Pro tidak layak sebagai item evaluasi .
• Akar masalah. Laporan tersebut mencatat bahwa isu GitHub dan pull request dirancang untuk kolaborasi manusia, bukan sebagai tugas evaluasi independen yang bersih yang dapat mengukur kemampuan AI secara terisolasi .

Ini memaksa OpenAI untuk mencabut rekomendasinya atas SWE-bench Pro, meninggalkan industri tanpa tolok ukur penerus yang tepercaya .

Krisis yang lebih luas dalam pengukuran coding AI

Kemunduran dua langkah OpenAI bukanlah insiden terisolasi. Ini adalah bagian dari krisis sistemik dalam cara bidang AI mengevaluasi kemampuan coding:

• Kesenjangan validitas ekologis. Peneliti dari Stanford HAI, tinjauan arXiv, dan grup independen mendokumentasikan kesenjangan mendasar: model dengan skor 70–80% atau lebih tinggi pada SWE-bench Verified menunjukkan keandalan dunia nyata yang jauh lebih rendah, terutama pada tugas yang kompleks, multi-langkah, atau ambigu . Salah satu analisis menyatakannya dengan blak-blakan: "Tolok ukur saat ini untuk mengevaluasi agen coding AI menderita krisis validitas ekologis yang fundamental. Sementara model mencapai skor mengesankan pada SWE-bench (70%+) dan HumanEval (90%+), metrik ini gagal memprediksi utilitas di dunia nyata" .
• Kebocoran data latih-uji sudah endemik. Karena SWE-bench mengambil data dari GitHub publik yang mungkin muncul dalam korpora pelatihan, skor tolok ukur semakin mencerminkan hafalan, bukan penalaran . Stanford AI Index 2026 menggambarkan kecepatan peningkatan pada SWE-bench Verified sebagai sinyal kontaminasi, bukan pertumbuhan kapabilitas sejati .
• Krisis pengukuran yang lebih luas. Stanford AI Index 2026 memperingatkan bahwa bidang AI "membangun lebih cepat daripada yang bisa kita ukur," dengan evaluasi model di berbagai domain menjadi tidak dapat diandalkan karena tolok ukur jenuh dan bocor . Tinjauan arXiv "Benchmarking AI Models in Software Engineering" menunjuk pada pengetahuan yang terfragmentasi, kurangnya standarisasi, dan cacat desain fundamental sebagai isu di seluruh industri .

Apa artinya ini

Kemunduran berturut-turut OpenAI — pertama meninggalkan tolok ukurnya sendiri, lalu mencabut rekomendasi penggantinya — telah meninggalkan lanskap evaluasi coding AI tanpa pemimpin yang tepercaya. Komunitas semakin menyadari bahwa skor tolok ukur tinggi tidak lagi dapat diandalkan untuk memprediksi apakah agen coding AI dapat menangani tugas rekayasa perangkat lunak di dunia nyata . Metodologi evaluasi baru — seperti tolok ukur yang spesifik tugas, adversarial, atau yang terus diperbarui — sangat dibutuhkan tetapi belum matang .

Untuk saat ini, siapa pun yang mencoba mengevaluasi agen coding AI tidak memiliki standar tunggal yang bisa dipercaya. Keruntuhan SWE-bench Verified dan SWE-bench Pro bukan sekadar cerita tentang dua tes yang cacat. Ini adalah cerita tentang industri yang membangun lebih cepat daripada yang bisa diukurnya.