OpenAI Tinggalkan Kedua-dua Penanda Aras Pengekodan: Keruntuhan SWE-bench Dijelaskan

Dalam masa tujuh bulan sahaja, OpenAI telah keluar dari kedua-dua penanda aras pengekodan yang pernah menjadi juaranya. Pertama, persaraan SWE-bench Verified pada Februari 2026, penanda aras yang dicipta bersama oleh OpenAI dan telah menjadi standard industri. Kemudian, pada Julai 2026, OpenAI menarik balik cadangannya sendiri untuk pengganti yang dimaksudkan, SWE-bench Pro. Pengunduran berturut-turut ini adalah lebih daripada masalah logistik untuk penilai model — ia adalah isyarat bahawa cara industri AI mengukur keupayaan pengekodan pada asasnya rosak.

Fasa 1: Pengabaian SWE-bench Verified (Februari 2026)

SWE-bench Verified dilancarkan pada Ogos 2024 sebagai subset yang disahkan manusia daripada SWE-bench asal Princeton, merangkumi 500 tugas Python yang diambil daripada isu GitHub sebenar . Selama kira-kira 18 bulan, ia berfungsi sebagai kayu ukur utama untuk sejauh mana ejen pengekodan AI boleh menyelesaikan masalah perisian dunia sebenar .

Pada 23 Februari 2026, pasukan Frontier Evals OpenAI secara rasmi menamatkan penanda aras itu . Sebabnya adalah jelas:

• Kes ujian yang cacat. Audit dalaman terhadap 138 masalah paling sukar yang gagal oleh model o3 (subset 27.6%) mendapati bahawa sekurang-kurangnya 59.4% mempunyai ujian yang menolak tampung yang berfungsi dengan betul — bermakna model ditandakan salah kerana menyelesaikan masalah dengan betul .
• Pencemaran meluas. Setiap model sempadan yang diuji — GPT-5.2, Claude Opus 4.5, Gemini 3 Flash — boleh menghasilkan semula 'tampung emas' yang ditulis manusia secara verbatim pada beberapa tugas, tanda jelas bahawa set 500 tugas telah bocor ke dalam data latihan .
• Ketepuan. Skor telah meningkat daripada kira-kira 60% daripada garis dasar manusia pada 2024 kepada hampir 100% dalam satu tahun, menjadikan penanda aras itu tidak berguna untuk membezakan model sempadan . Menurut Indeks AI Stanford 2026, 'prestasi meningkat daripada kira-kira 60% pada 2024 kepada hampir 100% pada 2025' .

Kesimpulan OpenAI tidak boleh disangkal: 'Penambahbaikan pada SWE-bench Verified tidak lagi mencerminkan penambahbaikan yang bermakna dalam keupayaan pembangunan perisian dunia sebenar model. Ia semakin mencerminkan sejauh mana model itu terdedah kepada penanda aras pada masa latihan' .

OpenAI secara jelas mengesyorkan SWE-bench Pro — penanda aras yang lebih besar dibina oleh Scale AI daripada repositori persendirian dan copyleft — sebagai pengganti .

Fasa 2: Penarikan balik cadangan SWE-bench Pro (Julai 2026)

Pada 8 Julai 2026, OpenAI melaporkan hasil audit terperinci SWE-bench Pro — penanda aras yang baru sahaja dipromosikan sebagai lebih mantap. Penemuan itu memusnahkan :

• ~30% tugas pada asasnya rosak. OpenAI menggunakan kedua-dua saluran paip automatik dan klasifikasi manusia untuk mengaudit SWE-bench Pro. Saluran paip automatik menandakan 27.4% tugas sebagai tidak sah; pengulas manusia menandakan 34.1%. OpenAI menganggarkan kira-kira 30% tugas SWE-bench Pro tidak boleh digunakan sebagai item penilaian .
• Punca utama. Laporan itu menyatakan bahawa isu GitHub dan permintaan tarik direka untuk kerjasama manusia, bukan sebagai tugas penilaian bebas yang bersih yang boleh mengukur keupayaan AI secara berasingan .

Ini memaksa OpenAI menarik balik cadangannya untuk SWE-bench Pro, meninggalkan industri tanpa penanda aras pengganti yang dipercayai .

Krisis yang lebih luas dalam pengukuran pengekodan AI

Pengunduran dua langkah OpenAI bukanlah kemalangan terpencil. Ia adalah sebahagian daripada krisis sistemik dalam cara bidang AI menilai keupayaan pengekodan:

• Jurang kesahan ekologi. Penyelidik dari Stanford HAI, ulasan arXiv, dan kumpulan bebas mendokumenkan jurang asas: model yang mendapat skor 70–80% atau lebih tinggi pada SWE-bench Verified menunjukkan kebolehpercayaan dunia sebenar yang jauh lebih rendah, terutamanya pada tugas yang kompleks, pelbagai langkah atau kabur . Satu analisis meletakkannya secara terus terang: 'Penanda aras semasa untuk menilai ejen pengekodan AI mengalami krisis kesahan ekologi yang asas. Walaupun model mencapai skor yang mengagumkan pada SWE-bench (70%+) dan HumanEval (90%+), metrik ini gagal meramalkan kegunaan dunia sebenar' .
• Kebocoran latihan-ujian adalah endemik. Kerana SWE-bench diambil daripada data GitHub awam yang mungkin muncul dalam korpora latihan, skor penanda aras semakin mencerminkan hafalan dan bukannya penaakulan . Indeks AI Stanford 2026 menggambarkan kadar peningkatan pada SWE-bench Verified sebagai isyarat pencemaran, bukan pertumbuhan keupayaan tulen .
• Krisis pengukuran yang lebih luas. Indeks AI Stanford 2026 memberi amaran bahawa bidang AI 'membangun lebih pantas daripada yang boleh diukur,' dengan penilaian model merentas domain menjadi tidak boleh dipercayai apabila penanda aras tepu dan bocor . Ulasan arXiv 'Penanda Aras Model AI dalam Kejuruteraan Perisian' menunjuk kepada pengetahuan yang berpecah-belah, kekurangan penyeragaman, dan kelemahan reka bentuk asas sebagai isu seluruh industri .

Apa maksudnya

Pengunduran berturut-turut OpenAI — pertama meninggalkan penanda arasnya sendiri, kemudian menolak penggantinya — telah meninggalkan landskap penilaian pengekodan AI tanpa pemimpin yang dipercayai. Komuniti semakin mengakui bahawa skor penanda aras tinggi tidak lagi boleh meramalkan dengan pasti sama ada ejen pengekodan AI boleh mengendalikan tugas kejuruteraan perisian dunia sebenar . Metodologi penilaian baharu — seperti penanda aras khusus tugas, lawan atau dikemas kini secara berterusan — amat diperlukan tetapi belum matang .

Buat masa ini, sesiapa yang cuba menilai ejen pengekodan AI tidak mempunyai satu standard yang boleh dipercayai. Keruntuhan SWE-bench Verified dan SWE-bench Pro bukan sekadar cerita tentang dua ujian yang cacat. Ia adalah cerita tentang industri yang membina lebih pantas daripada yang boleh diukur.