OpenAI, Kodlama Kıyaslamalarının İkisini de Terk Etti: SWE-bench Çöküşü

OpenAI'in vardığı sonuç nettir: "SWE-bench Verified'daki iyileştirmeler, modellerin gerçek dünya yazılım geliştirme yeteneklerindeki anlamlı gelişmeleri artık yansıtmamaktadır. Bu iyileştirmeler, giderek modelin eğitim sırasında kıyaslamaya ne kadar maruz kaldığını yansıtmaktadır" .

OpenAI, halef olarak Scale AI tarafından özel ve copyleft depolar kullanılarak oluşturulan daha büyük bir kıyaslama olan SWE-bench Pro'yu açıkça önerdi .

2. Aşama: SWE-bench Pro Tavsiyesinin Geri Çekilmesi (Temmuz 2026)

8 Temmuz 2026'da OpenAI, az önce 'daha sağlam' olarak tanıttığı SWE-bench Pro'nun ayrıntılı bir denetiminin sonuçlarını yayınladı. Bulgular yıkıcıydı :

• Görevlerin ~%30'u temelden bozuk. OpenAI, SWE-bench Pro'yu denetlemek için hem otomatik bir sistem hem de insan sınıflandırması kullandı. Otomatik sistem, görevlerin %27,4'ünü geçersiz olarak işaretlerken; insan denetçiler %34,1'inin sorunlu olduğunu belirledi. OpenAI, SWE-bench Pro görevlerinin yaklaşık %30'unun değerlendirme öğesi olarak kullanılamaz durumda olduğunu tahmin ediyor .
• Temel neden. Raporda, GitHub sorunları ve çekme taleplerinin, insanların birlikte çalışması için tasarlandığı; yapay zeka yeteneğini izole bir şekilde güvenilir bir şekilde ölçebilecek temiz, bağımsız değerlendirme görevleri olarak oluşturulmadığı belirtildi .

Bu durum, OpenAI'i SWE-bench Pro tavsiyesini geri çekmeye zorladı ve sektörü güvenilen bir halef kıyaslama olmadan bıraktı .

Yapay Zeka Kodlama Ölçümünde Daha Büyük Bir Kriz

OpenAI'in iki aşamalı geri çekilmesi, izole bir olay değil. Yapay zeka alanının kodlama yeteneğini nasıl değerlendirdiğine dair sistemik bir krizin parçası:

• Ekolojik geçerlilik uçurumu. Stanford HAI, arXiv incelemeleri ve bağımsız araştırmacılar temel bir kopukluk olduğunu belgeliyor: SWE-bench Verified'da %70-80 veya daha yüksek puan alan modeller, özellikle karmaşık, çok adımlı veya belirsiz görevlerde gerçek dünyada çok daha düşük güvenilirlik gösteriyor . Bir analiz, "Mevcut kıyaslamalar temel bir ekolojik geçerlilik krizi yaşıyor. Modeller SWE-bench'ta %70+ ve HumanEval'de %90+ etkileyici puanlar alsa da, bu metrikler gerçek dünya kullanışlılığını tahmin etmekte başarısız oluyor" diyor .
• Eğitim-test sızıntısı yaygın. SWE-bench, eğitim külliyatında yer alabilecek halka açık GitHub verilerinden beslendiği için, kıyaslama puanları giderek akıl yürütmeden çok ezberlemeyi yansıtıyor . Stanford AI Index 2026, SWE-bench Verified'daki iyileşme hızını, gerçek bir yetenek artışından ziyade kirlenmenin bir işareti olarak tanımlıyor .
• Daha geniş ölçüm krizi. Stanford AI Index 2026, yapay zeka alanının 'ölçebileceğinden daha hızlı inşa ettiği' konusunda uyarıyor. Kıyaslamalar doygunluğa ulaşıp sızdıkça, alanlardaki model değerlendirmeleri güvenilmez hale geliyor . 'Yazılım Mühendisliğinde Yapay Zeka Modellerini Kıyaslamak' başlıklı arXiv incelemesi, parçalanmış bilgi, standardizasyon eksikliği ve temel tasarım kusurlarını sektör genelindeki sorunlar olarak işaret ediyor .

Bunun Anlamı

OpenAI'in art arda yaşanan geri çekilmeleri, yapay zeka kodlama değerlendirme ortamını güvenilen bir liderden mahrum bıraktı. Topluluk, yüksek kıyaslama puanlarının artık bir yapay zeka kodlama ajanının gerçek dünya yazılım mühendisliği görevlerini yerine getirip getiremeyeceğini güvenilir bir şekilde tahmin etmediğini giderek daha fazla kabul ediyor . Göreve özgü, çekişmeli veya sürekli güncellenen kıyaslamalar gibi yeni değerlendirme metodolojilerine acilen ihtiyaç duyuluyor ancak bunlar henüz olgunlaşmış değil .

Şimdilik, bir yapay zeka kodlama ajanını değerlendirmeye çalışan herkesin güvenebileceği tek bir standart yok. SWE-bench Verified ve SWE-bench Pro'nun çöküşü, yalnızca iki hatalı testin hikayesi değil. Ölçebileceğinden daha hızlı inşa eden bir endüstrinin hikayesidir.