AnswersPublished18 sources
VeriLoop Coder-E1’in Skorlarının Ardında Kapalı Self-Harness Var
VeriLoop Coder E1 için SWE bench Verified’da 85,20; SWE bench Pro’da 62,38; Terminal Bench 2.0’da 76,40 ve DeepSWE’de 33,63 skorları raporlandı. Kamuya açık sürüm Qwen3.6 27B tabanlı kod modelini ve yetenek odaklı PEFT bileşenlerini içeriyor.
YayımlayanGPT-5.6 Terra ile düzenlendiGörseller GPT Image 2 ile oluşturuldu
Research answer
Key takeaways
- VeriLoop Coder E1 için SWE bench Verified’da 85,20; SWE bench Pro’da 62,38; Terminal Bench 2.0’da 76,40 ve DeepSWE’de 33,63 skorları raporlandı.
- Kamuya açık sürüm Qwen3.6 27B tabanlı kod modelini ve yetenek odaklı PEFT bileşenlerini içeriyor.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Tsinghua Shenzhen International Graduate School Intelligent Robotics Laboratory’s open-source VeriLoop Coder-E1—built on Qwen3.6-27B. Article summary: VeriLoop Coder-E1’s headline scores appear to be results of a complete prototype agent system—not of the downloadable 27B checkpoint alone. The reported gains come from pairing narrow-domain PEFT behavior modules with a . Topic tags: general, education, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, water
VeriLoop Coder-E1’i yalnızca indirilebilir bir model olarak değil, daha geniş bir depo düzeyi kod onarım aracısının model katmanı olarak değerlendirmek gerekiyor. Tsinghua Shenzhen International Graduate School ekibi; SWE-bench Verified’da 85,20, SWE-bench Pro’da 62,38, Terminal-Bench 2.0’da 76,40 ve DeepSWE’de 33,63 sonuç bildirdi. Ancak bu sayılar, üretimdeki Self-Harness’ın da dahil olduğu, kanıt odaklı VeriLoop düzeni için açıklanan sonuçlar; bu Harness açık kaynak değil. 1
21
Temel ayrım: Model ağırlıkları ve değerlendirilen sistem
Herkese açık model, Qwen3.6-27B tabanlı ve 27 milyar parametreli bir kod modeli. Depo anlayışı, kod üzerinde akıl yürütme ve mühendislik çıktıları üretme amaçlarıyla tasarlanmış; Hugging Face sayfasında Apache-2.0 lisanslı, yazılım mühendisliğine odaklı açık kaynaklı bir dikey model olarak tanımlanıyor. 5
21
Buna karşılık projenin belgeleri, Self-Harness katmanını yürütmeyi yöneten altyapı olarak tarif ediyor. Bu katman, modelin ürettiği yanıtları sınırları belirlenmiş ve kanıta dayalı bir mühendislik döngüsüne dönüştürüyor. Kamuya sunulan Evidence Binding adaptörü de açıkça, VeriLoop Harness altında çalışmak üzere tasarlandığını; tam çalışma zamanı, doğrulayıcı, kanıt, geri alma, sandbox ve gözlemlenebilirlik altyapısının tek başına yerine geçmediğini belirtiyor. 21
23
Dolayısıyla yayımlanan kontrol noktasını tek başına yüklemek, bildirilen benchmark sonuçlarının yeniden üretileceği anlamına gelmiyor. Elde bulunan materyallerin desteklediği daha dar yorum şu: Açıklanan performans, model ile onu yöneten Harness iş akışının birleşiminden geliyor. Açık ağırlıklarla bağımsız tekrar üretim ise sağlanan kaynaklarda gösterilmiş değil.
Dar alanlı PEFT ne sağlıyor?
VeriLoop, bir onarım görevi sürerken temel modeli sürekli güncellemek yerine, sabit bir Qwen tabanını çıkarılıp takılabilir, yeteneğe özgü PEFT katmanlarıyla eşleştiriyor. Açık belgelerde dört alan sıralanıyor: ToolSpec, Uncertainty, Rollback ve Evidence Binding. 5
20
24
Bu adaptörlerin amaçlanan işlevleri şöyle özetlenebilir:
- Araç sözleşmeleri: Kullanılabilir araç eylemlerini, girdileri, kısıtları ve kabul koşullarını ifade etmek.
- Belirsizlik yönetimi: Geçici teşhisleri doğrulanmış bulgulardan ayırmak.
- Kanıt bağlama: İddiaları çalıştırma kayıtlarıyla ilişkilendirmek; açık bir hüküm ve sınırlı bir sonraki adım üretmek.
- Geri alma farkındalığı: Doğrulanmamış bir yamayı deponun yeni gerçeği gibi kabul etmemek.
20
Bu, genel modelin her görevde yeniden eğitilmesinden ziyade uzmanlaşma yaklaşımıdır. Yayımlanan içerikler, bu yeteneklerin varlığını ve hedeflenen rolünü gösteriyor; ancak eğitim verisi veya adaptör uygulamasındaki her seçimi dışarıdan denetlemeye yetecek ayrıntıyı sunmuyor. 20
24
Kanıt Odaklı Spiral nasıl işliyor?
Sistemin ana fikri, kod onarımını modele tekrar tekrar yeni yama denetmek yerine; sınırları, testleri ve doğrulama koşulları belirlenmiş iş paketlerine ayırmak. Proje ile Tsinghua’nın açıklamasına göre her üretilen değişiklik test ediliyor; başarısızlıklar analiz edilerek sonraki onarım turunu yönlendiriyor. 1
3
21
İşleyiş pratikte şu şekilde okunabilir:
- Görev paketi oluşturulur. Harness; hata kaydı, depo bağlamı, arayüz kısıtları ve kabul koşullarını yapılandırılmış bir çalışma paketinde bir araya getirir.
3
- Sınırlandırılmış aday üretilir ve çalıştırılır. Model bir çıktı ya da yama önerir; ardından ilgili depo araçları ve testler çalıştırılır.
1
- Karşı kanıt düzeltici kabul edilir. Test hataları, tanı çıktıları, araç kayıtları ve arayüz çakışmaları; rastgele bir yeniden deneme tetikleyicisi değil, mevcut teşhise veya yamaya karşı kanıt sayılır.
- Bir sonraki paket yeniden derlenir. Yeni tur; önceki çıktı, hatalar, kayıtlar, karşı kanıt ve eklenen kısıtlarla hazırlanır.
- Yerel onarım ve doğrulama yapılır. Sistem, soruna doğrudan bağlı alana odaklanır; değişikliği test eder ve kabul ya da ret kararını doğrulama ile regresyon koşullarına göre verir.
- Koruma veya geri alma uygulanır. Geçerli kontrollerden geçemeyen aday, ilerleme kabul edilmek yerine düzeltilir ya da terk edilir.
DeepSWE için yayımlanan değerlendirme kaydı, 113 görevde 38 başarılı geçiş bildiriyor. Başarısız her sonuç başarısız sayıldığında oran %33,6283 oluyor; bu da açıklanan 33,63 puanla uyumlu. Bununla birlikte kaydın kendisi sonucu ekip tarafından yayımlanmış olarak etiketliyor. 17
Ekip buna neden “özyinelemeli öz-iyileştirme” diyor?
VeriLoop’un öne sürdüğü ayrım, aracının yalnızca birden fazla yama üretebilmesi değil. Ekibin yaklaşımında kanıt, ancak sistemin ileride nasıl araştıracağı, hüküm vereceği ve hatayı düzelteceği üzerinde değişiklik yaratıyorsa anlamlıdır; önceden seçilmiş bir sonucu süsleyen ek bilgi olması yeterli değildir. 1
Bu, üç ayrı standardı ortaya çıkarıyor:
- Deneme-yanılma: Bir yama başarısız olur, sistem başka bir aday üretir.
- Doğrulama başarısı: Bir aday, seçilmiş kontrollerden geçer.
- Kanıtla yönetilen iyileştirme: Karşı kanıt; görev çerçevesini, tanı odağını, kabul edilebilir kanıtı, onarım kısıtını veya doğrulama kapısını değiştirir. Ancak bu güncellenen yöntem de yeni kanıtlarla yeniden sorgulanabilir.
Bu yaklaşım, mühendislikte yanlışlamaya dayalı bakışla uyumlu: Bir test mevcut hipotezi çürütebilmeli; testin geçilmesi ise yalnızca belirli kontroller altında adayın lehine bir kanıt sayılmalı, evrensel ispat kabul edilmemeli. Pratikte kritik olan; gözlemi sonuçtan ayırmak, doğrulanmış olanı korumak ve başarısız hipotezlerin bir sonraki denemeyi kısıtlamasını sağlamaktır. 1
20
21
Bununla birlikte, yöntemdeki değişikliklerin farklı depolara geniş ölçekte genellendiği ya da sistemin genel anlamda otonom özyinelemeli öz-iyileştirmeye ulaştığı yönündeki daha güçlü iddia, sunulan kamuya açık bilgilerle kanıtlanmış değil.
Model açıkken Harness neden kapalı?
Proje, yeniden kullanılabilir model arka ucunu; onu koordine eden denetim katmanından ayırıyor. Model ve yayımlanan PEFT bileşenleri, depo analizi ve mühendislik çıktısı üretimi üzerine denemeler için kullanılabilir. Açık olmayan üretim Harness’ı ise görev paketlerini derleyen, görev ve sürümlenmiş durumu tutan, kanıtı yönlendiren, aşamaları planlayan, doğrulama uygulayan ve geri almayı yöneten orkestrasyonu içeriyor. 3
21
23
Bu sınırın tekrar üretilebilirlik açısından önemli bir sonucu var: Modeli yayımlamak, değerlendirilen aracın tamamını yayımlamakla aynı şey değil. Projenin iddiasını daha isabetli okumak gerekirse: Coder-E1 uzmanlaşmış kod modelidir; Self-Harness ise modelin nasıl kullanılacağını yöneten yürütme sistemidir. Bu denetim katmanı erişilebilir hâle gelene veya bağımsız biçimde yeniden kurulana kadar, benchmark sonuçları açık kontrol noktasının tek başına içkin bir özelliği olarak değil, sistem düzeyinde sonuçlar olarak değerlendirilmelidir. 1
21
23
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "VeriLoop Coder-E1’in Skorlarının Ardında Kapalı Self-Harness Var"?
VeriLoop Coder E1 için SWE bench Verified’da 85,20; SWE bench Pro’da 62,38; Terminal Bench 2.0’da 76,40 ve DeepSWE’de 33,63 skorları raporlandı.
What are the key points to validate first?
VeriLoop Coder E1 için SWE bench Verified’da 85,20; SWE bench Pro’da 62,38; Terminal Bench 2.0’da 76,40 ve DeepSWE’de 33,63 skorları raporlandı. Kamuya açık sürüm Qwen3.6 27B tabanlı kod modelini ve yetenek odaklı PEFT bileşenlerini içeriyor.