JawabanDipublikasikan18 sumber
Mengapa skor code repair VeriLoop Coder-E1 bergantung pada Self-Harness yang tertutup
VeriLoop Coder E1 melaporkan skor 85,20 di SWE bench Verified, 62,38 di SWE bench Pro, 76,40 di Terminal Bench 2.0, dan 33,63 di DeepSWE. Rilis publik mencakup model berbasis Qwen3.6 27B dan artefak PEFT khusus kapabilitas.
Diterbitkan olehDiedit dengan GPT-5.6 TerraGambar dibuat dengan GPT Image 2
Jawaban penelitian
Poin-poin penting
- VeriLoop Coder E1 melaporkan skor 85,20 di SWE bench Verified, 62,38 di SWE bench Pro, 76,40 di Terminal Bench 2.0, dan 33,63 di DeepSWE.
- Rilis publik mencakup model berbasis Qwen3.6 27B dan artefak PEFT khusus kapabilitas.
AI Perintah
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Tsinghua Shenzhen International Graduate School Intelligent Robotics Laboratory’s open-source VeriLoop Coder-E1—built on Qwen3.6-27B. Article summary: VeriLoop Coder-E1’s headline scores appear to be results of a complete prototype agent system—not of the downloadable 27B checkpoint alone. The reported gains come from pairing narrow-domain PEFT behavior modules with a . Topic tags: general, education, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, water
VeriLoop Coder-E1 lebih tepat dipahami sebagai lapisan model dalam agen perbaikan repositori yang lebih besar. Tim dari Tsinghua Shenzhen International Graduate School melaporkan skor 85,20 pada SWE-bench Verified, 62,38 pada SWE-bench Pro, 76,40 pada Terminal-Bench 2.0, dan 33,63 pada DeepSWE. Namun, angka tersebut dicatat untuk konfigurasi VeriLoop yang dikendalikan bukti, sementara Self-Harness produksi mereka tidak bersifat open source. 1
21
Pembeda penting: bobot model dan sistem yang diuji
Model publiknya adalah model pemrograman berparameter 27 miliar berbasis Qwen3.6-27B, yang ditujukan untuk penalaran kode, pemahaman repositori, dan pembuatan artefak. Materi di Hugging Face menyebutnya sebagai model vertikal untuk rekayasa perangkat lunak yang dirilis dengan lisensi Apache-2.0. 5
21
Akan tetapi, dokumentasi proyek menjelaskan Self-Harness sebagai substrat eksekusi yang mengatur sistem: lapisan yang mengubah keluaran model menjadi proses rekayasa perangkat lunak yang dibatasi dan didorong oleh bukti. Adapter Evidence Binding yang tersedia untuk publik juga menegaskan bahwa adapter tersebut dirancang untuk berjalan di bawah VeriLoop Harness; ia bukan pengganti mandiri untuk runtime penuh, validator, sistem bukti, rollback, sandbox, dan observabilitas. 21
23
Artinya, skor tersebut tidak seharusnya dibaca sebagai bukti bahwa mengunduh lalu memuat checkpoint publik saja akan menghasilkan angka benchmark yang sama. Berdasarkan materi yang tersedia, kesimpulan yang lebih terbatas adalah bahwa performa yang dilaporkan berasal dari model beserta alur kerja yang diharness. Reproduksi independen dari bobot publik belum ditetapkan oleh sumber-sumber yang diberikan.
Peran PEFT berfokus sempit
Alih-alih terus memperbarui model dasar selama tugas perbaikan berlangsung, VeriLoop mendeskripsikan basis Qwen yang tetap dipasangkan dengan permukaan PEFT yang dapat dilepas-pasang dan spesifik kapabilitas. PEFT (parameter-efficient fine-tuning) adalah pendekatan penyetelan yang menambahkan komponen lebih kecil tanpa melatih ulang seluruh model dasar. Materi publik menyebut empat area: ToolSpec, Uncertainty, Rollback, dan Evidence Binding. 5
20
24
Secara fungsional, adapter ini dimaksudkan untuk meningkatkan kemampuan model dalam menghasilkan artefak dan mengambil keputusan rekayasa perangkat lunak:
- Kontrak alat: merumuskan tindakan alat, masukan, batasan, dan syarat penerimaan yang dapat digunakan.
- Penanganan ketidakpastian: membedakan diagnosis yang masih sementara dari temuan yang sudah terkonfirmasi.
- Pengikatan bukti: menghubungkan klaim dengan bukti eksekusi, lalu menghasilkan putusan eksplisit dan langkah berikutnya yang terbatas.
- Kesadaran rollback: tidak memperlakukan patch yang belum tervalidasi sebagai kebenaran baru bagi repositori.
20
Ini adalah strategi spesialisasi, bukan penjelasan publik yang lengkap mengenai korpus pelatihan atau implementasi adapter. Materi yang dirilis mendukung klaim tentang kapabilitas dan peran yang dimaksud, tetapi belum cukup rinci untuk mengaudit secara independen setiap keputusan dalam tahapan pelatihan. 20
24
Cara kerja Evidence-Governed Spiral
Gagasan utama sistem ini adalah menjadikan perbaikan kode sebagai rangkaian paket kerja yang dibatasi dan dapat diuji, bukan sekadar meminta model mencoba patch lain berulang kali. Menurut deskripsi proyek dan Tsinghua, setiap perubahan kode yang dihasilkan harus diuji; kegagalan dianalisis untuk memandu putaran perbaikan berikutnya. 1
3
21
Secara praktis, siklusnya dapat dibaca sebagai berikut:
- Menyusun paket tugas. Harness menggabungkan isu, konteks repositori, batasan antarmuka, dan syarat penerimaan menjadi paket kerja terstruktur.
3
- Membuat dan menjalankan kandidat yang dibatasi. Model mengusulkan artefak atau patch, kemudian alat dan pengujian repositori yang relevan dijalankan.
1
- Memperlakukan bukti tandingan sebagai koreksi. Kegagalan tes, diagnostik, bukti eksekusi dari alat, serta konflik antarmuka dipakai untuk menguji diagnosis atau patch saat ini, bukan hanya memicu percobaan ulang tanpa struktur.
- Menyusun ulang paket berikutnya. Putaran selanjutnya memasukkan artefak sebelumnya, kegagalan, bukti eksekusi, bukti tandingan, dan batasan baru yang muncul.
- Memperbaiki secara lokal lalu memverifikasi. Sistem berfokus pada masalah yang terkait, menguji revisi, lalu menerima atau menolaknya melalui kondisi validasi dan regresi.
- Mempertahankan atau melakukan rollback. Kandidat yang tidak memenuhi pemeriksaan yang berlaku direvisi atau dibuang, bukan diam-diam dianggap sebagai kemajuan.
Untuk DeepSWE, catatan evaluasi yang diterbitkan proyek melaporkan 38 kelulusan dari 113 tugas; hasil yang tidak lulus dihitung sebagai kegagalan, sehingga menghasilkan 33,6283%. Ini konsisten dengan skor 33,63 yang dilaporkan, meski catatan tersebut menyebut hasilnya diterbitkan sendiri. 17
Mengapa disebut perbaikan diri rekursif
Perbedaan yang diklaim VeriLoop bukan sekadar agen dapat menghasilkan banyak patch. Dalam kerangka timnya, bukti baru bernilai ketika bukti itu mengubah cara sistem akan menyelidiki, menilai, dan mengoreksi pekerjaan berikutnya—bukan saat bukti hanya menjadi hiasan bagi kesimpulan yang sudah dipilih. 1
Dari sini muncul tiga standar yang berbeda:
- Coba-coba: satu patch gagal, lalu sistem membuat kandidat lain.
- Keberhasilan verifikasi: satu kandidat lolos pemeriksaan yang dipilih.
- Perbaikan berbasis bukti: bukti tandingan mengubah metode berikutnya, misalnya pembingkaian tugas, fokus diagnostik, bukti yang dapat diterima, batasan perbaikan, atau gerbang validasi; metode baru itu pun tetap dapat diuji oleh bukti berikutnya.
Pendekatan tersebut sejalan dengan pandangan falsifikasionis dalam rekayasa: sebuah pengujian harus dapat menyangkal hipotesis saat ini, sedangkan hasil lolos adalah bukti untuk kandidat dalam kondisi pemeriksaan tertentu, bukan pembuktian universal. Hasil praktis yang penting adalah pengelolaan status secara disiplin: membedakan observasi dari kesimpulan, mempertahankan hal yang sudah tervalidasi, serta membuat hipotesis yang gagal membatasi percobaan selanjutnya. 1
20
21
Namun, klaim yang lebih kuat—bahwa perubahan metode ini dapat digeneralisasi secara luas lintas repositori atau merupakan perbaikan diri rekursif otonom dalam arti umum—belum terbukti oleh informasi publik yang tersedia.
Mengapa model terbuka, tetapi Harness tertutup
Proyek ini memisahkan backend model yang dapat digunakan kembali dari control plane yang mengoordinasikannya. Model dan artefak PEFT publik dapat dipakai untuk bereksperimen dengan penalaran repositori serta pembuatan artefak. Sementara itu, Harness produksi yang tidak dibuka memuat orkestrasi untuk menyusun paket tugas, memelihara status tugas dan versi, mengarahkan bukti, menjadwalkan tahap kerja, menerapkan validasi, serta mengelola rollback. 3
21
23
Batas ini membawa implikasi penting bagi reproduktibilitas: menerbitkan model tidak sama dengan menerbitkan agen penuh yang dievaluasi. Ini juga memperjelas klaim proyek: Coder-E1 adalah model kode yang terspesialisasi, sedangkan Self-Harness adalah sistem eksekusi yang mengatur penggunaannya. Sampai tumpukan kontrol tersebut tersedia atau direplikasi secara independen, hasil benchmark sebaiknya dipahami sebagai hasil pada tingkat sistem, bukan sifat bawaan checkpoint terbuka semata. 1
21
23
Studio Global AI
Lanjutkan penelitian Anda
Halaman ini berisi jawaban yang didukung sumber yang dapat Anda lanjutkan di dalam Studio Global.
Orang-orang juga bertanya
Apa jawaban singkat untuk "Mengapa skor code repair VeriLoop Coder-E1 bergantung pada Self-Harness yang tertutup"?
VeriLoop Coder E1 melaporkan skor 85,20 di SWE bench Verified, 62,38 di SWE bench Pro, 76,40 di Terminal Bench 2.0, dan 33,63 di DeepSWE.
Apa poin penting yang harus divalidasi terlebih dahulu?
VeriLoop Coder E1 melaporkan skor 85,20 di SWE bench Verified, 62,38 di SWE bench Pro, 76,40 di Terminal Bench 2.0, dan 33,63 di DeepSWE. Rilis publik mencakup model berbasis Qwen3.6 27B dan artefak PEFT khusus kapabilitas.