AnswersPublished18 sources
Mengapa skor pembaikan kod VeriLoop Coder-E1 bergantung pada Self-Harness yang tertutup
VeriLoop Coder E1 melaporkan 85.20 pada SWE bench Verified, 62.38 pada SWE bench Pro, 76.40 pada Terminal Bench 2.0 dan 33.63 pada DeepSWE. Model berasaskan Qwen3.6 27B serta artifak PEFT tersedia secara terbuka, manakala Self Harness yang mengurus aliran kerja berasaskan bukti, ujian, pengesahan dan rollback masih...
Diterbitkan olehDisunting dengan GPT-5.6 TerraImej dijana dengan GPT Image 2
Research answer
Key takeaways
- VeriLoop Coder E1 melaporkan 85.20 pada SWE bench Verified, 62.38 pada SWE bench Pro, 76.40 pada Terminal Bench 2.0 dan 33.63 pada DeepSWE.
- Model berasaskan Qwen3.6 27B serta artifak PEFT tersedia secara terbuka, manakala Self Harness yang mengurus aliran kerja berasaskan bukti, ujian, pengesahan dan rollback masih tidak dibuka.
- Setakat bahan yang tersedia, tiada pengesahan bahawa memuatkan checkpoint awam sahaja mampu menghasilkan semula keputusan penanda aras tersebut.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Tsinghua Shenzhen International Graduate School Intelligent Robotics Laboratory’s open-source VeriLoop Coder-E1—built on Qwen3.6-27B. Article summary: VeriLoop Coder-E1’s headline scores appear to be results of a complete prototype agent system—not of the downloadable 27B checkpoint alone. The reported gains come from pairing narrow-domain PEFT behavior modules with a . Topic tags: general, education, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, water
VeriLoop Coder-E1 lebih tepat difahami sebagai lapisan model dalam sebuah ejen pembaikan repositori yang lebih besar. Pasukan dari Tsinghua Shenzhen International Graduate School melaporkan skor 85.20 bagi SWE-bench Verified, 62.38 bagi SWE-bench Pro, 76.40 bagi Terminal-Bench 2.0 dan 33.63 bagi DeepSWE. Angka itu ialah keputusan untuk persediaan VeriLoop yang dikawal oleh bukti, termasuk Self-Harness produksi yang tidak dibuka sebagai sumber terbuka. 1
21
Perbezaan utama: berat model berbanding sistem yang dinilai
Model awamnya ialah model pengekodan 27 bilion parameter yang dibina di atas Qwen3.6-27B, disasarkan untuk penaakulan kod, pemahaman repositori dan penjanaan artifak. Bahan di Hugging Face menyifatkannya sebagai model khusus kejuruteraan perisian sumber terbuka di bawah lesen Apache-2.0. 5
21
Namun, dokumentasi projek sendiri meletakkan Self-Harness sebagai substrat pelaksanaan yang mengawal proses: lapisan inilah yang menjadikan output model satu proses kejuruteraan yang terbatas dan dipandu bukti. Adapter Evidence Binding yang diterbitkan secara awam juga menyatakan bahawa ia perlu digunakan di bawah runtime VeriLoop Harness; ia bukan pengganti kendiri bagi keseluruhan timbunan runtime, pengesah, bukti, rollback, sandbox dan pemerhatian sistem. 21
23
Justeru, skor tersebut tidak sepatutnya dibaca sebagai bukti bahawa checkpoint yang boleh dimuat turun akan menghasilkan keputusan sama dengan sendirinya. Bahan sedia ada hanya menyokong kesimpulan yang lebih terhad: prestasi yang dilaporkan datang daripada gabungan model dan aliran kerja yang diharnesskan. Penghasilan semula secara bebas menggunakan berat awam sahaja belum dibuktikan dalam sumber yang diberikan.
Sumbangan PEFT domain sempit
VeriLoop menerangkan pendekatan yang tidak mengemas kini model asas secara berterusan ketika tugas pembaikan berjalan. Sebaliknya, asas Qwen yang tetap dipadankan dengan permukaan PEFT (parameter-efficient fine-tuning) boleh tanggal, khusus untuk keupayaan tertentu. Bahan awam mengenal pasti empat bidang: ToolSpec, Uncertainty, Rollback dan Evidence Binding. 5
20
24
Secara fungsi, adapter ini bertujuan memperkukuh keupayaan model untuk membuat keputusan dan menghasilkan artifak kejuruteraan perisian:
- Kontrak alat: menyatakan tindakan alat, input, kekangan dan syarat penerimaan yang boleh digunakan.
- Pengendalian ketidakpastian: membezakan diagnosis sementara daripada dapatan yang sudah disahkan.
- Pengikatan bukti: menghubungkan dakwaan kepada resit pelaksanaan, kemudian menghasilkan keputusan jelas dan tindakan susulan yang terbatas.
- Kesedaran rollback: mengelakkan patch yang belum disahkan daripada dianggap sebagai keadaan baharu repositori.
20
Ini ialah strategi pengkhususan, bukannya huraian awam lengkap tentang korpus latihan atau pelaksanaan setiap adapter. Bahan yang diterbitkan mengesahkan keupayaan yang dinyatakan dan peranan yang dimaksudkan, tetapi tidak cukup terperinci untuk membolehkan setiap pilihan dalam peringkat latihan diaudit secara bebas. 20
24
Cara “Evidence-Governed Spiral” berfungsi
Idea utama sistem ini adalah menjadikan pembaikan kod sebagai rentetan pakej kerja yang terkawal dan boleh diuji, bukan sekadar meminta model mencuba patch lain berulang kali. Mengikut penerangan projek dan Tsinghua, setiap perubahan yang dijana mesti diuji; kegagalan dianalisis lalu digunakan untuk membimbing kitaran pembaikan seterusnya. 1
3
21
Secara praktikal, gelung itu boleh dibaca seperti berikut:
- Bina pakej tugas. Harness menghimpunkan isu, konteks repositori, kekangan antara muka dan syarat penerimaan dalam pakej kerja berstruktur.
3
- Jana dan jalankan calon yang terbatas. Model mencadangkan artifak atau patch, kemudian alat repositori dan ujian berkaitan dijalankan.
1
- Jadikan bukti balas sebagai pembetulan. Kegagalan ujian, diagnostik, resit alat dan konflik antara muka mencabar diagnosis atau patch semasa, bukan hanya mencetuskan percubaan semula tanpa struktur.
- Kompil semula pakej berikutnya. Pusingan baharu memasukkan artifak terdahulu, kegagalan, resit, bukti balas dan kekangan yang baru dikenakan.
- Baiki secara setempat dan sahkan. Sistem menumpukan pada masalah yang terlibat, menguji semakan, lalu menerima atau menolaknya melalui syarat pengesahan dan regresi.
- Simpan atau rollback. Calon yang gagal memenuhi semakan berkenaan diperbaiki atau dibuang, bukannya dianggap kemajuan secara senyap.
Bagi DeepSWE, rekod penilaian projek melaporkan 38 lulus daripada 113 tugasan, dengan semua keputusan yang tidak lulus dikira sebagai gagal, menghasilkan 33.6283%. Ini selaras dengan skor 33.63 yang dilaporkan, tetapi rekod tersebut turut dilabel sebagai diterbitkan sendiri. 17
Mengapa ia dipanggil penambahbaikan kendiri rekursif
Dakwaan VeriLoop bukan sekadar ejen boleh menjana beberapa patch. Dalam kerangka pasukan itu, bukti hanya penting apabila ia mengubah cara sistem akan menyiasat, menilai dan membetulkan kerja kemudian — bukan apabila ia sekadar menghiasi kesimpulan yang telah dipilih. 1
Ini menghasilkan tiga tahap yang berbeza:
- Cuba jaya: satu patch gagal, lalu sistem menjana calon lain.
- Kejayaan pengesahan: satu calon melepasi semakan terpilih.
- Penambahbaikan dipandu bukti: bukti balas mengubah kaedah pusingan seterusnya — seperti pembingkaian tugas, fokus diagnostik, bukti yang boleh diterima, kekangan pembaikan atau gerbang pengesahan — dan kaedah baharu itu masih terbuka kepada cabaran bukti seterusnya.
Pendekatan ini sejajar dengan pandangan kejuruteraan berorientasikan pemalsuan: ujian sepatutnya berupaya menyangkal hipotesis semasa, manakala keputusan lulus hanya menjadi bukti bagi calon dalam semakan tertentu, bukannya bukti mutlak. Kesan praktikal yang penting ialah pengurusan keadaan yang lebih berdisiplin: membezakan pemerhatian daripada kesimpulan, mengekalkan perkara yang sudah disahkan, dan membiarkan hipotesis gagal mengehadkan percubaan berikutnya. 1
20
21
Namun, dakwaan yang lebih luas — bahawa perubahan kaedah ini boleh digeneralisasikan merentasi pelbagai repositori atau menyamai penambahbaikan kendiri rekursif autonomi dalam erti kata umum — masih belum dibuktikan oleh maklumat awam yang diberikan.
Mengapa model dibuka, tetapi Harness ditutup
Projek ini memisahkan backend model yang boleh diguna semula daripada control plane yang menyelaras penggunaannya. Model dan artifak PEFT awam boleh digunakan untuk eksperimen dalam penaakulan repositori dan penjanaan artifak. Sebaliknya, Harness produksi yang tidak diterbitkan mengandungi orkestrasi untuk menyusun pakej tugas, mengekalkan keadaan tugas dan versi, menghala bukti, menjadualkan peringkat, melaksanakan pengesahan serta mengurus rollback. 3
21
23
Sempadan ini membawa implikasi penting untuk kebolehulangan: menerbitkan model tidak sama dengan menerbitkan keseluruhan ejen yang dinilai. Ia juga menjelaskan tuntutan projek dengan lebih tepat. Coder-E1 ialah model kod khusus, manakala Self-Harness ialah sistem pelaksanaan yang menentukan bagaimana model itu digunakan. Selagi timbunan kawalan itu tidak tersedia atau belum berjaya ditiru secara bebas, keputusan penanda aras wajar ditafsirkan sebagai keputusan pada peringkat sistem — bukan sifat intrinsik checkpoint terbuka semata-mata. 1
21
23
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Mengapa skor pembaikan kod VeriLoop Coder-E1 bergantung pada Self-Harness yang tertutup"?
VeriLoop Coder E1 melaporkan 85.20 pada SWE bench Verified, 62.38 pada SWE bench Pro, 76.40 pada Terminal Bench 2.0 dan 33.63 pada DeepSWE.
What are the key points to validate first?
VeriLoop Coder E1 melaporkan 85.20 pada SWE bench Verified, 62.38 pada SWE bench Pro, 76.40 pada Terminal Bench 2.0 dan 33.63 pada DeepSWE. Model berasaskan Qwen3.6 27B serta artifak PEFT tersedia secara terbuka, manakala Self Harness yang mengurus aliran kerja berasaskan bukti, ujian, pengesahan dan rollback masih tidak dibuka.
What should I do next in practice?
Setakat bahan yang tersedia, tiada pengesahan bahawa memuatkan checkpoint awam sahaja mampu menghasilkan semula keputusan penanda aras tersebut.