AnswersPublished18 sources
VeriLoop Coder-E1: i punteggi di code repair dipendono anche dal Self-Harness privato
VeriLoop Coder E1 dichiara 85,20 su SWE bench Verified, 62,38 su SWE bench Pro, 76,40 su Terminal Bench 2.0 e 33,63 su DeepSWE: sono risultati del sistema con Self Harness, non del checkpoint scaricabile da solo. Il rilascio pubblico include il modello basato su Qwen3.6 27B e adattatori PEFT specialistici; il runtim...
Pubblicato daModificato con GPT-5.6 TerraImmagini generate con GPT Image 2
Research answer
Key takeaways
- VeriLoop Coder E1 dichiara 85,20 su SWE bench Verified, 62,38 su SWE bench Pro, 76,40 su Terminal Bench 2.0 e 33,63 su DeepSWE: sono risultati del sistema con Self Harness, non del checkpoint scaricabile da solo.
- Il rilascio pubblico include il modello basato su Qwen3.6 27B e adattatori PEFT specialistici; il runtime proprietario gestisce il ciclo di test, prove, stato, validazione e rollback.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Tsinghua Shenzhen International Graduate School Intelligent Robotics Laboratory’s open-source VeriLoop Coder-E1—built on Qwen3.6-27B. Article summary: VeriLoop Coder-E1’s headline scores appear to be results of a complete prototype agent system—not of the downloadable 27B checkpoint alone. The reported gains come from pairing narrow-domain PEFT behavior modules with a . Topic tags: general, education, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, water
I punteggi dichiarati per VeriLoop Coder-E1 vanno letti come risultati di un sistema di riparazione del software, non come proprietà dimostrate del solo modello scaricabile. Il team della Tsinghua Shenzhen International Graduate School riporta 85,20 su SWE-bench Verified, 62,38 su SWE-bench Pro, 76,40 su Terminal-Bench 2.0 e 33,63 su DeepSWE. Queste cifre si riferiscono però alla configurazione VeriLoop governata da evidenze, nella quale il Self-Harness di produzione non è open source. 1
21
Pesi del modello e sistema valutato non sono la stessa cosa
La parte pubblica è un modello per il coding basato su Qwen3.6-27B, con 27 miliardi di parametri, progettato per ragionamento sul codice, comprensione dei repository e generazione di artefatti. La documentazione lo presenta come modello verticale open source per l'ingegneria del software, con licenza Apache 2.0. 5
21
Il progetto definisce però il Self-Harness come il substrato di esecuzione che trasforma l'output del modello in un processo ingegneristico delimitato e guidato dalle evidenze. L'adattatore pubblico di Evidence Binding precisa esplicitamente di dover funzionare nel runtime VeriLoop Harness e di non sostituire lo stack completo di runtime, validazione, evidenze, rollback, sandbox e osservabilità. 21
23
In altre parole, caricare il checkpoint pubblico non basta, sulla base dei materiali disponibili, a riprodurre i risultati pubblicati. La conclusione supportata dalle fonti è più circoscritta: le prestazioni dichiarate provengono dal modello più il flusso di lavoro gestito dall'harness. Una riproduzione indipendente a partire dai soli pesi pubblici non risulta stabilita.
Il ruolo degli adattatori PEFT specializzati
VeriLoop descrive una base Qwen fissa abbinata a superfici PEFT (parameter-efficient fine-tuning) staccabili e dedicate a capacità specifiche. I materiali pubblici indicano quattro aree: ToolSpec, Uncertainty, Rollback ed Evidence Binding. 5
20
24
Il loro scopo funzionale è rendere il modello più adatto a decisioni e artefatti tipici dell'ingegneria del software:
- Contratti degli strumenti: formulare azioni, input, vincoli e criteri di accettazione utilizzabili dai tool.
- Gestione dell'incertezza: distinguere una diagnosi provvisoria da un riscontro consolidato.
- Collegamento alle evidenze: associare affermazioni a ricevute di esecuzione, con un verdetto esplicito e un'azione successiva delimitata.
- Consapevolezza del rollback: evitare che una patch non convalidata venga trattata come il nuovo stato affidabile del repository.
20
Si tratta di una strategia di specializzazione, non di una descrizione pubblica completa dei dati di addestramento o dell'implementazione di ciascun adattatore. Le fonti chiariscono capacità e funzione previste, ma non consentono di verificare in modo indipendente ogni scelta della pipeline di training. 20
24
Come funziona la “spirale” guidata dalle evidenze
L'idea centrale è trasformare il code repair in una sequenza di pacchetti di lavoro vincolati e verificabili, invece di chiedere ripetutamente al modello di produrre un'altra patch. Secondo la descrizione del progetto e di Tsinghua, ogni modifica generata deve essere testata; se fallisce, il sistema analizza le cause e orienta il ciclo successivo. 1
3
21
In termini pratici, il ciclo può essere letto così:
- Preparazione del pacchetto di lavoro. L'harness combina issue, contesto del repository, vincoli delle interfacce e condizioni di accettazione in un pacchetto strutturato.
3
- Generazione ed esecuzione di un candidato circoscritto. Il modello propone un artefatto o una patch, poi vengono eseguiti gli strumenti e i test pertinenti.
1
- Uso delle contro-evidenze come correzione. Errori di test, diagnostica, ricevute dei tool e conflitti di interfaccia mettono in discussione la diagnosi o la patch corrente, anziché attivare un semplice nuovo tentativo privo di struttura.
- Ricompilazione del pacchetto successivo. Il round seguente incorpora artefatto precedente, fallimenti, ricevute, contro-evidenze e nuovi vincoli.
- Riparazione locale e verifica. Il sistema si concentra sull'area implicata, testa la revisione e la accetta o respinge secondo condizioni di validazione e regressione.
- Conservazione o rollback. Un candidato che non supera i controlli applicabili viene rivisto o scartato, non conteggiato silenziosamente come progresso.
Per DeepSWE, il registro di valutazione pubblicato dal progetto indica 38 passaggi su 113 task; tutti i risultati non superati sono conteggiati come fallimenti, per un totale del 33,6283%. Il dato è coerente con il punteggio dichiarato di 33,63, ma il record è etichettato come auto-pubblicato. 17
Perché il team parla di miglioramento ricorsivo
La distinzione rivendicata da VeriLoop non è semplicemente la capacità di generare più patch. Nella sua impostazione, un'evidenza conta quando modifica il modo in cui il sistema indagherà, giudicherà e correggerà il lavoro futuro, non quando serve soltanto ad abbellire una conclusione già scelta. 1
Ne derivano tre livelli diversi:
- Tentativi ed errori: una patch fallisce e il sistema ne genera un'altra.
- Successo di verifica: un candidato supera i controlli selezionati.
- Miglioramento governato dalle evidenze: una contro-evidenza modifica il metodo successivo — per esempio la formulazione del task, il fuoco diagnostico, le evidenze ammissibili, il vincolo di riparazione o il cancello di validazione — e quel metodo rivisto resta contestabile da nuove prove.
L'approccio richiama una visione falsificazionista dell'ingegneria: un test deve poter smentire l'ipotesi corrente, mentre un esito positivo è evidenza a favore di un candidato sotto controlli specifici, non una dimostrazione universale. Sul piano operativo, il punto è la gestione disciplinata dello stato: separare osservazioni e conclusioni, preservare ciò che è stato validato e fare in modo che le ipotesi fallite vincolino il tentativo seguente. 1
20
21
Resta tuttavia non dimostrata dalle informazioni pubbliche la tesi più forte: che questi cambiamenti di metodo si generalizzino ampiamente tra repository diversi o costituiscano un miglioramento ricorsivo autonomo in senso generale.
Modello aperto, Harness chiuso: la conseguenza per la riproducibilità
Il progetto separa un backend riutilizzabile dal piano di controllo che lo coordina. Il modello e gli artefatti PEFT pubblici possono servire per sperimentare con il ragionamento sui repository e la generazione di artefatti. Il Self-Harness non rilasciato contiene invece l'orchestrazione che compila i pacchetti di lavoro, conserva lo stato del task e delle versioni, instrada le evidenze, pianifica le fasi, applica la validazione e gestisce il rollback. 3
21
23
La distinzione ha una conseguenza importante: pubblicare un modello non equivale a pubblicare l'intero agente valutato. La formulazione più precisa è quindi questa: Coder-E1 è il modello specializzato per il codice; Self-Harness è il sistema di esecuzione che ne governa l'uso. Finché quello stack di controllo non sarà disponibile o replicato indipendentemente, i benchmark vanno interpretati come risultati a livello di sistema, non come una capacità intrinseca del solo checkpoint open source. 1
21
23
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "VeriLoop Coder-E1: i punteggi di code repair dipendono anche dal Self-Harness privato"?
VeriLoop Coder E1 dichiara 85,20 su SWE bench Verified, 62,38 su SWE bench Pro, 76,40 su Terminal Bench 2.0 e 33,63 su DeepSWE: sono risultati del sistema con Self Harness, non del checkpoint scaricabile da solo.
What are the key points to validate first?
VeriLoop Coder E1 dichiara 85,20 su SWE bench Verified, 62,38 su SWE bench Pro, 76,40 su Terminal Bench 2.0 e 33,63 su DeepSWE: sono risultati del sistema con Self Harness, non del checkpoint scaricabile da solo. Il rilascio pubblico include il modello basato su Qwen3.6 27B e adattatori PEFT specialistici; il runtime proprietario gestisce il ciclo di test, prove, stato, validazione e rollback.