AnswersPublished18 sources
VeriLoop Coder-E1’s resultater er ikke kun et spørgsmål om åbne modelvægte
VeriLoop Coder E1 har rapporteret 85,20 på SWE bench Verified, 62,38 på SWE bench Pro, 76,40 på Terminal Bench 2.0 og 33,63 på DeepSWE. Den offentlige udgivelse omfatter en Qwen3.6 27B baseret model og PEFT komponenter til blandt andet værktøjskontrakter, usikkerhed, rollback og evidensbinding.
Udgivet afRedigeret med GPT-5.6 TerraBilleder genereret med GPT Image 2
Research answer
Key takeaways
- VeriLoop Coder E1 har rapporteret 85,20 på SWE bench Verified, 62,38 på SWE bench Pro, 76,40 på Terminal Bench 2.0 og 33,63 på DeepSWE.
- Den offentlige udgivelse omfatter en Qwen3.6 27B baseret model og PEFT komponenter til blandt andet værktøjskontrakter, usikkerhed, rollback og evidensbinding.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Tsinghua Shenzhen International Graduate School Intelligent Robotics Laboratory’s open-source VeriLoop Coder-E1—built on Qwen3.6-27B. Article summary: VeriLoop Coder-E1’s headline scores appear to be results of a complete prototype agent system—not of the downloadable 27B checkpoint alone. The reported gains come from pairing narrow-domain PEFT behavior modules with a . Topic tags: general, education, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, water
VeriLoop Coder-E1 bør først og fremmest forstås som modellaget i en større agent til reparation af softwareprojekter. Holdet fra Tsinghua Shenzhen International Graduate School rapporterer 85,20 på SWE-bench Verified, 62,38 på SWE-bench Pro, 76,40 på Terminal-Bench 2.0 og 33,63 på DeepSWE. Tallene er rapporteret for VeriLoop-opsætningen med evidensstyret arbejdsgang, hvor produktionsudgaven af Self-Harness ikke er open source. 1
21
Den afgørende skelnen: modelvægte og det evaluerede system
Den offentlige model er en kodemodel med 27 mia. parametre, baseret på Qwen3.6-27B. Den er målrettet koderæsonnering, forståelse af kodearkiver og generering af tekniske artefakter. Materialet på Hugging Face beskriver den som en open source-vertikalmodel til softwareudvikling under Apache-2.0-licensen. 5
21
Projektets egen dokumentation beskriver imidlertid Self-Harness som det styrende eksekveringslag: komponenten, der omsætter modellens output til en afgrænset og evidensdrevet ingeniørproces. Den offentlige Evidence Binding-adapter understreger direkte, at den er beregnet til brug sammen med VeriLoop Harness og ikke er en selvstændig erstatning for den fulde runtime-, validerings-, evidens-, rollback-, sandbox- og observability-stack. 21
23
Benchmarktallene bør derfor ikke læses som bevis for, at man kan hente checkpointet og reproducere resultaterne med modellen alene. Det tilgængelige materiale understøtter en mere begrænset konklusion: Den rapporterede ydeevne kommer fra modellen plus den styrede workflow-infrastruktur. Uafhængig reproduktion ud fra de offentlige vægte er ikke dokumenteret i de foreliggende kilder.
Hvad snæver PEFT-specialisering bidrager med
I stedet for løbende at opdatere basismodellen under en reparationsopgave beskriver VeriLoop en fast Qwen-base kombineret med aftagelige, kapacitetsspecifikke PEFT-lag. PEFT står for parameter-effektiv finjustering. Det offentlige materiale nævner fire områder: ToolSpec, Uncertainty, Rollback og Evidence Binding. 5
20
24
I praksis skal adapterne gøre modellen bedre til tekniske beslutninger og softwareartefakter:
- Værktøjskontrakter: at formulere brugbare værktøjshandlinger, input, begrænsninger og acceptkriterier.
- Håndtering af usikkerhed: at holde foreløbige diagnoser adskilt fra fastslåede fund.
- Evidensbinding: at knytte påstande til eksekveringskvitteringer og afgive en tydelig vurdering samt et afgrænset næste skridt.
- Rollback-bevidsthed: at undgå at behandle en uvalideret patch som den nye sandhed om kodebasen.
20
Det er en specialiseringsstrategi, ikke en komplet offentlig redegørelse for træningsdata eller adapterimplementering. Udgivelsen dokumenterer de erklærede funktioner og deres tiltænkte rolle, men giver ikke nok detaljer til en uafhængig revision af alle træningsvalg. 20
24
Sådan fungerer den evidensstyrede spiral
Kerneideen er at gøre kodereparation til en række afgrænsede og testbare arbejdspakker frem for blot at bede modellen om endnu en patch. Ifølge projektet og Tsinghuas beskrivelse skal hver genereret ændring testes; fejl analyseres og bruges til at styre næste reparationscyklus. 1
3
21
En praktisk læsning af processen er:
- Opbyg en arbejdspakke. Harness samler issue-beskrivelsen, kontekst fra kodearkivet, grænsefladekrav og acceptkriterier i en struktureret opgavepakke.
3
- Generér og kør en afgrænset kandidat. Modellen foreslår et artefakt eller en patch, hvorefter relevante værktøjer og tests i projektet køres.
1
- Lad modevidens korrigere forløbet. Testfejl, diagnostik, værktøjskvitteringer og grænsefladekonflikter udfordrer den aktuelle diagnose eller patch i stedet for blot at udløse et ustruktureret nyt forsøg.
- Kompilér næste pakke på ny. Næste runde indeholder det foregående artefakt, fejl, kvitteringer, modevidens og nye begrænsninger.
- Reparér lokalt og verificér. Systemet fokuserer på det berørte problem, tester ændringen og accepterer eller afviser den efter validerings- og regressionskrav.
- Behold eller rull tilbage. En kandidat, der ikke består de relevante kontroller, revideres eller forkastes frem for stiltiende at blive regnet som fremskridt.
For DeepSWE angiver projektets offentliggjorte evalueringspost 38 beståede opgaver ud af 113. Ikke-beståede resultater tælles som fejl, hvilket giver 33,6283 % og dermed stemmer med den oplyste score på 33,63. Posten er dog mærket som selvpubliceret. 17
Hvorfor holdet kalder det rekursiv selvforbedring
VeriLoops påståede særkende er ikke blot, at en agent kan lave flere patches. I holdets egen ramme er evidens først vigtig, når den ændrer den måde, systemet senere vil undersøge, vurdere og rette arbejdet på – ikke når den blot pynter på en allerede valgt konklusion. 1
Det giver tre forskellige niveauer:
- Forsøg og fejl: En patch fejler, og systemet producerer en ny kandidat.
- Succesfuld verifikation: Én kandidat består de valgte kontroller.
- Evidensstyret forbedring: Modevidens ændrer den næste metode – eksempelvis opgaveindramning, diagnostisk fokus, tilladt evidens, reparationsbegrænsning eller valideringsport – og den ændrede metode kan fortsat udfordres af ny evidens.
Det passer med en falsifikationsorienteret tilgang til softwareudvikling: En test skal kunne afkræfte en aktuel hypotese, og en bestået test er belæg for en kandidat under bestemte kontroller, ikke et universelt bevis. Den praktiske pointe er disciplineret tilstandshåndtering: Skeln mellem observation og konklusion, bevar det validerede, og lad forkastede hypoteser begrænse næste forsøg. 1
20
21
Den stærkere påstand – at sådanne metodeændringer generaliserer bredt på tværs af kodearkiver eller udgør autonom rekursiv selvforbedring i generel forstand – er ikke bevist af de offentligt tilgængelige oplysninger her.
Hvorfor modellen er åben, mens Harness er lukket
Projektet adskiller en genbrugelig modelbackend fra kontrolplanet, der koordinerer den. Modellen og de offentlige PEFT-artefakter kan bruges til eksperimenter med forståelse af kodearkiver og generering af artefakter. Den tilbageholdte produktions-Harness indeholder orkestreringen, der kompilerer arbejdspakker, holder styr på opgave- og versionsstatus, dirigerer evidens, planlægger faser, anvender validering og håndterer rollback. 3
21
23
Grænsen har en væsentlig konsekvens for reproducerbarhed: At udgive en model er ikke det samme som at udgive hele den evaluerede agent. Det præciserer også projektets offentlige påstand: Coder-E1 er den specialiserede kodemodel, mens Self-Harness er eksekveringssystemet, der styrer dens brug. Indtil kontrolstacken bliver tilgængelig eller uafhængigt genskabt, bør benchmarkresultaterne læses som systemresultater – ikke som en iboende egenskab ved det åbne checkpoint alene. 1
21
23
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "VeriLoop Coder-E1’s resultater er ikke kun et spørgsmål om åbne modelvægte"?
VeriLoop Coder E1 har rapporteret 85,20 på SWE bench Verified, 62,38 på SWE bench Pro, 76,40 på Terminal Bench 2.0 og 33,63 på DeepSWE.
What are the key points to validate first?
VeriLoop Coder E1 har rapporteret 85,20 på SWE bench Verified, 62,38 på SWE bench Pro, 76,40 på Terminal Bench 2.0 og 33,63 på DeepSWE. Den offentlige udgivelse omfatter en Qwen3.6 27B baseret model og PEFT komponenter til blandt andet værktøjskontrakter, usikkerhed, rollback og evidensbinding.