AnswersPublished18 sources
VeriLoop Coder-E1: Benchmarkresultatene er mer enn åpne modellvekter
VeriLoop Coder E1 rapporterer 85,20 på SWE bench Verified, 62,38 på SWE bench Pro, 76,40 på Terminal Bench 2.0 og 33,63 på DeepSWE. Den offentlige utgivelsen omfatter en Qwen3.6 27B basert kodemodell og PEFT artefakter for blant annet verktøykontrakter, usikkerhet, tilbakerulling og evidensbinding.
Publisert avRedigert med GPT-5.6 TerraBilder generert med GPT Image 2
Research answer
Key takeaways
- VeriLoop Coder E1 rapporterer 85,20 på SWE bench Verified, 62,38 på SWE bench Pro, 76,40 på Terminal Bench 2.0 og 33,63 på DeepSWE.
- Den offentlige utgivelsen omfatter en Qwen3.6 27B basert kodemodell og PEFT artefakter for blant annet verktøykontrakter, usikkerhet, tilbakerulling og evidensbinding.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Tsinghua Shenzhen International Graduate School Intelligent Robotics Laboratory’s open-source VeriLoop Coder-E1—built on Qwen3.6-27B. Article summary: VeriLoop Coder-E1’s headline scores appear to be results of a complete prototype agent system—not of the downloadable 27B checkpoint alone. The reported gains come from pairing narrow-domain PEFT behavior modules with a . Topic tags: general, education, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, water
VeriLoop Coder-E1 bør først og fremst forstås som modellaget i en større agent for reparasjon av kodebaser. Teamet ved Tsinghua Shenzhen International Graduate School oppgir resultater på 85,20 på SWE-bench Verified, 62,38 på SWE-bench Pro, 76,40 på Terminal-Bench 2.0 og 33,63 på DeepSWE. Disse tallene gjelder VeriLoop-oppsettet med en evidensstyrt arbeidsflyt, der produksjonsversjonen av Self-Harness ikke er åpen kildekode. 1
21
Det avgjørende skillet: modellvekter og det evaluerte systemet
Den offentlige modellen er en kodemodell med 27 milliarder parametere, basert på Qwen3.6-27B. Den er beregnet på koderesonnering, forståelse av kodebaser og produksjon av programvareartefakter. Materialet på Hugging Face beskriver den som en åpen, domenespesialisert modell for programvareutvikling under Apache-2.0-lisensen. 5
21
Prosjektets egen dokumentasjon beskriver derimot Self-Harness som det styrende kjørelaget: laget som gjør modellgenerering om til en avgrenset og evidensdrevet ingeniørprosess. Den offentlige Evidence Binding-adapteren presiserer at den er ment brukt under VeriLoop Harness, og ikke erstatter hele kjøretids-, validerings-, evidens-, tilbakerullings-, sandkasse- og observerbarhetsstakken alene. 21
23
Derfor bør ikke resultatene tolkes som dokumentasjon på at en nedlastet modellkontrollpunkt, uten videre, vil gjenskape de publiserte tallene. Det tilgjengelige materialet støtter en snevrere konklusjon: Den rapporterte ytelsen kommer fra modellen sammen med den styrte arbeidsflyten. Uavhengig reproduksjon fra de offentlige vektene alene er ikke etablert i kildene som foreligger.
Hva smal PEFT-tilpasning bidrar med
I stedet for å oppdatere grunnmodellen kontinuerlig gjennom en reparasjonsoppgave, beskriver VeriLoop en fast Qwen-base kombinert med avtakbare, kapabilitetsspesifikke PEFT-flater. PEFT er en metode for effektiv finjustering med et begrenset antall ekstra parametere. De offentlige materialene identifiserer fire områder: ToolSpec, Uncertainty, Rollback og Evidence Binding. 5
20
24
Funksjonelt skal disse adapterne gjøre modellen bedre til å produsere og vurdere artefakter og beslutninger som er relevante i programvareutvikling:
- Verktøykontrakter: å formulere anvendbare verktøyhandlinger, inndata, begrensninger og akseptkriterier.
- Håndtering av usikkerhet: å holde foreløpige diagnoser atskilt fra etablerte funn.
- Evidensbinding: å knytte påstander til kjøringskvitteringer og gi en eksplisitt vurdering med et avgrenset neste steg.
- Bevissthet om tilbakerulling: å unngå at en ikke-validert patch behandles som den nye sannheten i kodebasen.
20
Dette er en spesialiseringsstrategi, ikke en komplett offentlig redegjørelse for treningsdataene eller implementeringen av adapterne. Det utgitte materialet dokumenterer de oppgitte egenskapene og deres tiltenkte rolle, men gir ikke nok detaljer til å revidere hvert valg i treningsprosessen uavhengig. 20
24
Slik fungerer den evidensstyrte spiralen
Hovedideen er å gjøre kodereparasjon til en serie avgrensede og testbare arbeidspakker, fremfor å be modellen produsere enda en patch om og om igjen. Ifølge prosjektet og Tsinghua-beskrivelsen skal hver kodeendring testes; feil analyseres og brukes til å styre neste reparasjonsrunde. 1
3
21
Arbeidsløkken kan forstås slik:
- Bygg en arbeidspakke. Harness-en kombinerer sakbeskrivelsen, kontekst fra kodebasen, grensesnittbegrensninger og akseptkriterier i en strukturert arbeidspakke.
3
- Generer og kjør en avgrenset kandidat. Modellen foreslår en artefakt eller patch, før relevante verktøy og tester for kodebasen kjøres.
1
- La motbevis korrigere kursen. Testfeil, diagnoser, verktøykvitteringer og grensesnittkonflikter utfordrer den gjeldende diagnosen eller patchen, fremfor bare å utløse et ustrukturert nytt forsøk.
- Kompiler neste pakke på nytt. Neste runde inkluderer den forrige artefakten, feil, kvitteringer, motbevis og nye begrensninger.
- Reparer lokalt og verifiser. Systemet fokuserer på det aktuelle problemet, tester endringen og godtar eller forkaster den gjennom validering og regresjonskrav.
- Behold eller rull tilbake. En kandidat som ikke oppfyller relevante kontroller, blir revidert eller forkastet – ikke stille behandlet som fremdrift.
For DeepSWE oppgir prosjektets publiserte evalueringspost 38 beståtte oppgaver av 113, mens resultater som ikke besto ble regnet som feil. Det gir 33,6283 %, i tråd med den rapporterte scoren på 33,63. Evalueringsposten er imidlertid merket som selvpublisert. 17
Hvorfor teamet omtaler dette som rekursiv selvforbedring
VeriLoops påståtte særpreg er ikke bare at en agent kan generere flere patcher. I teamets framstilling har evidens først betydning når den endrer hvordan systemet senere skal undersøke, vurdere og korrigere arbeidet – ikke når den bare pynter på en konklusjon som allerede er valgt. 1
Det gir tre ulike nivåer:
- Prøving og feiling: En patch feiler, og systemet lager en ny kandidat.
- Vellykket verifisering: Én kandidat består de valgte kontrollene.
- Evidensstyrt forbedring: Motbevis endrer neste metode, for eksempel oppgaveinnramming, diagnostisk fokus, hvilke bevis som er tillatt, reparasjonsbegrensninger eller valideringsporter. Den reviderte metoden skal samtidig fortsatt kunne utfordres av nye bevis.
Dette samsvarer med en falsifikasjonsorientert forståelse av ingeniørarbeid: En test skal kunne avkrefte en gjeldende hypotese, og en bestått test er støtte for en kandidat under bestemte kontroller – ikke et universelt bevis. Den praktiske effekten er mer disiplinert tilstandshåndtering: skille observasjon fra konklusjon, bevare det som er validert, og la feilslåtte hypoteser begrense neste forsøk. 1
20
21
Den sterkere påstanden – at slike metodeendringer generaliserer bredt mellom kodebaser, eller utgjør autonom rekursiv selvforbedring i generell forstand – er ikke dokumentert av den offentlige informasjonen som er oppgitt her.
Hvorfor modellen er åpen, mens Harness-en er lukket
Prosjektet skiller mellom et gjenbrukbart modellag og et kontrollplan som koordinerer det. Modellen og de offentlige PEFT-artefaktene kan brukes til eksperimentering med resonnering om kodebaser og generering av artefakter. Den tilbakeholdte produksjons-Harness-en inneholder orkestreringen som kompilerer arbeidspakker, opprettholder oppgave- og versjonert tilstand, ruter evidens, planlegger faser, gjennomfører validering og håndterer tilbakerulling. 3
21
23
Grensen har en viktig konsekvens for reproduserbarhet: Å publisere en modell er ikke det samme som å publisere hele agenten som ble evaluert. Den gjør også prosjektets offentlige påstand mer presis: Coder-E1 er den spesialiserte kodemodellen, mens Self-Harness er kjøresystemet som styrer hvordan den brukes. Inntil dette kontrollaget blir tilgjengelig eller reprodusert uavhengig, bør benchmarkresultatene leses som resultater på systemnivå – ikke som en iboende egenskap ved det åpne modellkontrollpunktet alene. 1
21
23
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "VeriLoop Coder-E1: Benchmarkresultatene er mer enn åpne modellvekter"?
VeriLoop Coder E1 rapporterer 85,20 på SWE bench Verified, 62,38 på SWE bench Pro, 76,40 på Terminal Bench 2.0 og 33,63 på DeepSWE.
What are the key points to validate first?
VeriLoop Coder E1 rapporterer 85,20 på SWE bench Verified, 62,38 på SWE bench Pro, 76,40 på Terminal Bench 2.0 og 33,63 på DeepSWE. Den offentlige utgivelsen omfatter en Qwen3.6 27B basert kodemodell og PEFT artefakter for blant annet verktøykontrakter, usikkerhet, tilbakerulling og evidensbinding.