AnswersPublished18 sources
VeriLoop Coder-E1: Därför går benchmarkresultaten inte att skilja från det slutna Self-Harness
VeriLoop Coder E1 rapporterar 85,20 på SWE bench Verified, 62,38 på SWE bench Pro, 76,40 på Terminal Bench 2.0 och 33,63 på DeepSWE. Den publika releasen omfattar en Qwen3.6 27B baserad kodmodell och specialiserade PEFT adaptrar.
Publicerad avRedigerad med GPT-5.6 TerraBilder genererade med GPT Image 2
Research answer
Key takeaways
- VeriLoop Coder E1 rapporterar 85,20 på SWE bench Verified, 62,38 på SWE bench Pro, 76,40 på Terminal Bench 2.0 och 33,63 på DeepSWE.
- Den publika releasen omfattar en Qwen3.6 27B baserad kodmodell och specialiserade PEFT adaptrar.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Tsinghua Shenzhen International Graduate School Intelligent Robotics Laboratory’s open-source VeriLoop Coder-E1—built on Qwen3.6-27B. Article summary: VeriLoop Coder-E1’s headline scores appear to be results of a complete prototype agent system—not of the downloadable 27B checkpoint alone. The reported gains come from pairing narrow-domain PEFT behavior modules with a . Topic tags: general, education, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, water
VeriLoop Coder-E1 bör främst förstås som modellskiktet i en större agent för reparation av kodförråd. Teamet vid Tsinghua Shenzhen International Graduate School rapporterar 85,20 på SWE-bench Verified, 62,38 på SWE-bench Pro, 76,40 på Terminal-Bench 2.0 och 33,63 på DeepSWE. De siffrorna gäller VeriLoop-upplägget med evidensstyrning, där produktionsversionen av Self-Harness inte är öppen källkod. 1
21
Den avgörande skillnaden: modellvikter och det testade systemet
Den publika modellen bygger på Qwen3.6-27B och har 27 miljarder parametrar. Den är avsedd för kodresonemang, förståelse av kodförråd och generering av artefakter. Materialet på Hugging Face beskriver den som en öppen, vertikal modell för mjukvaruutveckling under Apache-2.0-licens. 5
21
Projektets egen dokumentation beskriver däremot Self-Harness som det styrande exekveringslagret: komponenten som gör modellens utdata till en avgränsad och evidensdriven arbetsprocess. Den publika adaptern för evidensbindning säger uttryckligen att den ska köras under VeriLoop Harness och inte ersätter hela miljön för exekvering, validering, evidens, återställning, sandboxning och observabilitet. 21
23
Benchmarkresultaten bör alltså inte läsas som ett bevis för att den nedladdningsbara modellkontrollpunkten ensam kan återskapa siffrorna. Det tillgängliga underlaget stödjer en snävare slutsats: den rapporterade prestandan kommer från modellen tillsammans med dess styrda arbetsflöde. Någon oberoende reproduktion från de offentliga vikterna har inte visats i de källor som finns här.
Vad domänspecifik PEFT tillför
I stället för att uppdatera basmodellen fortlöpande under en reparationsuppgift beskriver VeriLoop en fast Qwen-bas med löstagbara, kapacitetsspecifika PEFT-ytor. PEFT står för parameter-effektiv finjustering. Det publika materialet identifierar fyra områden: ToolSpec, Uncertainty, Rollback och Evidence Binding. 5
20
24
I praktiken är adaptrarna avsedda att göra modellen bättre på tekniska artefakter och beslut i mjukvaruutveckling:
- Verktygskontrakt: att uttrycka användbara verktygsåtgärder, indata, begränsningar och acceptansvillkor.
- Hantering av osäkerhet: att hålla preliminära diagnoser åtskilda från fastställda observationer.
- Evidensbindning: att koppla påståenden till exekveringskvitton och formulera ett tydligt utlåtande samt nästa avgränsade åtgärd.
- Medvetenhet om återställning: att inte behandla en otestad patch som kodförrådets nya sanning.
20
Detta är en specialiseringsstrategi, inte en fullständig offentlig redovisning av träningsdata eller adapterimplementation. Releasen styrker de angivna funktionerna och deras avsedda roll, men ger inte tillräcklig information för att oberoende granska varje val i träningsprocessen. 20
24
Så fungerar den evidensstyrda spiralen
Kärnidén är att göra kodreparation till en följd av begränsade och testbara arbetspaket, i stället för att upprepade gånger be modellen prova ännu en patch. Enligt projektet och Tsinghuas beskrivning måste varje kodändring testas; fel analyseras och styr nästa reparationsvarv. 1
3
21
Arbetscykeln kan förstås så här:
- Bygg ett uppgiftspaket. Harness kombinerar ärendet, kontexten i kodförrådet, gränssnittsbegränsningar och acceptansvillkor i ett strukturerat arbetspaket.
3
- Skapa och kör en avgränsad kandidat. Modellen föreslår en artefakt eller patch, varefter relevanta verktyg och tester i kodförrådet körs.
1
- Låt motevidens korrigera. Testfel, diagnostik, verktygskvitton och gränssnittskonflikter ska utmana den aktuella diagnosen eller patchen, snarare än bara utlösa ett ostrukturerat nytt försök.
- Kompilera om nästa paket. Nästa varv tar med föregående artefakt, fel, kvitton, motevidens och nytillkomna begränsningar.
- Reparera lokalt och verifiera. Systemet fokuserar på det berörda problemet, testar ändringen och godkänner eller avslår den utifrån validerings- och regressionskrav.
- Behåll eller återställ. En kandidat som inte klarar aktuella kontroller revideras eller förkastas, i stället för att tyst räknas som framsteg.
För DeepSWE uppger projektets publicerade utvärderingspost 38 godkända resultat av 113 uppgifter. Icke godkända resultat räknas som fel, vilket ger 33,6283 procent. Det stämmer med den rapporterade siffran 33,63, men posten är märkt som självpublicerad. 17
Därför kallar teamet det rekursiv självförbättring
VeriLoops påstådda särdrag är inte bara att en agent kan generera flera patchar. I teamets beskrivning blir evidens betydelsefull först när den ändrar hur systemet undersöker, bedömer och korrigerar senare arbete – inte när den bara används som dekor för en redan vald slutsats. 1
Det ger tre olika nivåer:
- Försök och misstag: en patch misslyckas och systemet skapar en annan kandidat.
- Verifieringsframgång: en kandidat klarar de valda kontrollerna.
- Evidensstyrd förbättring: motevidens förändrar nästa metod, exempelvis uppgiftsinramning, diagnostiskt fokus, tillåten evidens, reparationsbegränsning eller valideringsgrind. Den reviderade metoden kan sedan själv utmanas av ny evidens.
Det ligger nära ett falsifikationsorienterat synsätt på ingenjörsarbete: ett test ska kunna motbevisa en aktuell hypotes, medan ett godkänt resultat är stöd för en kandidat under vissa kontroller – inte ett universellt bevis. Den viktiga praktiska effekten är disciplin i tillståndshanteringen: skilj observationer från slutsatser, bevara det som validerats och låt misslyckade hypoteser begränsa nästa försök. 1
20
21
Det starkare påståendet – att metodförändringarna generaliserar brett mellan kodförråd eller utgör autonom rekursiv självförbättring i generell mening – är däremot inte bevisat av den publika informationen här.
Varför modellen är öppen men Harness är slutet
Projektet skiljer mellan en återanvändbar modellbackend och ett kontrollplan som samordnar den. Modellen och de publika PEFT-artefakterna kan användas för experiment med resonemang om kodförråd och artefaktgenerering. Det undanhållna produktions-Harness innehåller orkestreringen som bygger upp uppgiftspaket, hanterar uppgifts- och versionsstatus, dirigerar evidens, schemalägger steg, tillämpar validering och sköter återställning. 3
21
23
Gränsdragningen har en viktig följd för reproducerbarheten: att publicera en modell är inte samma sak som att publicera hela den utvärderade agenten. Den gör också projektets offentliga påstående mer precist. Coder-E1 är den specialiserade kodmodellen; Self-Harness är exekveringssystemet som styr hur den används. Tills kontrollstacken finns tillgänglig eller har återskapats oberoende bör benchmarkresultaten tolkas som resultat på systemnivå, inte som en inneboende egenskap hos enbart den öppna modellkontrollpunkten. 1
21
23
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "VeriLoop Coder-E1: Därför går benchmarkresultaten inte att skilja från det slutna Self-Harness"?
VeriLoop Coder E1 rapporterar 85,20 på SWE bench Verified, 62,38 på SWE bench Pro, 76,40 på Terminal Bench 2.0 och 33,63 på DeepSWE.
What are the key points to validate first?
VeriLoop Coder E1 rapporterar 85,20 på SWE bench Verified, 62,38 på SWE bench Pro, 76,40 på Terminal Bench 2.0 och 33,63 på DeepSWE. Den publika releasen omfattar en Qwen3.6 27B baserad kodmodell och specialiserade PEFT adaptrar.