AnswersPublished18 sources
VeriLoop Coder-E1: de hoge scores draaien ook om een gesloten Self-Harness
VeriLoop Coder E1 rapporteert 85,20 op SWE bench Verified, 62,38 op SWE bench Pro, 76,40 op Terminal Bench 2.0 en 33,63 op DeepSWE. De openbare release bevat een op Qwen3.6 27B gebaseerd model en gespecialiseerde PEFT adapters.
Gepubliceerd doorBewerkt met GPT-5.6 TerraAfbeeldingen gegenereerd met GPT Image 2
Research answer
Key takeaways
- VeriLoop Coder E1 rapporteert 85,20 op SWE bench Verified, 62,38 op SWE bench Pro, 76,40 op Terminal Bench 2.0 en 33,63 op DeepSWE.
- De openbare release bevat een op Qwen3.6 27B gebaseerd model en gespecialiseerde PEFT adapters.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Tsinghua Shenzhen International Graduate School Intelligent Robotics Laboratory’s open-source VeriLoop Coder-E1—built on Qwen3.6-27B. Article summary: VeriLoop Coder-E1’s headline scores appear to be results of a complete prototype agent system—not of the downloadable 27B checkpoint alone. The reported gains come from pairing narrow-domain PEFT behavior modules with a . Topic tags: general, education, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, water
De opvallende scores van VeriLoop Coder-E1 moeten niet worden gelezen als een eigenschap van alleen het open modelbestand. Het team van de Tsinghua Shenzhen International Graduate School rapporteert 85,20 op SWE-bench Verified, 62,38 op SWE-bench Pro, 76,40 op Terminal-Bench 2.0 en 33,63 op DeepSWE. Die resultaten zijn behaald met de evidence-gestuurde VeriLoop-opstelling, waarvan de productieversie van de Self-Harness niet open source is. 1
21
Cruciaal verschil: modelgewichten versus het geteste systeem
Het publieke model is een codeermodel met 27 miljard parameters, gebaseerd op Qwen3.6-27B. Het is bedoeld voor redeneren over code, begrip van repositories en het maken van software-artefacten. Volgens de Hugging Face-documentatie gaat het om een open verticaal model voor software-engineering onder de Apache-2.0-licentie. 5
21
De documentatie beschrijft Self-Harness echter als de laag die modeluitvoer omzet in een afgebakend engineeringproces waarin bewijs centraal staat. De openbare Evidence Binding-adapter vermeldt expliciet dat deze bedoeld is voor gebruik onder de VeriLoop Harness. De adapter vervangt dus niet zelfstandig de volledige runtime, validator, bewijslaag, rollback, sandbox en observability-stack. 21
23
Kort gezegd: het downloaden en laden van het modelcheckpoint is geen bewijs dat de gepubliceerde benchmarkscores reproduceerbaar zijn. De beschikbare informatie ondersteunt een beperktere conclusie: de prestaties komen voort uit het model én de georkestreerde workflow eromheen. Onafhankelijke reproductie met uitsluitend de openbare gewichten is in de aangeleverde bronnen niet vastgesteld.
Wat gespecialiseerde PEFT toevoegt
VeriLoop beschrijft geen systeem waarbij het basismodel tijdens een reparatietaak steeds verder wordt aangepast. In plaats daarvan blijft de Qwen-basis vast en worden afneembare, taakspecifieke PEFT-lagen gebruikt. PEFT staat voor parameter-efficient fine-tuning: gerichte aanpassingen zonder een volledig basismodel opnieuw te trainen. De openbare materialen noemen vier domeinen: ToolSpec, Uncertainty, Rollback en Evidence Binding. 5
20
24
Functioneel zijn deze adapters bedoeld om het model beter te laten omgaan met typische software-engineeringbeslissingen en -artefacten:
- Toolcontracten: bruikbare toolacties, invoer, beperkingen en acceptatievoorwaarden formuleren.
- Omgaan met onzekerheid: voorlopige diagnoses gescheiden houden van vastgestelde bevindingen.
- Bewijsbinding: conclusies koppelen aan uitvoerbewijzen en expliciet een oordeel plus begrensde vervolgstap geven.
- Rollback-bewustzijn: voorkomen dat een onbevestigde patch stilzwijgend als de nieuwe waarheid van de repository geldt.
20
Dit is een strategie voor specialisatie, geen volledig openbaar verslag van trainingsdata of adapterimplementaties. De vrijgegeven informatie onderbouwt de beoogde functies, maar biedt onvoldoende detail om iedere keuze in de trainingspijplijn onafhankelijk te controleren. 20
24
Zo werkt de evidence-gestuurde spiraal
De kern is om codeherstel op te delen in begrensde, toetsbare werkpakketten, in plaats van het model steeds opnieuw vrijblijvend om een patch te vragen. Volgens het project en de beschrijving van Tsinghua moet iedere codewijziging worden getest; bij een mislukking volgt analyse, correctie en een volgende validatieronde. 1
3
21
Praktisch gelezen verloopt de lus als volgt:
- Stel een taakpakket samen. De Harness combineert het issue met repositorycontext, interfacebeperkingen en acceptatievoorwaarden in een gestructureerd werkpakket.
3
- Genereer en voer een begrensde kandidaat uit. Het model stelt een artefact of patch voor, waarna relevante repositorytools en tests worden gebruikt.
1
- Gebruik tegenbewijs als correctie. Testfouten, diagnostiek, toolresultaten en interfaceconflicten zetten de huidige diagnose of patch onder druk, in plaats van alleen een ongestructureerde nieuwe poging uit te lokken.
- Compileer het volgende pakket opnieuw. De nieuwe ronde verwerkt het eerdere artefact, fouten, toolbewijzen, tegenbewijs en nieuwe beperkingen.
- Herstel lokaal en verifieer. Het systeem richt zich op het betrokken probleem, test de wijziging en accepteert of verwerpt die via validatie- en regressievoorwaarden.
- Behoud of draai terug. Een kandidaat die niet aan de relevante controles voldoet, wordt aangepast of verworpen; hij telt niet ongemerkt als vooruitgang.
Voor DeepSWE meldt het gepubliceerde evaluatierecord 38 geslaagde taken van in totaal 113; niet-geslaagde uitkomsten werden als fout geteld. Dat resulteert in 33,6283%, in lijn met de gemelde score van 33,63. Het record is wel als zelfgepubliceerd aangeduid. 17
Meer dan herhaald proberen of alleen een geslaagde test
VeriLoop claimt niet alleen dat een agent meerdere patches kan maken. In de framing van het team is bewijs pas wezenlijk als het verandert hoe het systeem vervolgwerk onderzoekt, beoordeelt en corrigeert — niet als het slechts een al gekozen conclusie opsmukt. 1
Dat onderscheid levert drie niveaus op:
- Trial-and-error: een patch faalt, dus het systeem genereert een volgende kandidaat.
- Geslaagde verificatie: één kandidaat haalt de gekozen controles.
- Evidence-gestuurde verbetering: tegenbewijs verandert de volgende werkwijze, bijvoorbeeld de taakformulering, diagnostische focus, toegelaten bewijsvorm, herstelbeperking of validatiepoort. Ook die aangepaste werkwijze blijft vatbaar voor nieuw tegenbewijs.
Dit sluit aan bij een falsificatiegerichte kijk op engineering: een test moet een bestaande hypothese kunnen ontkrachten. Een geslaagde test is bewijs voor een kandidaat onder specifieke controles, geen universeel bewijs dat de oplossing altijd juist is. Praktisch draait het dus om gedisciplineerd statusbeheer: onderscheid maken tussen observatie en conclusie, gevalideerde resultaten bewaren en mislukte hypotheses de volgende poging laten begrenzen. 1
20
21
De sterkere stelling — dat zulke methodewijzigingen breed overdraagbaar zijn tussen repositories of neerkomen op algemene autonome, recursieve zelfverbetering — is op basis van de openbare informatie nog niet bewezen.
Waarom het model open is, maar de Harness niet
Het project scheidt een herbruikbare modelbackend van de besturingslaag die het gebruik ervan coördineert. Het model en de openbare PEFT-artefacten kunnen ontwikkelaars helpen experimenteren met repositoryredenering en het genereren van software-artefacten. De achtergehouden productie-Harness bevat de orkestratie: taakpakketten samenstellen, taak- en versiegebonden status bijhouden, bewijs routeren, fasen plannen, validatie toepassen en rollback beheren. 3
21
23
Dat heeft een directe consequentie voor reproduceerbaarheid: een model publiceren is niet hetzelfde als de volledige geteste agent publiceren. De publieke claim wordt daarmee ook preciezer. Coder-E1 is het gespecialiseerde codeermodel; Self-Harness is het uitvoersysteem dat bepaalt hoe het model wordt ingezet. Zolang die besturingsstack niet beschikbaar is of onafhankelijk is nagebouwd, moeten de benchmarkscores worden gezien als resultaten op systeemniveau — niet als een inherente eigenschap van alleen het open checkpoint. 1
21
23
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "VeriLoop Coder-E1: de hoge scores draaien ook om een gesloten Self-Harness"?
VeriLoop Coder E1 rapporteert 85,20 op SWE bench Verified, 62,38 op SWE bench Pro, 76,40 op Terminal Bench 2.0 en 33,63 op DeepSWE.
What are the key points to validate first?
VeriLoop Coder E1 rapporteert 85,20 op SWE bench Verified, 62,38 op SWE bench Pro, 76,40 op Terminal Bench 2.0 en 33,63 op DeepSWE. De openbare release bevat een op Qwen3.6 27B gebaseerd model en gespecialiseerde PEFT adapters.