AnswersPublished18 sources
VeriLoop Coder-E1:n benchmark-tulokset nojaavat suljettuun Self-Harness-ohjauskerrokseen
VeriLoop Coder E1:lle raportoitiin tulokset 85,20 SWE bench Verifiedissä, 62,38 SWE bench Prossa, 76,40 Terminal Bench 2.0:ssa ja 33,63 DeepSWE:ssä. Avoin julkaisu sisältää Qwen3.6 27B pohjaisen 27 miljardin parametrin koodimallin sekä PEFT sovittimia.
JulkaisijaMuokattu mallilla GPT-5.6 TerraKuvat luotu mallilla GPT Image 2
Research answer
Key takeaways
- VeriLoop Coder E1:lle raportoitiin tulokset 85,20 SWE bench Verifiedissä, 62,38 SWE bench Prossa, 76,40 Terminal Bench 2.0:ssa ja 33,63 DeepSWE:ssä.
- Avoin julkaisu sisältää Qwen3.6 27B pohjaisen 27 miljardin parametrin koodimallin sekä PEFT sovittimia.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Tsinghua Shenzhen International Graduate School Intelligent Robotics Laboratory’s open-source VeriLoop Coder-E1—built on Qwen3.6-27B. Article summary: VeriLoop Coder-E1’s headline scores appear to be results of a complete prototype agent system—not of the downloadable 27B checkpoint alone. The reported gains come from pairing narrow-domain PEFT behavior modules with a . Topic tags: general, education, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, water
VeriLoop Coder-E1 kannattaa ymmärtää laajempaan ohjelmistovaraston korjausagenttiin kuuluvana mallikerroksena. Tsinghua Shenzhen International Graduate Schoolin tiimi raportoi mallille tulokset 85,20 SWE-bench Verifiedissä, 62,38 SWE-bench Prossa, 76,40 Terminal-Bench 2.0:ssa ja 33,63 DeepSWE:ssä. Luvut koskevat kuitenkin evidenssiohjattua VeriLoop-kokonaisuutta, jonka tuotantokäytössä oleva Self-Harness ei ole avointa lähdekoodia. 1
21
Ratkaiseva ero: mallipainot eivät ole sama asia kuin arvioitu järjestelmä
Julkinen malli perustuu Qwen3.6-27B:hen ja sisältää 27 miljardia parametria. Se on ohjelmistotekniikkaan tarkoitettu koodimalli, jonka tehtäviin kuuluvat koodipäättely, ohjelmistovaraston ymmärtäminen ja erilaisten työartefaktien tuottaminen. Hugging Facen materiaalien mukaan kyse on Apache-2.0-lisensoidusta avoimesta, ohjelmistotekniikkaan erikoistuneesta mallista. 5
21
Projektin dokumentaatiossa Self-Harness kuvataan suoritusympäristön ohjaavaksi perustaksi: se muuttaa mallin tuottaman tekstin rajatuksi, evidenssiin nojaavaksi ohjelmistotyöprosessiksi. Julkinen Evidence Binding -sovitin sanoo suoraan, että se on tarkoitettu käytettäväksi VeriLoop Harnessin alaisuudessa eikä korvaa koko ajo-, validointi-, evidenssi-, palautus-, hiekkalaatikko- ja observability-pinoa. 21
23
Siksi tuloksia ei pidä tulkita niin, että pelkkä avoimesti ladattava mallikontrollipiste tuottaisi samat luvut. Saatavilla olevien tietojen perusteella suorituskyky syntyy mallin ja sen ohjatun työnkulun yhdistelmästä. Lähteissä ei osoiteta, että tulokset olisi pystytty toistamaan riippumattomasti pelkistä avoimista painoista.
Mitä kapean alueen PEFT tuo mukanaan
VeriLoopin kuvauksessa perusmallia ei päivitetä jatkuvasti korjaustehtävän aikana. Sen sijaan kiinteään Qwen-pohjaan liitetään irrotettavia, kyvykkyyskohtaisia PEFT-sovittimia. Julkisissa materiaaleissa mainitaan neljä aluetta: ToolSpec, Uncertainty, Rollback ja Evidence Binding. 5
20
24
Sovittimien tarkoitus on auttaa mallia ohjelmistotekniikan työartefakteissa ja päätöksissä:
- Työkalusopimukset: työkalutoimintojen, syötteiden, rajoitteiden ja hyväksymisehtojen ilmaiseminen käyttökelpoisessa muodossa.
- Epävarmuuden käsittely: alustavien diagnoosien erottaminen vahvistetuista havainnoista.
- Evidenssin sitominen: väitteiden yhdistäminen ajon kuittauksiin sekä selkeän päätöksen ja rajatun seuraavan toimenpiteen tuottaminen.
- Palautustietoisuus: testaamatonta korjausta ei kohdella automaattisesti ohjelmistovaraston uutena totuutena.
20
Kyse on erikoistamisstrategiasta, ei täydellisestä julkisesta kuvauksesta koulutusaineistosta tai sovittimien toteutuksesta. Julkaisut tukevat väitettyjä kyvykkyyksiä ja niiden roolia, mutta eivät riitä kaikkien koulutusvaiheiden ratkaisujen riippumattomaan auditointiin. 20
24
Näin Evidence-Governed Spiral etenee
Järjestelmän keskeinen ajatus on tehdä koodin korjauksesta sarja rajattuja ja testattavia työpaketteja sen sijaan, että mallia pyydettäisiin toistuvasti kokeilemaan uutta korjausta. Projektin ja Tsinghuan kuvauksen mukaan jokainen muutos testataan; epäonnistumisia analysoidaan ja hyödynnetään seuraavan korjauskierroksen ohjaamiseen. 1
3
21
Käytännön tasolla silmukan voi lukea näin:
- Muodostetaan työpaketti. Harness yhdistää ongelmakuvauksen, ohjelmistovaraston kontekstin, rajapintarajoitteet ja hyväksymisehdot rakenteiseksi työpaketiksi.
3
- Tuotetaan ja suoritetaan rajattu ehdokas. Malli ehdottaa artefaktia tai korjausta, jonka jälkeen käytetään asiaankuuluvia työkaluja ja testejä.
1
- Vastaevidenssi korjaa suuntaa. Testivirheet, diagnostiikka, työkalujen kuittaukset ja rajapintaristiriidat haastavat nykyisen diagnoosin tai korjauksen. Ne eivät vain käynnistä jäsentymätöntä uutta yritystä.
- Seuraava paketti kootaan uudelleen. Uusi kierros sisältää edellisen artefaktin, virheet, kuittaukset, vastaevidenssin ja uudet rajoitteet.
- Korjataan paikallisesti ja varmistetaan. Järjestelmä kohdistaa työn ongelmaan liittyvään alueeseen, testaa muutoksen ja hyväksyy tai hylkää sen validointi- ja regressioehtojen perusteella.
- Säilytetään tai palautetaan. Jos ehdokas ei läpäise soveltuvia tarkastuksia, sitä muokataan tai se hylätään; sitä ei käsitellä hiljaisesti edistymisenä.
DeepSWE-arvioinnin julkaistussa tietueessa raportoidaan 38 läpäisyä 113 tehtävästä. Muut kuin läpäisseet tulokset laskettiin epäonnistumisiksi, mikä tuottaa 33,6283 prosenttia ja vastaa pyöristettyä 33,63:n tulosta. Tietue on kuitenkin merkitty itse julkaistuksi. 17
Miksi tiimi puhuu rekursiivisesta itseparannuksesta
VeriLoopin väite ei ole vain se, että agentti osaa tuottaa monta korjausehdotusta. Tiimin määritelmässä evidenssi on merkityksellistä vasta silloin, kun se muuttaa sitä, miten järjestelmä tutkii, arvioi ja korjaa myöhempää työtä — ei silloin, kun se vain koristaa jo valittua johtopäätöstä. 1
Tämä erottaa kolme tasoa:
- Kokeilu ja erehdys: korjaus epäonnistuu, joten järjestelmä tuottaa uuden ehdokkaan.
- Onnistunut varmennus: yksi ehdokas läpäisee valitut tarkastukset.
- Evidenssiohjattu parannus: vastaevidenssi muuttaa seuraavaa toimintatapaa, esimerkiksi tehtävän kehystystä, diagnostiikan kohdetta, hyväksyttävää evidenssiä, korjausrajoitetta tai validointiporttia. Muutettu toimintatapa on silti avoin myöhemmälle haastamiselle.
Ajattelutapa sopii falsifikaatiota painottavaan ohjelmistotekniikkaan: testin pitäisi pystyä kumoamaan nykyinen hypoteesi, ja läpäisty testi on näyttöä ehdokkaan puolesta vain tietyillä tarkastuksilla — ei yleispätevä todistus. Käytännössä olennaista on kurinalainen tilanhallinta: havainnot erotetaan johtopäätöksistä, validoitu tieto säilytetään ja epäonnistuneet hypoteesit rajaavat seuraavaa yritystä. 1
20
21
Vahvempi väite — että tällaiset menetelmämuutokset yleistyvät laajasti eri ohjelmistovarastoihin tai että kyse on yleisessä mielessä autonomisesta rekursiivisesta itseparannuksesta — ei ole annettujen julkisten tietojen perusteella todistettu.
Miksi malli on avoin, mutta Harness suljettu
Projektissa erotetaan uudelleenkäytettävä mallitausta ja sen käyttöä koordinoiva ohjaustaso. Malli ja julkiset PEFT-artefaktit voivat tukea kokeiluja ohjelmistovarastojen päättelyssä ja työartefaktien tuottamisessa. Suljettu tuotanto-Harness sisältää orkestroinnin, joka kokoaa työpaketit, ylläpitää tehtävä- ja versiotilaa, reitittää evidenssiä, aikatauluttaa vaiheita, soveltaa validointia ja hallitsee palautusta. 3
21
23
Rajalla on olennainen vaikutus toistettavuuteen: mallin julkaiseminen ei tarkoita, että koko arvioitu agentti olisi julkaistu. Samalla se täsmentää projektin väitettä: Coder-E1 on erikoistunut koodimalli, kun taas Self-Harness on sen käyttöä ohjaava suoritusjärjestelmä. Ennen kuin ohjauspino on saatavilla tai toistettu riippumattomasti, benchmark-lukuja on tulkittava järjestelmätason tuloksina — ei avoimen mallikontrollipisteen yksinään synnyttäminä ominaisuuksina. 1
21
23
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "VeriLoop Coder-E1:n benchmark-tulokset nojaavat suljettuun Self-Harness-ohjauskerrokseen"?
VeriLoop Coder E1:lle raportoitiin tulokset 85,20 SWE bench Verifiedissä, 62,38 SWE bench Prossa, 76,40 Terminal Bench 2.0:ssa ja 33,63 DeepSWE:ssä.
What are the key points to validate first?
VeriLoop Coder E1:lle raportoitiin tulokset 85,20 SWE bench Verifiedissä, 62,38 SWE bench Prossa, 76,40 Terminal Bench 2.0:ssa ja 33,63 DeepSWE:ssä. Avoin julkaisu sisältää Qwen3.6 27B pohjaisen 27 miljardin parametrin koodimallin sekä PEFT sovittimia.