AnswersPublished18 sources
VeriLoop Coder-E1: vysoká skóre patří systému, ne samotnému modelu
VeriLoop Coder E1 uvádí skóre 85,20 v SWE bench Verified, 62,38 v SWE bench Pro, 76,40 v Terminal Bench 2.0 a 33,63 v DeepSWE. Veřejná část zahrnuje model založený na Qwen3.6 27B a specializované PEFT adaptéry.
PublikovalUpraveno pomocí GPT-5.6 TerraObrázky vytvořeny pomocí GPT Image 2
Research answer
Key takeaways
- VeriLoop Coder E1 uvádí skóre 85,20 v SWE bench Verified, 62,38 v SWE bench Pro, 76,40 v Terminal Bench 2.0 a 33,63 v DeepSWE.
- Veřejná část zahrnuje model založený na Qwen3.6 27B a specializované PEFT adaptéry.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Tsinghua Shenzhen International Graduate School Intelligent Robotics Laboratory’s open-source VeriLoop Coder-E1—built on Qwen3.6-27B. Article summary: VeriLoop Coder-E1’s headline scores appear to be results of a complete prototype agent system—not of the downloadable 27B checkpoint alone. The reported gains come from pairing narrow-domain PEFT behavior modules with a . Topic tags: general, education, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, water
VeriLoop Coder-E1 je vhodné chápat jako modelovou vrstvu většího agenta pro opravy repozitářů. Tým z Tsinghua Shenzhen International Graduate School uvádí skóre 85,20 v SWE-bench Verified, 62,38 v SWE-bench Pro, 76,40 v Terminal-Bench 2.0 a 33,63 v DeepSWE. Tato čísla ale popisují evidence-governed sestavu VeriLoop, jejíž produkční Self-Harness není open source. 1
21
Zásadní rozdíl: váhy modelu versus hodnocený systém
Veřejný model má 27 miliard parametrů, vychází z Qwen3.6-27B a je určen pro uvažování nad kódem, porozumění repozitáři a tvorbu softwarových artefaktů. Materiály na Hugging Face jej popisují jako otevřený oborový model pro softwarové inženýrství pod licencí Apache-2.0. 5
21
Sama dokumentace projektu však označuje Self-Harness za řídicí exekuční vrstvu: ta mění výstup modelu na omezený, na důkazech založený inženýrský proces. Veřejný adaptér Evidence Binding výslovně uvádí, že má běžet pod VeriLoop Harness a nenahrazuje celý runtime, validátor, evidenční vrstvu, rollback, sandbox ani observabilitu. 21
23
Z těchto informací plyne důležité omezení: stažení checkpointu a jeho samostatné spuštění není prokázanou cestou k reprodukci publikovaných výsledků. Dostupné podklady podporují užší závěr: deklarovaný výkon vzniká kombinací modelu a řízeného pracovního postupu. Nezávislá reprodukce pouze z veřejných vah ve zdrojích doložena není.
Co přináší úzce zaměřené PEFT
VeriLoop nepopisuje průběžné přepisování základního modelu během jedné opravné úlohy. Pracuje spíše s pevným základem Qwen a odpojitelnými, schopnostně zaměřenými PEFT vrstvami. Veřejné materiály uvádějí čtyři oblasti: ToolSpec, Uncertainty, Rollback a Evidence Binding. 5
20
24
Tyto adaptéry mají modelu pomoci zejména s tímto:
- Nástrojové kontrakty: popsat proveditelné akce nástrojů, jejich vstupy, omezení a podmínky přijetí výsledku.
- Práce s nejistotou: oddělit předběžnou diagnózu od zjištění, které už má oporu v důkazech.
- Vazba tvrzení na důkazy: propojit závěry s výstupy běhů a vytvářet explicitní verdikt i omezený další krok.
- Rollback: nezacházet s neověřeným patchem jako s novým platným stavem repozitáře.
20
Jde o strategii specializace, nikoli o úplný veřejný popis tréninkových dat či implementace adaptérů. Zveřejněné materiály dokládají deklarované funkce a jejich zamýšlenou úlohu, ale neumožňují nezávisle prověřit každé rozhodnutí v tréninkovém procesu. 20
24
Jak funguje „spirála řízená důkazy“
Ústřední myšlenkou je proměnit opravu kódu v posloupnost omezených a testovatelných pracovních balíčků, místo aby model jen stále dokola zkoušel další patch. Podle popisu projektu i Tsinghua musí být každá vygenerovaná změna otestována; neúspěch se analyzuje a použije pro další cyklus opravy. 1
3
21
Prakticky lze tento postup číst takto:
- Sestavení pracovního balíčku. Harness spojí zadání problému, kontext repozitáře, omezení rozhraní a akceptační podmínky do strukturovaného balíčku práce.
3
- Vytvoření a spuštění omezeného kandidáta. Model navrhne artefakt či patch a následně se spustí relevantní nástroje a testy repozitáře.
1
- Práce s proti-důkazy. Selhané testy, diagnostika, výstupy nástrojů a konflikty rozhraní zpochybňují aktuální diagnózu či patch; nejde pouze o signál k nestrukturovanému opakování pokusu.
- Překompilování dalšího balíčku. Další kolo zahrne předchozí artefakt, chyby, výstupy, proti-důkazy i nově zavedená omezení.
- Lokální oprava a ověření. Systém se soustředí na dotčený problém, změnu testuje a přijme nebo odmítne ji podle validačních a regresních podmínek.
- Ponechání nebo vrácení změny. Kandidát, který neprojde příslušnými kontrolami, je upraven nebo zahozen; nesmí se tiše vydávat za pokrok.
Pro DeepSWE zveřejněný záznam hodnocení uvádí 38 úspěchů ze 113 úloh, přičemž všechny neúspěšné výsledky byly započítány jako selhání. To odpovídá hodnotě 33,6283 %, tedy zaokrouhlenému skóre 33,63. Záznam je ovšem označen jako vlastní publikace autora projektu. 17
Proč tomu tým říká rekurzivní sebezdokonalování
Rozdíl podle VeriLoop nespočívá jen v tom, že agent zvládne vygenerovat několik patchů. Důkaz má mít význam teprve tehdy, když změní způsob, jímž systém v budoucnu zkoumá problém, posuzuje ho a opravuje — ne když pouze dodatečně zdobí předem zvolený závěr. 1
To rozlišuje tři úrovně:
- Pokus a omyl: patch selže, systém vytvoří další kandidát.
- Úspěšné ověření: jeden kandidát projde zvolenými kontrolami.
- Zlepšování řízené důkazy: proti-důkazy změní příští postup — například formulaci úlohy, diagnostické zaměření, přípustné důkazy, omezení opravy nebo validační bránu — a tento upravený postup může být znovu zpochybněn dalšími důkazy.
Tento přístup odpovídá falzifikačně orientovanému pohledu na inženýrství: test má být schopný vyvrátit současnou hypotézu a úspěšný výsledek je důkazem pro konkrétního kandidáta za konkrétních podmínek, nikoli univerzálním důkazem správnosti. Prakticky je podstatné disciplinované řízení stavu: rozlišovat pozorování od závěru, uchovávat ověřené poznatky a nechat selhané hypotézy omezit další pokus. 1
20
21
Silnější tvrzení — že se takové změny metody široce zobecňují mezi repozitáři nebo že jde o autonomní rekurzivní sebezdokonalování v obecném smyslu — z poskytnutých veřejných informací prokázáno není.
Proč je model otevřený, ale Harness zůstává neveřejný
Projekt odděluje znovupoužitelný modelový backend od řídicí roviny, která koordinuje jeho použití. Model a veřejné PEFT artefakty mohou sloužit k experimentům s porozuměním repozitářům a tvorbou artefaktů. Nezveřejněný produkční Harness ale obsahuje orchestraci, která sestavuje pracovní balíčky, udržuje stav úlohy a verzí, směruje důkazy, plánuje fáze, aplikuje validaci a spravuje rollback. 3
21
23
Tato hranice má zásadní dopad na reprodukovatelnost: zveřejnit model neznamená zveřejnit celý hodnocený agentní systém. Přesněji řečeno: Coder-E1 je specializovaný model pro práci s kódem, Self-Harness je exekuční systém, který určuje, jak se model použije. Dokud nebude řídicí vrstva dostupná nebo nezávisle znovu vytvořena, je vhodné benchmarková skóre chápat jako výsledky celého systému, nikoli jako vlastnost samotného otevřeného checkpointu. 1
21
23
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "VeriLoop Coder-E1: vysoká skóre patří systému, ne samotnému modelu"?
VeriLoop Coder E1 uvádí skóre 85,20 v SWE bench Verified, 62,38 v SWE bench Pro, 76,40 v Terminal Bench 2.0 a 33,63 v DeepSWE.
What are the key points to validate first?
VeriLoop Coder E1 uvádí skóre 85,20 v SWE bench Verified, 62,38 v SWE bench Pro, 76,40 v Terminal Bench 2.0 a 33,63 v DeepSWE. Veřejná část zahrnuje model založený na Qwen3.6 27B a specializované PEFT adaptéry.