AnswersPublished18 sources
VeriLoop Coder-E1: wysokie wyniki benchmarków to zasługa także prywatnego Self-Harness
Zgłoszone wyniki — 85,20 w SWE bench Verified, 62,38 w SWE bench Pro, 76,40 w Terminal Bench 2.0 i 33,63 w DeepSWE — opisują system łączący otwarty model 27B z prywatnym środowiskiem wykonawczym. Publiczne wydanie obejmuje model oparty na Qwen3.6 27B oraz wyspecjalizowane adaptery PEFT; zamknięty Self Harness zarząd...
Opublikowane przezEdytowane za pomocą GPT-5.6 TerraObrazy wygenerowane za pomocą GPT Image 2
Research answer
Key takeaways
- Zgłoszone wyniki — 85,20 w SWE bench Verified, 62,38 w SWE bench Pro, 76,40 w Terminal Bench 2.0 i 33,63 w DeepSWE — opisują system łączący otwarty model 27B z prywatnym środowiskiem wykonawczym.
- Publiczne wydanie obejmuje model oparty na Qwen3.6 27B oraz wyspecjalizowane adaptery PEFT; zamknięty Self Harness zarządza cyklem dowodowym, testami, walidacją i wycofywaniem nieudanych zmian.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Tsinghua Shenzhen International Graduate School Intelligent Robotics Laboratory’s open-source VeriLoop Coder-E1—built on Qwen3.6-27B. Article summary: VeriLoop Coder-E1’s headline scores appear to be results of a complete prototype agent system—not of the downloadable 27B checkpoint alone. The reported gains come from pairing narrow-domain PEFT behavior modules with a . Topic tags: general, education, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, water
VeriLoop Coder-E1 należy rozumieć przede wszystkim jako warstwę modelową większego agenta do naprawy repozytoriów. Zespół z Tsinghua Shenzhen International Graduate School podaje wyniki: 85,20 w SWE-bench Verified, 62,38 w SWE-bench Pro, 76,40 w Terminal-Bench 2.0 oraz 33,63 w DeepSWE. Te liczby dotyczą jednak konfiguracji VeriLoop opartej na dowodach, której produkcyjny Self-Harness nie został udostępniony jako open source. 1
21
Najważniejsze rozróżnienie: wagi modelu a oceniany system
Publicznie dostępny model to 27-miliardowy model kodowy oparty na Qwen3.6-27B, przeznaczony do rozumowania nad kodem, analizy repozytoriów i tworzenia artefaktów inżynierskich. Materiały na Hugging Face opisują go jako otwarty, branżowo wyspecjalizowany model dla inżynierii oprogramowania, udostępniony na licencji Apache-2.0. 5
21
Jednocześnie dokumentacja projektu określa Self-Harness jako nadrzędne środowisko wykonawcze: warstwę, która zamienia odpowiedzi modelu w ograniczony i oparty na dowodach proces inżynierski. Publiczny adapter Evidence Binding wprost zaznacza, że ma działać pod kontrolą VeriLoop Harness i nie zastępuje pełnego środowiska wykonawczego, walidatora, mechanizmów pracy z dowodami, rollbacku, piaskownicy ani systemu obserwowalności. 21
23
Nie należy więc odczytywać tych wyników jako dowodu, że samo pobranie checkpointu pozwoli powtórzyć opublikowane rezultaty. Dostępne materiały uzasadniają węższy wniosek: zgłoszona skuteczność wynika z połączenia modelu i sterowanego przez Harness procesu pracy. Źródła nie potwierdzają niezależnego odtworzenia wyników na podstawie samych publicznych wag.
Co wnosi wyspecjalizowany PEFT
Zamiast stale aktualizować model bazowy podczas zadania naprawczego, VeriLoop opisuje stałą bazę Qwen połączoną z odłączalnymi, wyspecjalizowanymi powierzchniami PEFT. Publiczne materiały wskazują cztery obszary: ToolSpec, Uncertainty, Rollback oraz Evidence Binding. 5
20
24
Funkcjonalnie adaptery te mają poprawiać tworzenie artefaktów inżynierskich i podejmowanie decyzji:
- Kontrakty narzędziowe: opisywanie dostępnych działań narzędzi, danych wejściowych, ograniczeń i kryteriów akceptacji.
- Obsługa niepewności: oddzielanie wstępnych diagnoz od ustaleń potwierdzonych.
- Wiązanie twierdzeń z dowodami: łączenie wniosków z wynikami wykonania, formułowanie jawnego werdyktu i ograniczonego następnego kroku.
- Świadomość rollbacku: niedopuszczanie, by niezweryfikowana poprawka automatycznie stawała się nowym stanem referencyjnym repozytorium.
20
To strategia specjalizacji, a nie kompletny publiczny opis zbioru treningowego czy implementacji adapterów. Ujawnione materiały potwierdzają deklarowane funkcje i ich rolę, lecz nie wystarczają do niezależnego audytu wszystkich decyzji podjętych na etapie treningu. 20
24
Jak działa „Spirala sterowana dowodami”
Kluczowa idea systemu polega na tym, by naprawa kodu była serią ograniczonych i testowalnych pakietów pracy, a nie wielokrotnym proszeniem modelu o kolejną łatkę. Według opisu projektu i zespołu z Tsinghua każda wygenerowana zmiana musi zostać przetestowana; niepowodzenia są analizowane i kierują następnym cyklem naprawy. 1
3
21
Praktycznie można ten cykl odczytać tak:
- Zbudowanie pakietu zadania. Harness łączy zgłoszenie problemu, kontekst repozytorium, ograniczenia interfejsów i warunki akceptacji w ustrukturyzowany pakiet roboczy.
3
- Wygenerowanie i uruchomienie ograniczonego kandydata. Model proponuje artefakt lub poprawkę, po czym wywoływane są właściwe narzędzia i testy repozytorium.
1
- Traktowanie kontrdowodów jako korekty. Błędy testów, diagnostyka, wyniki narzędzi i konflikty interfejsów podważają bieżącą diagnozę albo łatkę, zamiast tylko wywoływać nieustrukturyzowaną ponowną próbę.
- Ponowna kompilacja pakietu. Kolejna runda uwzględnia wcześniejszy artefakt, błędy, wyniki narzędzi, kontrdowody i nowe ograniczenia.
- Lokalna naprawa i weryfikacja. System skupia się na wskazanym problemie, testuje zmianę i przyjmuje albo odrzuca ją według warunków walidacji oraz regresji.
- Zachowanie zmiany lub rollback. Kandydat, który nie przejdzie wymaganych kontroli, jest poprawiany albo odrzucany — nie jest po cichu uznawany za postęp.
Dla DeepSWE opublikowany zapis ewaluacji podaje 38 zaliczonych zadań na 113, przy traktowaniu wszystkich niezaliczonych wyników jako porażek, co daje 33,6283%. Jest to zgodne z raportowanym wynikiem 33,63, choć rekord oznaczono jako opublikowany przez sam zespół. 17
Dlaczego zespół mówi o rekurencyjnym samodoskonaleniu
Deklarowana różnica VeriLoop nie sprowadza się do tego, że agent potrafi wygenerować kilka poprawek. W ujęciu zespołu dowód ma znaczenie wtedy, gdy zmienia sposób, w jaki system będzie później badał problem, oceniał go i korygował — a nie wtedy, gdy jedynie ozdabia wcześniej wybrany wniosek. 1
Prowadzi to do trzech odmiennych standardów:
- Próby i błędy: poprawka nie działa, więc system tworzy kolejnego kandydata.
- Sukces weryfikacji: jeden kandydat przechodzi wybrane kontrole.
- Doskonalenie sterowane dowodami: kontrdowody zmieniają kolejną metodę działania — na przykład sposób sformułowania zadania, obszar diagnostyki, dopuszczalne dowody, ograniczenie naprawy lub bramkę walidacyjną — przy czym zmieniona metoda nadal może zostać zakwestionowana przez nowe dane.
Jest to zgodne z falsyfikacjonistycznym podejściem do inżynierii: test powinien móc obalić bieżącą hipotezę, a wynik pozytywny jest dowodem na rzecz kandydata w ramach konkretnych kontroli, a nie uniwersalnym dowodem poprawności. Praktyczny efekt ma dotyczyć dyscypliny zarządzania stanem: oddzielania obserwacji od wniosków, zachowywania tego, co zweryfikowano, oraz tego, by odrzucone hipotezy ograniczały następną próbę. 1
20
21
Silniejsza teza — że takie zmiany metody szeroko uogólniają się na różne repozytoria lub stanowią autonomiczne rekurencyjne samodoskonalenie w ogólnym sensie — nie została potwierdzona przez dostępne informacje publiczne.
Dlaczego model jest otwarty, a Harness zamknięty
Projekt rozdziela możliwy do ponownego użycia backend modelowy od warstwy sterowania, która go koordynuje. Model i publiczne artefakty PEFT mogą służyć eksperymentom z rozumowaniem nad repozytorium i generowaniem artefaktów. Nieudostępniony produkcyjny Harness zawiera orkiestrację: kompilowanie pakietów zadań, utrzymywanie stanu zadania i jego wersji, kierowanie przepływem dowodów, planowanie etapów, stosowanie walidacji oraz zarządzanie rollbackiem. 3
21
23
Ta granica ma istotne znaczenie dla odtwarzalności. Opublikowanie modelu nie jest tym samym co opublikowanie całego ocenianego agenta. Precyzuje też publiczną deklarację projektu: Coder-E1 jest wyspecjalizowanym modelem kodowym, a Self-Harness — systemem wykonawczym regulującym sposób jego użycia. Dopóki ten stos sterowania nie zostanie udostępniony lub niezależnie odtworzony, wyniki benchmarków należy interpretować jako wyniki systemowe, a nie jako nieodłączną właściwość samego otwartego checkpointu. 1
21
23
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "VeriLoop Coder-E1: wysokie wyniki benchmarków to zasługa także prywatnego Self-Harness"?
Zgłoszone wyniki — 85,20 w SWE bench Verified, 62,38 w SWE bench Pro, 76,40 w Terminal Bench 2.0 i 33,63 w DeepSWE — opisują system łączący otwarty model 27B z prywatnym środowiskiem wykonawczym.
What are the key points to validate first?
Zgłoszone wyniki — 85,20 w SWE bench Verified, 62,38 w SWE bench Pro, 76,40 w Terminal Bench 2.0 i 33,63 w DeepSWE — opisują system łączący otwarty model 27B z prywatnym środowiskiem wykonawczym. Publiczne wydanie obejmuje model oparty na Qwen3.6 27B oraz wyspecjalizowane adaptery PEFT; zamknięty Self Harness zarządza cyklem dowodowym, testami, walidacją i wycofywaniem nieudanych zmian.