AnswersPublished18 sources
VeriLoop Coder-E1: бенчмарки оцінювали не просто відкриту модель, а систему з приватним Self-Harness
VeriLoop Coder E1 заявляє 85,20 у SWE bench Verified, 62,38 у SWE bench Pro, 76,40 у Terminal Bench 2.0 та 33,63 у DeepSWE. У відкритому доступі є модель на базі Qwen3.6 27B і спеціалізовані PEFT адаптери.
ОпублікувавВідредаговано за допомогою GPT-5.6 TerraЗображення створено за допомогою GPT Image 2
Research answer
Key takeaways
- VeriLoop Coder E1 заявляє 85,20 у SWE bench Verified, 62,38 у SWE bench Pro, 76,40 у Terminal Bench 2.0 та 33,63 у DeepSWE.
- У відкритому доступі є модель на базі Qwen3.6 27B і спеціалізовані PEFT адаптери.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Tsinghua Shenzhen International Graduate School Intelligent Robotics Laboratory’s open-source VeriLoop Coder-E1—built on Qwen3.6-27B. Article summary: VeriLoop Coder-E1’s headline scores appear to be results of a complete prototype agent system—not of the downloadable 27B checkpoint alone. The reported gains come from pairing narrow-domain PEFT behavior modules with a . Topic tags: general, education, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, water
VeriLoop Coder-E1 варто розглядати не як окрему модель для генерації патчів, а як модельний рівень у складі більшої системи ремонту репозиторіїв. Команда Шеньчженьської міжнародної аспірантури Університету Цінхуа повідомляє про 85,20 у SWE-bench Verified, 62,38 у SWE-bench Pro, 76,40 у Terminal-Bench 2.0 та 33,63 у DeepSWE. Ці цифри стосуються конфігурації VeriLoop, керованої доказами, де виробничий Self-Harness не є відкритим кодом. 1
21
Головна різниця: ваги моделі та система, яку тестували
У публічному доступі є 27-мільярдна модель на базі Qwen3.6-27B, призначена для міркувань про код, розуміння репозиторіїв і створення інженерних артефактів. На сторінці Hugging Face її описано як спеціалізовану відкриту модель для програмної інженерії за ліцензією Apache 2.0. 5
21
Водночас документація проєкту називає Self-Harness керівним середовищем виконання: саме цей шар перетворює відповідь моделі на обмежений, керований доказами інженерний процес. Публічний адаптер Evidence Binding прямо зазначає, що призначений для роботи в середовищі VeriLoop Harness і не замінює повний стек виконання, валідації, роботи з доказами, відкату, ізоляції та спостережуваності. 21
23
Отже, заявлені результати не слід трактувати як доказ того, що просте завантаження відкритого чекпойнта відтворить ті самі показники. Доступні матеріали підтверджують вужчий висновок: продуктивність забезпечує поєднання моделі та керованого нею робочого контуру. Незалежного відтворення результатів лише з публічних ваг у наданих джерелах немає.
Що додає вузькоспеціалізований PEFT
VeriLoop описує не постійне оновлення базової моделі під час ремонту, а фіксовану основу Qwen із від'єднуваними, спеціалізованими PEFT-поверхнями. У публічних матеріалах названо чотири напрями: ToolSpec, Uncertainty, Rollback і Evidence Binding. 5
20
24
Їхня практична роль — зробити модель точнішою в роботі з артефактами та рішеннями програмної інженерії:
- Контракти інструментів: опис доступних дій, вхідних даних, обмежень і критеріїв приймання.
- Робота з невизначеністю: відділення попередніх діагнозів від встановлених висновків.
- Прив'язування до доказів: зв'язування тверджень із результатами виконання, формування явного вердикту та наступної обмеженої дії.
- Урахування відкату: заборона вважати неперевірений патч новою «істиною» репозиторію.
20
Це стратегія спеціалізації, а не повний публічний опис навчального набору чи реалізації адаптерів. Опубліковані матеріали підтверджують заявлені функції та їхнє призначення, але не дають достатньо деталей для незалежного аудиту всіх рішень на етапах навчання. 20
24
Як працює «спіраль, керована доказами»
Центральна ідея системи — перетворити ремонт коду на послідовність обмежених і перевірюваних пакетів роботи, а не нескінченно просити модель запропонувати ще один патч. За описом проєкту та Університету Цінхуа, кожна зміна має пройти тестування; невдачі аналізують і використовують для наступного циклу ремонту. 1
3
21
Практично цей цикл можна прочитати так:
- Сформувати пакет задачі. Harness поєднує опис проблеми, контекст репозиторію, обмеження інтерфейсів і критерії приймання у структурований пакет роботи.
3
- Згенерувати та виконати обмежений кандидат. Модель пропонує артефакт або патч, після чого запускаються потрібні інструменти й тести репозиторію.
1
- Використати контрдокази як корекцію. Падіння тестів, діагностика, результати інструментів і конфлікти інтерфейсів ставлять під сумнів поточний діагноз чи патч, а не просто запускають безструктурну повторну спробу.
- Перекомпілювати наступний пакет. Наступний раунд враховує попередній артефакт, помилки, результати виконання, контрдокази та нові обмеження.
- Виправити локально й перевірити. Система зосереджується на проблемній ділянці, тестує зміну та приймає або відхиляє її за умовами валідації й регресійними перевірками.
- Зберегти результат або відкотити його. Кандидат, що не проходить належні перевірки, переглядають або відкидають, а не зараховують як прогрес.
Для DeepSWE опублікований запис оцінювання вказує 38 успішних проходжень зі 113 задач; усі результати, що не пройшли перевірку, зараховано як невдачі. Це дає 33,6283% і узгоджується із заявленим балом 33,63, хоча сам запис позначено як самостійно опублікований. 17
Чому команда називає це рекурсивним самовдосконаленням
Заявлена відмінність VeriLoop не зводиться до того, що агент уміє створити кілька патчів. У трактуванні команди докази мають значення лише тоді, коли змінюють спосіб, яким система надалі досліджуватиме проблему, оцінюватиме висновки та виправлятиме помилки, — а не коли лише прикрашають уже обране рішення. 1
Звідси випливають три різні стандарти:
- Спроби й помилки: патч не спрацював, тому система генерує інший варіант.
- Успішна верифікація: один кандидат пройшов вибрані перевірки.
- Поліпшення, кероване доказами: контрдокази змінюють наступний метод — наприклад, формулювання задачі, фокус діагностики, допустимі докази, обмеження ремонту або етап валідації; водночас оновлений метод лишається відкритим для подальшого спростування.
Такий підхід сумісний із фальсифікаційним поглядом на інженерію: тест повинен мати змогу спростувати поточну гіпотезу, а успішне проходження тесту є доказом на користь кандидата лише в межах конкретних перевірок, а не універсальним доказом правильності. Практичний наслідок — дисципліноване керування станом: відокремлювати спостереження від висновків, зберігати те, що вже перевірено, і дозволяти невдалим гіпотезам обмежувати наступну спробу. 1
20
21
Сильніше твердження — що такі зміни методів широко узагальнюються між репозиторіями або є автономним рекурсивним самовдосконаленням у загальному сенсі — з наданої публічної інформації не доведено.
Чому модель відкрита, а Harness — закритий
Проєкт розділяє повторно використовуваний модельний бекенд і контрольний шар, який ним керує. Модель і публічні PEFT-артефакти можна застосовувати для експериментів із міркуваннями про репозиторії та створенням артефактів. Водночас закритий виробничий Harness містить оркестрацію, що компілює пакети задач, зберігає стан задачі та версій, спрямовує докази, планує етапи, застосовує валідацію й керує відкатом. 3
21
23
Ця межа має важливий наслідок для відтворюваності: публікація моделі не дорівнює публікації повного агента, який проходив оцінювання. Точніше кажучи, Coder-E1 — це спеціалізована модель для коду, а Self-Harness — система виконання, що визначає спосіб її застосування. Поки цей контрольний стек не буде оприлюднено або незалежно відтворено, результати бенчмарків варто вважати системними показниками, а не властивістю відкритого чекпойнта самого по собі. 1
21
23
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "VeriLoop Coder-E1: бенчмарки оцінювали не просто відкриту модель, а систему з приватним Self-Harness"?
VeriLoop Coder E1 заявляє 85,20 у SWE bench Verified, 62,38 у SWE bench Pro, 76,40 у Terminal Bench 2.0 та 33,63 у DeepSWE.
What are the key points to validate first?
VeriLoop Coder E1 заявляє 85,20 у SWE bench Verified, 62,38 у SWE bench Pro, 76,40 у Terminal Bench 2.0 та 33,63 у DeepSWE. У відкритому доступі є модель на базі Qwen3.6 27B і спеціалізовані PEFT адаптери.