ОтветыОпубликовано18 источники
Почему высокие баллы VeriLoop Coder-E1 нельзя приписывать одним лишь открытым весам
Заявленные результаты VeriLoop Coder E1 — 85,20 на SWE bench Verified, 62,38 на SWE bench Pro, 76,40 на Terminal Bench 2.0 и 33,63 на DeepSWE — относятся к системе, где открытая 27B модель работает вместе с закрытым S... Публично доступны модель на базе Qwen3.6 27B и специализированные PEFT артефакты; закрытый Harne...
ОпубликовалОтредактировано с помощью GPT-5.6 TerraИзображения созданы с помощью GPT Image 2
Ответ на исследование
Ключевые выводы
- Заявленные результаты VeriLoop Coder E1 — 85,20 на SWE bench Verified, 62,38 на SWE bench Pro, 76,40 на Terminal Bench 2.0 и 33,63 на DeepSWE — относятся к системе, где открытая 27B модель работает вместе с закрытым S...
- Публично доступны модель на базе Qwen3.6 27B и специализированные PEFT артефакты; закрытый Harness управляет состоянием задачи, тестированием, проверкой доказательств, валидацией и откатом изменений.
Промпт ИИ
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Tsinghua Shenzhen International Graduate School Intelligent Robotics Laboratory’s open-source VeriLoop Coder-E1—built on Qwen3.6-27B. Article summary: VeriLoop Coder-E1’s headline scores appear to be results of a complete prototype agent system—not of the downloadable 27B checkpoint alone. The reported gains come from pairing narrow-domain PEFT behavior modules with a . Topic tags: general, education, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, water
VeriLoop Coder-E1 корректнее рассматривать не как одиночную модель, а как модельный слой в более крупном агенте для исправления кода в репозиториях. Команда Шэньчжэньской международной высшей школы Университета Цинхуа сообщает о результатах 85,20 на SWE-bench Verified, 62,38 на SWE-bench Pro, 76,40 на Terminal-Bench 2.0 и 33,63 на DeepSWE. Однако эти цифры получены в контуре VeriLoop с доказательно управляемым процессом, а его промышленная реализация Self-Harness не опубликована. 1
21
Главное различие: веса модели и система, которую тестировали
Открытая часть проекта — это специализированная кодовая модель с 27 млрд параметров на базе Qwen3.6-27B. Она предназначена для рассуждений о коде, понимания репозиториев и генерации инженерных артефактов. На Hugging Face она описана как открытая вертикальная модель для программной инженерии по лицензии Apache-2.0. 5
21
Но документация самого проекта называет Self-Harness управляющей средой исполнения: именно она превращает вывод модели в ограниченный, основанный на доказательствах инженерный цикл. Публичный адаптер Evidence Binding прямо предупреждает, что рассчитан на работу под VeriLoop Harness и не заменяет полноценный рантайм, валидаторы, систему доказательств, откат, песочницу и наблюдаемость. 21
23
Поэтому опубликованные баллы не стоит трактовать как свидетельство того, что один лишь скачанный чекпойнт воспроизведёт тот же результат. Доступные материалы позволяют сделать более узкий вывод: заявленная производительность относится к сочетанию модели и управляемого ею рабочего контура. Независимое воспроизведение результатов только по открытым весам в предоставленных источниках не подтверждено.
Что дают узкоспециализированные PEFT-адаптеры
VeriLoop описывает не постоянное обновление базовой модели во время ремонта, а фиксированную базу Qwen с подключаемыми PEFT-поверхностями для конкретных способностей. В публичных материалах названы четыре направления: ToolSpec, Uncertainty, Rollback и Evidence Binding. 5
20
24
Практически эти адаптеры должны помогать модели лучше работать с инженерными решениями и артефактами:
- Контракты инструментов: формулировать действия инструментов, входные данные, ограничения и критерии приёмки.
- Работа с неопределённостью: не смешивать предварительные диагнозы с подтверждёнными выводами.
- Связывание выводов с доказательствами: сопоставлять утверждения с результатами выполнения и формировать явный вердикт и ограниченное следующее действие.
- Учёт отката: не считать непроверенный патч новой достоверной версией состояния репозитория.
20
Это стратегия специализации, а не полное публичное описание обучающих данных или реализации адаптеров. Выпущенные материалы подтверждают заявленные способности и их назначение, но не позволяют независимо проверить все решения, принятые на этапах обучения. 20
24
Как работает «спираль, управляемая доказательствами»
Главная идея системы — превратить исправление кода в последовательность ограниченных и проверяемых рабочих пакетов, а не в бесконечные просьбы к модели «попробовать ещё один патч». По описанию проекта и Университета Цинхуа, каждое предложенное изменение должно быть протестировано; если проверка не пройдена, система анализирует причину и направляет следующий цикл исправления. 1
3
21
Рабочий цикл можно понять так:
- Собрать пакет задачи. Harness объединяет описание проблемы, контекст репозитория, ограничения интерфейсов и условия приёмки в структурированный рабочий пакет.
3
- Сгенерировать и запустить ограниченный кандидат. Модель предлагает артефакт или патч, после чего запускаются релевантные инструменты и тесты репозитория.
1
- Использовать контрдоказательства для корректировки. Сбои тестов, диагностика, результаты инструментов и конфликты интерфейсов ставят под сомнение текущий диагноз или патч, а не просто вызывают неструктурированную повторную попытку.
- Пересобрать следующий пакет. В новый раунд включаются предыдущий артефакт, ошибки, результаты выполнения, контрдоказательства и добавленные ограничения.
- Исправить локально и проверить. Система сосредотачивается на затронутой части задачи, тестирует правку и принимает либо отклоняет её по условиям валидации и регрессии.
- Сохранить или откатить. Если кандидат не проходит применимые проверки, его дорабатывают или отбрасывают, а не молча засчитывают как прогресс.
Для DeepSWE опубликованная запись оценки сообщает о 38 успешных прохождениях из 113 задач; все непрошедшие результаты были засчитаны как неудачи, что даёт 33,6283 %. Это согласуется с заявленным баллом 33,63, хотя сама запись помечена как самостоятельно опубликованная. 17
Почему это называют рекурсивным самоулучшением
Заявленное отличие VeriLoop не сводится к тому, что агент способен сгенерировать несколько патчей. В трактовке команды доказательство важно лишь тогда, когда оно меняет то, как система будет дальше исследовать проблему, выносить суждения и исправлять ошибки, а не просто служит украшением уже выбранного вывода. 1
Отсюда следуют три разных уровня:
- Проба и ошибка: патч не сработал — система генерирует другой.
- Успешная верификация: один кандидат прошёл выбранные проверки.
- Улучшение, управляемое доказательствами: контрдоказательство меняет следующий метод — например, постановку задачи, фокус диагностики, допустимые свидетельства, ограничение на ремонт или контрольный барьер валидации; при этом обновлённый метод остаётся открытым для будущего опровержения.
Такой подход совместим с фальсификационистским взглядом на инженерную работу: тест должен быть способен опровергнуть текущую гипотезу, а успешный результат служит свидетельством в пользу кандидата при конкретных проверках, но не универсальным доказательством. Практическая ценность здесь — в дисциплине управления состоянием: отделять наблюдение от вывода, сохранять подтверждённое и заставлять неудачные гипотезы ограничивать следующий шаг. 1
20
21
Более сильное утверждение — что такие изменения метода широко переносятся между репозиториями или представляют собой автономное рекурсивное самоулучшение в общем смысле — по открытым материалам пока не доказано.
Почему модель открыта, а Harness — нет
Проект разделяет повторно используемый модельный бэкенд и управляющий контур. Модель и публичные PEFT-артефакты позволяют экспериментировать с анализом репозиториев и генерацией инженерных артефактов. Закрытый производственный Harness содержит оркестрацию: он собирает пакеты задач, поддерживает состояние задач и версий, маршрутизирует доказательства, планирует этапы, применяет валидацию и управляет откатом. 3
21
23
Это разделение важно для воспроизводимости: публикация модели — не то же самое, что публикация всего агента, на котором проводилась оценка. Поэтому публичное утверждение следует читать точно: Coder-E1 — специализированная кодовая модель, а Self-Harness — система исполнения, которая определяет порядок и правила её работы. Пока этот управляющий стек не открыт или не воспроизведён независимо, бенчмарк-результаты разумно считать системными, а не внутренним свойством одного открытого чекпойнта. 1
21
23
Studio Global AI
Продолжайте свое исследование
На этой странице есть ответ, подтвержденный источником, который вы можете продолжить внутри Studio Global.
Люди также спрашивают
Каков краткий ответ на вопрос «Почему высокие баллы VeriLoop Coder-E1 нельзя приписывать одним лишь открытым весам»?
Заявленные результаты VeriLoop Coder E1 — 85,20 на SWE bench Verified, 62,38 на SWE bench Pro, 76,40 на Terminal Bench 2.0 и 33,63 на DeepSWE — относятся к системе, где открытая 27B модель работает вместе с закрытым S...
Какие ключевые моменты необходимо проверить в первую очередь?
Заявленные результаты VeriLoop Coder E1 — 85,20 на SWE bench Verified, 62,38 на SWE bench Pro, 76,40 на Terminal Bench 2.0 и 33,63 на DeepSWE — относятся к системе, где открытая 27B модель работает вместе с закрытым S... Публично доступны модель на базе Qwen3.6 27B и специализированные PEFT артефакты; закрытый Harness управляет состоянием задачи, тестированием, проверкой доказательств, валидацией и откатом изменений.