답변게시됨18 소스
VeriLoop Coder-E1의 성적표는 왜 비공개 Self-Harness까지 봐야 하나
VeriLoop Coder E1은 SWE bench Verified 85.20, SWE bench Pro 62.38, Terminal Bench 2.0 76.40, DeepSWE 33.63을 보고했지만, 이 수치는 공개 270억 파라미터 모델과 Self Harness를 결합한 시스템의 평가 결과다. 공개 배포물에는 Qwen3.6 27B 기반 모델과 기능별 PEFT 아티팩트가 포함되지만, 과제 상태·테스트·검증·증거 처리·롤백을 조율하는 프로덕션 Harness는 공개되지 않았다.
게시자GPT-5.6 Terra로 편집GPT Image 2로 이미지 생성
연구 답변
주요 시사점
- VeriLoop Coder E1은 SWE bench Verified 85.20, SWE bench Pro 62.38, Terminal Bench 2.0 76.40, DeepSWE 33.63을 보고했지만, 이 수치는 공개 270억 파라미터 모델과 Self Harness를 결합한 시스템의 평가 결과다.
- 공개 배포물에는 Qwen3.6 27B 기반 모델과 기능별 PEFT 아티팩트가 포함되지만, 과제 상태·테스트·검증·증거 처리·롤백을 조율하는 프로덕션 Harness는 공개되지 않았다.
- 따라서 공개 체크포인트만 내려받아 같은 점수를 재현할 수 있다고 보기는 어렵다. 제공된 자료만으로는 독립 재현이 확립됐다고 할 수 없다.
AI 프롬프트
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Tsinghua Shenzhen International Graduate School Intelligent Robotics Laboratory’s open-source VeriLoop Coder-E1—built on Qwen3.6-27B. Article summary: VeriLoop Coder-E1’s headline scores appear to be results of a complete prototype agent system—not of the downloadable 27B checkpoint alone. The reported gains come from pairing narrow-domain PEFT behavior modules with a . Topic tags: general, education, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, water
VeriLoop Coder-E1은 단독 코드 모델이라기보다 저장소 수준의 코드 수리 에이전트에서 모델 층을 맡는 구성요소로 이해하는 편이 정확하다. 칭화대 선전국제대학원(SIGS) 팀은 SWE-bench Verified 85.20, SWE-bench Pro 62.38, Terminal-Bench 2.0 76.40, DeepSWE 33.63을 보고했다. 다만 이 수치는 프로덕션용 Self-Harness가 포함된 ‘증거 기반’ VeriLoop 구성의 결과이며, 그 Harness의 전체 구현은 오픈소스가 아니다. 1
21
핵심은 ‘모델 가중치’와 ‘평가된 시스템’을 구분하는 것
공개 모델은 Qwen3.6-27B를 기반으로 한 270억 파라미터 규모의 코드 모델이다. 코드 추론, 저장소 이해, 엔지니어링 산출물 생성에 맞춰 설계됐으며, Hugging Face 자료에서는 Apache-2.0 라이선스의 오픈소스 소프트웨어 엔지니어링 특화 모델로 소개된다. 5
21
하지만 프로젝트 문서는 Self-Harness를 모델 출력을 제한된 증거 중심의 엔지니어링 절차로 전환하는 실행 기반 계층으로 설명한다. 공개된 Evidence Binding 어댑터도 VeriLoop Harness 환경에서 사용하도록 설계됐으며, 전체 런타임·검증기·증거 처리·롤백·샌드박스·관측성 스택을 대체하는 독립형 도구가 아니라고 명시한다. 21
23
즉, 공개 체크포인트를 불러오는 것만으로 발표된 성적을 재현할 수 있다는 뜻은 아니다. 현재 공개 자료가 뒷받침하는 결론은 더 좁다. 보고된 성능은 모델과 Harness 기반 워크플로를 합친 결과다. 공개 가중치만으로 독립 재현이 이뤄졌다는 근거는 제공된 자료에서 확인되지 않는다.
좁은 도메인 PEFT가 맡는 역할
VeriLoop은 수리 과제 수행 중 매번 기본 모델 자체를 갱신하는 방식이 아니라, 고정된 Qwen 기반 모델에 분리 가능한 기능 특화 PEFT(Parameter-Efficient Fine-Tuning) 계층을 결합하는 방식을 설명한다. 공개 자료는 네 가지 영역을 제시한다. ToolSpec, Uncertainty, Rollback, Evidence Binding이다. 5
20
24
이 어댑터들은 소프트웨어 엔지니어링에서 필요한 산출물과 판단을 더 잘 수행하도록 돕는 것이 목적이다.
- 도구 계약(Tool contracts): 사용할 도구의 동작, 입력값, 제약, 수용 조건을 명시한다.
- 불확실성 처리: 잠정 진단과 확인된 사실을 구분한다.
- 증거 결속(Evidence binding): 주장과 실행 영수증·결과를 연결하고, 명시적 판정과 제한된 다음 행동을 제시한다.
- 롤백 인식: 검증되지 않은 패치를 저장소의 새 기준 상태처럼 취급하지 않도록 한다.
20
이는 전문화 전략에 대한 설명이지, 학습 데이터나 어댑터 구현 전반을 완전히 공개한 것은 아니다. 공개 자료는 각 기능의 의도와 역할을 보여주지만, 모든 학습 단계의 선택을 외부에서 독립 감사할 만큼의 세부사항을 제공하지는 않는다. 20
24
‘증거 주도 나선형’은 어떻게 작동하나
이 시스템의 중심 생각은 코드 수리를 ‘다른 패치를 다시 내보라’는 반복 요청으로 처리하지 않고, 제약과 검증이 있는 작업 묶음의 연속으로 만들자는 것이다. 프로젝트 및 칭화대 설명에 따르면 생성된 변경 사항은 매번 테스트를 거치며, 실패하면 원인을 분석해 다음 수리 주기에 반영한다. 1
3
21
실무적으로 정리하면 흐름은 다음과 같다.
- 작업 패키지 구성: 이슈, 저장소 문맥, 인터페이스 제약, 수용 조건을 구조화된 작업 패키지로 묶는다.
3
- 제한된 후보 생성·실행: 모델이 산출물 또는 패치를 제안하고, 관련 저장소 도구와 테스트를 실행한다.
1
- 반증을 교정 신호로 처리: 테스트 실패, 진단 메시지, 도구 실행 결과, 인터페이스 충돌은 단순 재시도 신호가 아니라 현재 진단이나 패치에 대한 도전으로 다뤄진다.
- 다음 작업 패키지 재구성: 직전 산출물, 실패 결과, 실행 기록, 반증, 새 제약을 반영해 다음 라운드의 패키지를 다시 만든다.
- 국소 수리와 검증: 문제가 지목된 범위에 집중해 수정하고, 테스트와 회귀 조건을 통해 채택 여부를 판단한다.
- 유지 또는 롤백: 적용 가능한 검사를 통과하지 못한 후보는 진전으로 간주하지 않고 수정하거나 폐기한다.
DeepSWE의 공개 평가 기록에는 113개 과제 중 38개 통과, 나머지 비통과 결과는 실패 처리로 적혀 있다. 이는 38/113 = 33.6283%, 즉 보고된 33.63 점수와 일치한다. 다만 해당 기록은 자체 공개 자료로 표시돼 있다. 17
팀이 이를 ‘재귀적 자기개선’이라 부르는 이유
VeriLoop이 주장하는 차이는 에이전트가 여러 패치를 생성한다는 데만 있지 않다. 팀의 설명에서 증거는 이미 정한 결론을 꾸미는 정보가 아니라, 이후의 조사·판단·교정 방법을 바꿀 때 의미를 갖는다. 1
이를 세 단계로 나누면 다음과 같다.
- 시행착오: 패치가 실패했으니 다른 후보를 만든다.
- 검증 성공: 특정 후보 하나가 선택한 검사를 통과한다.
- 증거 기반 개선: 반증이 다음 방법 자체를 바꾼다. 과제 틀, 진단 초점, 허용 증거, 수리 제약, 검증 관문 등이 달라지며, 그 변경된 방법도 다시 새로운 증거로 검증·반박될 수 있다.
이는 과학철학자 칼 포퍼의 반증 가능성에 가까운 엔지니어링 관점과 맞닿아 있다. 테스트는 현재 가설을 틀렸다고 판정할 수 있어야 하고, 통과 결과는 특정 검사 조건에서 후보를 지지하는 증거이지 보편적 증명은 아니다. 실무적으로 중요한 점은 상태 관리다. 관찰과 결론을 분리하고, 검증된 내용을 보존하며, 실패한 가설이 다음 시도를 제약하게 만드는 것이다. 1
20
21
다만 이런 방법 변경이 다양한 저장소에 폭넓게 일반화되는지, 혹은 강한 의미의 자율적 재귀 자기개선에 해당하는지는 제공된 공개 정보만으로 입증됐다고 보기 어렵다.
모델은 공개하고 Harness는 비공개인 이유
프로젝트는 재사용 가능한 모델 백엔드와 이를 조율하는 제어 계층을 분리했다. 공개 모델과 PEFT 아티팩트는 저장소 추론과 산출물 생성 실험에 쓸 수 있다. 반면 비공개 프로덕션 Harness는 작업 패키지 컴파일, 과제·버전 상태 유지, 증거 라우팅, 단계 스케줄링, 검증 적용, 롤백 관리를 담당한다. 3
21
23
이 경계는 재현성 해석에서 특히 중요하다. 모델을 공개하는 일과 평가된 전체 에이전트를 공개하는 일은 다르다. 더 정확히 말하면, Coder-E1은 특화 코드 모델이고 Self-Harness는 그 모델의 사용 방식을 통제하는 실행 시스템이다.
따라서 제어 스택이 공개되거나 외부에서 동등하게 재구성되기 전까지, 이 벤치마크 수치는 공개 체크포인트 자체의 고유 성능이라기보다 전체 시스템 수준의 결과로 읽는 것이 타당하다. 1
21
23
Studio Global AI
연구를 계속하세요
이 페이지에는 Studio Global 내에서 계속할 수 있는 소스 기반 답변이 포함되어 있습니다.
사람들은 또한 묻습니다.
"VeriLoop Coder-E1의 성적표는 왜 비공개 Self-Harness까지 봐야 하나"에 대한 짧은 대답은 무엇입니까?
VeriLoop Coder E1은 SWE bench Verified 85.20, SWE bench Pro 62.38, Terminal Bench 2.0 76.40, DeepSWE 33.63을 보고했지만, 이 수치는 공개 270억 파라미터 모델과 Self Harness를 결합한 시스템의 평가 결과다.
먼저 검증할 핵심 포인트는 무엇인가요?
VeriLoop Coder E1은 SWE bench Verified 85.20, SWE bench Pro 62.38, Terminal Bench 2.0 76.40, DeepSWE 33.63을 보고했지만, 이 수치는 공개 270억 파라미터 모델과 Self Harness를 결합한 시스템의 평가 결과다. 공개 배포물에는 Qwen3.6 27B 기반 모델과 기능별 PEFT 아티팩트가 포함되지만, 과제 상태·테스트·검증·증거 처리·롤백을 조율하는 프로덕션 Harness는 공개되지 않았다.
실무에서는 다음으로 무엇을 해야 합니까?
따라서 공개 체크포인트만 내려받아 같은 점수를 재현할 수 있다고 보기는 어렵다. 제공된 자료만으로는 독립 재현이 확립됐다고 할 수 없다.