Câu trả lờiĐã xuất bản18 nguồn
Vì sao điểm sửa mã của VeriLoop Coder-E1 phụ thuộc vào Self-Harness riêng tư
VeriLoop Coder E1 báo cáo 85,20 trên SWE bench Verified, 62,38 trên SWE bench Pro, 76,40 trên Terminal Bench 2.0 và 33,63 trên DeepSWE. Bản phát hành công khai gồm mô hình lập trình 27 tỷ tham số dựa trên Qwen3.6 27B và các thành phần PEFT theo năng lực; Self Harness chưa công khai phụ trách trạng thái tác vụ, kiểm...
Đăng bởiBiên tập bằng GPT-5.6 TerraHình ảnh được tạo bằng GPT Image 2
Câu trả lời nghiên cứu
Bài học chính
- VeriLoop Coder E1 báo cáo 85,20 trên SWE bench Verified, 62,38 trên SWE bench Pro, 76,40 trên Terminal Bench 2.0 và 33,63 trên DeepSWE.
- Bản phát hành công khai gồm mô hình lập trình 27 tỷ tham số dựa trên Qwen3.6 27B và các thành phần PEFT theo năng lực; Self Harness chưa công khai phụ trách trạng thái tác vụ, kiểm thử, xác thực bằng chứng và hoàn tác.
Prompt AI
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Tsinghua Shenzhen International Graduate School Intelligent Robotics Laboratory’s open-source VeriLoop Coder-E1—built on Qwen3.6-27B. Article summary: VeriLoop Coder-E1’s headline scores appear to be results of a complete prototype agent system—not of the downloadable 27B checkpoint alone. The reported gains come from pairing narrow-domain PEFT behavior modules with a . Topic tags: general, education, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, water
VeriLoop Coder-E1 nên được hiểu là lớp mô hình trong một tác nhân sửa mã ở cấp kho mã lớn hơn. Nhóm tại Trường Sau đại học Quốc tế Thâm Quyến, Đại học Thanh Hoa báo cáo các điểm 85,20 trên SWE-bench Verified, 62,38 trên SWE-bench Pro, 76,40 trên Terminal-Bench 2.0 và 33,63 trên DeepSWE. Tuy nhiên, đây là các kết quả của cấu hình VeriLoop được quản trị bằng bằng chứng, trong đó Self-Harness dùng ở môi trường vận hành chưa được mở mã nguồn. 1
21
Điểm mấu chốt: trọng số mô hình khác với hệ thống được đánh giá
Mô hình công khai là mô hình lập trình 27 tỷ tham số dựa trên Qwen3.6-27B, hướng tới suy luận mã, hiểu kho mã và tạo các đầu ra phục vụ công việc kỹ thuật phần mềm. Trang Hugging Face mô tả đây là mô hình chuyên ngành mã nguồn mở theo giấy phép Apache-2.0. 5
21
Nhưng tài liệu của dự án gọi Self-Harness là tầng thực thi điều phối: thành phần biến đầu ra sinh bởi mô hình thành quy trình kỹ thuật có giới hạn và dựa trên bằng chứng. Adapter Evidence Binding được công khai cũng nêu rõ rằng nó предназначено để chạy dưới VeriLoop Harness, chứ không phải bản thay thế độc lập cho toàn bộ môi trường chạy, bộ xác thực, hệ thống bằng chứng, hoàn tác, sandbox và quan sát vận hành. 21
23
Vì vậy, không nên hiểu các điểm benchmark là bằng chứng rằng chỉ cần nạp checkpoint có thể tải xuống thì sẽ tái tạo được kết quả đã công bố. Những tài liệu hiện có chỉ cho phép kết luận thận trọng hơn: hiệu năng được báo cáo đến từ mô hình kết hợp với quy trình do harness điều phối. Các nguồn được cung cấp chưa xác lập việc tái lập độc lập từ riêng trọng số công khai.
PEFT chuyên biệt đóng góp gì?
Thay vì liên tục cập nhật mô hình nền trong lúc sửa lỗi, VeriLoop mô tả một nền Qwen cố định đi cùng các bề mặt PEFT có thể tách rời, mỗi bề mặt phục vụ một năng lực cụ thể. Các tài liệu công khai nêu bốn nhóm: ToolSpec, Uncertainty, Rollback và Evidence Binding. 5
20
24
Về chức năng, các adapter này nhằm giúp mô hình xử lý tốt hơn các quyết định và đầu ra cần thiết trong kỹ thuật phần mềm:
- Hợp đồng công cụ: mô tả thao tác công cụ, đầu vào, ràng buộc và điều kiện chấp nhận.
- Xử lý bất định: phân biệt giữa chẩn đoán còn tạm thời và phát hiện đã được xác lập.
- Gắn bằng chứng: liên kết nhận định với biên nhận thực thi, sau đó đưa ra kết luận rõ ràng cùng hành động tiếp theo có giới hạn.
- Nhận thức về hoàn tác: không coi một bản vá chưa xác thực là trạng thái đúng mới của kho mã.
20
Đây là chiến lược chuyên biệt hóa, không phải bản mô tả đầy đủ công khai về tập dữ liệu huấn luyện hay cách triển khai từng adapter. Tài liệu phát hành xác nhận các năng lực được tuyên bố và vai trò dự kiến của chúng, nhưng không đủ chi tiết để bên ngoài kiểm toán toàn bộ lựa chọn trong từng giai đoạn huấn luyện. 20
24
“Vòng xoắn quản trị bằng bằng chứng” vận hành thế nào?
Ý tưởng trung tâm là biến việc sửa mã thành chuỗi gói công việc có ràng buộc, có thể kiểm thử; thay vì chỉ liên tục yêu cầu mô hình thử một bản vá khác. Theo mô tả của dự án và Thanh Hoa, mọi thay đổi tạo ra đều phải được kiểm thử; nếu thất bại, hệ thống phân tích nguyên nhân để định hướng vòng sửa tiếp theo. 1
3
21
Có thể hiểu quy trình này qua sáu bước:
- Lập gói tác vụ. Harness kết hợp mô tả lỗi, ngữ cảnh kho mã, ràng buộc giao diện và điều kiện chấp nhận thành một gói công việc có cấu trúc.
3
- Sinh ứng viên trong phạm vi giới hạn rồi chạy kiểm tra. Mô hình đề xuất đầu ra hoặc bản vá; sau đó các công cụ và bài kiểm thử liên quan trong kho mã được gọi.
1
- Dùng phản chứng để sửa hướng đi. Lỗi kiểm thử, chẩn đoán, biên nhận từ công cụ và xung đột giao diện được xem là dữ liệu phản bác chẩn đoán hoặc bản vá hiện tại, thay vì chỉ là tín hiệu để thử lại vô tổ chức.
- Biên dịch lại gói cho vòng tiếp theo. Vòng sau tích hợp đầu ra trước đó, lỗi, biên nhận, phản chứng và các ràng buộc mới.
- Sửa cục bộ rồi xác minh. Hệ thống tập trung vào phần vấn đề bị chỉ ra, kiểm thử bản sửa và chấp nhận hoặc từ chối theo điều kiện xác thực cũng như hồi quy.
- Giữ lại hoặc hoàn tác. Ứng viên không vượt qua các kiểm tra áp dụng sẽ được chỉnh sửa hoặc loại bỏ, thay vì âm thầm được xem là tiến bộ.
Với DeepSWE, hồ sơ đánh giá do dự án công bố ghi nhận 38 lượt đạt trên 113 tác vụ; mọi kết quả không đạt đều được tính là thất bại, tương đương 33,6283%. Điều này phù hợp với con số 33,63, dù hồ sơ cũng tự ghi nhãn kết quả là do chính dự án công bố. 17
Vì sao nhóm gọi đó là cải thiện đệ quy?
Khác biệt mà VeriLoop tuyên bố không đơn thuần là tác nhân có thể tạo nhiều bản vá. Theo cách nhóm diễn giải, bằng chứng chỉ thực sự có giá trị khi nó thay đổi cách hệ thống điều tra, phán xét và sửa công việc về sau — chứ không phải chỉ tô điểm cho một kết luận đã chọn sẵn. 1
Từ đó có thể phân biệt ba mức độ:
- Thử-và-sai: một bản vá thất bại, hệ thống tạo ứng viên khác.
- Xác minh thành công: một ứng viên vượt qua các kiểm tra đã chọn.
- Cải thiện do bằng chứng chi phối: phản chứng làm thay đổi phương pháp ở vòng sau, chẳng hạn cách đóng khung tác vụ, trọng tâm chẩn đoán, loại bằng chứng được chấp nhận, ràng buộc sửa lỗi hoặc cổng xác thực; đồng thời phương pháp mới ấy vẫn có thể bị bằng chứng tiếp theo phản bác.
Cách nhìn này phù hợp với tinh thần phản chứng trong kỹ thuật: kiểm thử phải có khả năng bác bỏ giả thuyết hiện thời; một kết quả đạt chỉ là bằng chứng ủng hộ ứng viên trong những kiểm tra cụ thể, không phải chứng minh phổ quát. Hệ quả thực tế quan trọng là quản lý trạng thái một cách kỷ luật: phân biệt quan sát với kết luận, lưu giữ những gì đã được xác thực và để giả thuyết thất bại giới hạn lần thử tiếp theo. 1
20
21
Tuy vậy, tuyên bố mạnh hơn — rằng các thay đổi phương pháp này tổng quát hóa rộng trên các kho mã, hoặc tương đương với tự cải thiện đệ quy tự chủ theo nghĩa rộng — vẫn chưa được chứng minh bằng thông tin công khai được cung cấp.
Vì sao mô hình mở nhưng Harness đóng?
Dự án tách phần nền mô hình có thể tái sử dụng khỏi mặt phẳng điều khiển điều phối nó. Mô hình và các hiện vật PEFT công khai có thể phục vụ thử nghiệm về suy luận trên kho mã và tạo đầu ra kỹ thuật. Còn Harness vận hành chưa công khai chứa phần điều phối: biên dịch gói tác vụ, duy trì trạng thái tác vụ và phiên bản, định tuyến bằng chứng, sắp lịch các giai đoạn, áp dụng xác thực và quản lý hoàn tác. 3
21
23
Ranh giới này có hệ quả lớn đối với khả năng tái lập: công bố một mô hình không đồng nghĩa với công bố toàn bộ tác nhân đã được đánh giá. Nói chính xác hơn, Coder-E1 là mô hình mã nguồn chuyên biệt; Self-Harness là hệ thống thực thi quyết định cách mô hình được sử dụng. Cho đến khi tầng điều khiển đó được công khai hoặc được tái tạo độc lập, các điểm benchmark nên được đọc là kết quả ở cấp độ hệ thống, chứ không phải thuộc tính vốn có của riêng checkpoint mở. 1
21
23
Studio Global AI
Tiếp tục nghiên cứu của bạn
Trang này bao gồm câu trả lời dựa trên nguồn mà bạn có thể tiếp tục bên trong Studio Global.
Người ta cũng hỏi
Câu trả lời ngắn gọn cho "Vì sao điểm sửa mã của VeriLoop Coder-E1 phụ thuộc vào Self-Harness riêng tư" là gì?
VeriLoop Coder E1 báo cáo 85,20 trên SWE bench Verified, 62,38 trên SWE bench Pro, 76,40 trên Terminal Bench 2.0 và 33,63 trên DeepSWE.
Những điểm chính cần xác nhận đầu tiên là gì?
VeriLoop Coder E1 báo cáo 85,20 trên SWE bench Verified, 62,38 trên SWE bench Pro, 76,40 trên Terminal Bench 2.0 và 33,63 trên DeepSWE. Bản phát hành công khai gồm mô hình lập trình 27 tỷ tham số dựa trên Qwen3.6 27B và các thành phần PEFT theo năng lực; Self Harness chưa công khai phụ trách trạng thái tác vụ, kiểm thử, xác thực bằng chứng và hoàn tác.