คำตอบเผยแพร่แล้ว18 แหล่งที่มา
VeriLoop Coder-E1: คะแนนเบนช์มาร์กขึ้นอยู่กับ Self-Harness ที่ยังไม่เปิดซอร์ส
VeriLoop Coder E1 รายงานคะแนน 85.20 บน SWE bench Verified, 62.38 บน SWE bench Pro, 76.40 บน Terminal Bench 2.0 และ 33.63 บน DeepSWE แต่เป็นผลของระบบที่รวมโมเดล 27B เข้ากับ Self Harness แบบปิด [1][21] สิ่งที่เปิดสู่สาธารณะคือโมเดลฐาน Qwen3.6 27B และ PEFT เฉพาะความสามารถ ขณะที่ Harness ควบคุมวงจรงานแบบมีหลักฐาน การทดส...
เผยแพร่โดยแก้ไขด้วย GPT-5.6 Terraรูปภาพสร้างด้วย GPT Image 2
คำตอบการวิจัย
ประเด็นสำคัญ
- VeriLoop Coder E1 รายงานคะแนน 85.20 บน SWE bench Verified, 62.38 บน SWE bench Pro, 76.40 บน Terminal Bench 2.0 และ 33.63 บน DeepSWE แต่เป็นผลของระบบที่รวมโมเดล 27B เข้ากับ Self Harness แบบปิด [1][21]
- สิ่งที่เปิดสู่สาธารณะคือโมเดลฐาน Qwen3.6 27B และ PEFT เฉพาะความสามารถ ขณะที่ Harness ควบคุมวงจรงานแบบมีหลักฐาน การทดสอบ การตรวจรับ และการย้อนกลับสถานะ [3][21][23]
AI พรอมต์
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Tsinghua Shenzhen International Graduate School Intelligent Robotics Laboratory’s open-source VeriLoop Coder-E1—built on Qwen3.6-27B. Article summary: VeriLoop Coder-E1’s headline scores appear to be results of a complete prototype agent system—not of the downloadable 27B checkpoint alone. The reported gains come from pairing narrow-domain PEFT behavior modules with a . Topic tags: general, education, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, water
VeriLoop Coder-E1 ควรถูกมองว่าเป็น “ชั้นโมเดล” ของระบบเอเจนต์ซ่อมโค้ดระดับรีโพซิทอรี มากกว่าจะเป็นโมเดลเดี่ยวที่ดาวน์โหลดมาแล้วได้ผลเท่ากันทันที ทีมจาก Tsinghua Shenzhen International Graduate School รายงานคะแนน 85.20 บน SWE-bench Verified, 62.38 บน SWE-bench Pro, 76.40 บน Terminal-Bench 2.0 และ 33.63 บน DeepSWE แต่ตัวเลขเหล่านี้เป็นผลของชุดทำงาน VeriLoop ที่ขับเคลื่อนด้วยหลักฐาน ซึ่งใช้ Self-Harness สำหรับงานจริง และส่วนดังกล่าวยังไม่เปิดซอร์ส 1
21
จุดสำคัญคือแยก “น้ำหนักโมเดล” ออกจาก “ระบบที่ถูกประเมิน”
โมเดลที่เผยแพร่สู่สาธารณะสร้างบนฐาน Qwen3.6-27B มีขนาด 27 พันล้านพารามิเตอร์ และออกแบบมาเพื่อการให้เหตุผลเกี่ยวกับโค้ด การทำความเข้าใจรีโพซิทอรี และการสร้างอาร์ติแฟกต์ทางวิศวกรรมซอฟต์แวร์ โดยเผยแพร่ภายใต้สัญญาอนุญาต Apache-2.0 5
21
อย่างไรก็ดี เอกสารของโครงการระบุว่า Self-Harness คือชั้นรันไทม์ที่กำกับการทำงาน ทำให้ผลลัพธ์จากโมเดลกลายเป็นกระบวนการวิศวกรรมที่มีขอบเขตและขับเคลื่อนด้วยหลักฐาน ตัว Evidence Binding adapter ที่เปิดเผยต่อสาธารณะก็ระบุชัดว่าออกแบบมาให้ทำงานภายใต้ VeriLoop Harness ไม่ใช่สิ่งทดแทนรันไทม์เต็มรูปแบบ ซึ่งรวมถึงตัวตรวจสอบ หลักฐาน การย้อนกลับ (rollback) แซนด์บ็อกซ์ และระบบสังเกตการณ์ 21
23
ดังนั้น คะแนนที่ประกาศจึงไม่ควรถูกตีความว่า เพียงโหลดเช็กพอยต์ที่ดาวน์โหลดได้ก็จะทำซ้ำผลลัพธ์เดียวกันได้ หลักฐานที่มีรองรับข้อสรุปที่แคบกว่า: ผลงานดังกล่าวเกิดจาก โมเดลร่วมกับเวิร์กโฟลว์ที่มี Harness กำกับ ขณะที่การทำซ้ำผลจากน้ำหนักโมเดลสาธารณะอย่างอิสระยังไม่ได้รับการยืนยันจากแหล่งข้อมูลที่ให้มา
PEFT เฉพาะด้านช่วยอะไร
แทนที่จะปรับน้ำหนักโมเดลฐานตลอดระหว่างงานซ่อม โครงการอธิบายว่าใช้ฐาน Qwen ที่คงที่ ร่วมกับ PEFT (การปรับจูนแบบประหยัดพารามิเตอร์) ที่ถอดเปลี่ยนได้ตามความสามารถ เอกสารสาธารณะระบุ 4 ด้าน ได้แก่ ToolSpec, Uncertainty, Rollback และ Evidence Binding 5
20
24
ในเชิงหน้าที่ อะแดปเตอร์เหล่านี้มุ่งให้โมเดลทำงานกับอาร์ติแฟกต์และการตัดสินใจเชิงวิศวกรรมได้ดีขึ้น เช่น
- สัญญาเครื่องมือ: ระบุการใช้เครื่องมือ อินพุต ข้อจำกัด และเงื่อนไขการยอมรับผลให้ใช้งานได้จริง
- การจัดการความไม่แน่นอน: แยกการวินิจฉัยที่ยังเป็นข้อสันนิษฐานออกจากข้อค้นพบที่ยืนยันแล้ว
- การผูกข้ออ้างเข้ากับหลักฐาน: เชื่อมข้อสรุปกับผลการรันและใบรับการทำงานของเครื่องมือ ก่อนสร้างคำตัดสินและขั้นตอนถัดไปที่มีขอบเขต
- การตระหนักถึงการย้อนกลับ: ไม่ถือว่าแพตช์ที่ยังไม่ผ่านการตรวจสอบคือความจริงใหม่ของรีโพซิทอรี
20
นี่เป็นกลยุทธ์การทำให้โมเดลเชี่ยวชาญเฉพาะทาง ไม่ใช่คำอธิบายสาธารณะที่ครบถ้วนของชุดข้อมูลฝึกหรือการติดตั้งอะแดปเตอร์ทั้งหมด เอกสารที่เปิดเผยยืนยันบทบาทและความสามารถตามที่ระบุ แต่ยังไม่เพียงพอสำหรับตรวจสอบทางอิสระได้ทุกขั้นตอนของการฝึก 20
24
วงจร Evidence-Governed Spiral ทำงานอย่างไร
แนวคิดหลักคือเปลี่ยนการซ่อมโค้ดจากการสั่งโมเดลให้ “ลองแก้ใหม่” ซ้ำ ๆ เป็นชุดงานที่จำกัดขอบเขตและทดสอบได้ โครงการและคำอธิบายจาก Tsinghua ระบุว่า ทุกการเปลี่ยนแปลงต้องผ่านการทดสอบ หากไม่ผ่าน ระบบจะวิเคราะห์สาเหตุ แก้ไข แล้วตรวจสอบใหม่ 1
3
21
หากตีความเป็นลำดับงาน จะเป็นประมาณนี้
- สร้างแพ็กเกจงาน: Harness รวมโจทย์ บริบทรีโพซิทอรี ข้อจำกัดของอินเทอร์เฟซ และเงื่อนไขการยอมรับ เป็นชุดงานที่มีโครงสร้าง
3
- สร้างผู้สมัครและรันภายในขอบเขต: โมเดลเสนออาร์ติแฟกต์หรือแพตช์ จากนั้นเรียกเครื่องมือและการทดสอบที่เกี่ยวข้องในรีโพซิทอรี
1
- ใช้หลักฐานที่ขัดแย้งเพื่อแก้ทิศทาง: ความล้มเหลวของเทสต์ ข้อความวินิจฉัย ใบรับจากเครื่องมือ และความขัดแย้งของอินเทอร์เฟซ ถูกใช้ท้าทายสมมติฐานหรือแพตช์ปัจจุบัน ไม่ใช่แค่ส่งสัญญาณให้ลองใหม่แบบไร้โครงสร้าง
- คอมไพล์แพ็กเกจรอบถัดไป: รอบใหม่จะรวมอาร์ติแฟกต์เดิม ความล้มเหลว ใบรับ หลักฐานโต้แย้ง และข้อจำกัดที่เพิ่มขึ้น
- ซ่อมเฉพาะจุดและยืนยันผล: ระบบโฟกัสส่วนที่เกี่ยวข้อง ทดสอบฉบับแก้ไข แล้วรับหรือปฏิเสธผ่านเงื่อนไขการตรวจสอบและรีเกรสชัน
- เก็บไว้หรือย้อนกลับ: ผู้สมัครที่ไม่ผ่านการตรวจที่กำหนดจะถูกแก้หรือทิ้ง ไม่ถูกนับเป็นความคืบหน้าโดยปริยาย
สำหรับ DeepSWE บันทึกผลประเมินที่โครงการเผยแพร่ระบุว่าผ่าน 38 จาก 113 งาน และนับผลที่ไม่ผ่านเป็นความล้มเหลว จึงได้ 33.6283% ซึ่งสอดคล้องกับคะแนน 33.63 ที่รายงาน อย่างไรก็ตาม บันทึกดังกล่าวติดป้ายว่าเป็นผลเผยแพร่โดยผู้จัดทำเอง 17
เหตุใดจึงเรียกว่า “การปรับปรุงตนเองแบบวนซ้ำ”
จุดที่ VeriLoop อ้างว่าแตกต่างไม่ใช่เพียงเอเจนต์สร้างแพตช์ได้หลายครั้ง แต่คือหลักฐานจะมีความหมายก็ต่อเมื่อมันเปลี่ยนวิธีที่ระบบจะสืบค้น ตัดสิน และแก้ไขงานในรอบต่อไป ไม่ใช่เป็นแค่ข้อมูลมาประดับข้อสรุปที่เลือกไว้แล้ว 1
จึงอาจแยกเป็น 3 ระดับได้ดังนี้
- ลองผิดลองถูก: แพตช์แรกไม่ผ่าน จึงสร้างแพตช์ใหม่
- ตรวจสอบแล้วสำเร็จ: ผู้สมัครหนึ่งรายผ่านการตรวจที่เลือกไว้
- การปรับปรุงแบบมีหลักฐานกำกับ: หลักฐานโต้แย้งเปลี่ยนวิธีทำงานรอบถัดไป เช่น กรอบโจทย์ จุดเน้นการวินิจฉัย หลักฐานที่รับได้ ข้อจำกัดการซ่อม หรือด่านตรวจยืนยัน โดยวิธีที่แก้ไขแล้วก็ยังเปิดให้หลักฐานใหม่หักล้างได้
แนวทางนี้สอดคล้องกับมุมมองแบบการหักล้างของ Karl Popper: การทดสอบควรมีโอกาสพิสูจน์ว่าสมมติฐานปัจจุบันผิดได้ และผลที่ผ่านคือหลักฐานสนับสนุนภายใต้เงื่อนไขทดสอบนั้น ๆ ไม่ใช่การพิสูจน์แบบครอบจักรวาล ผลลัพธ์เชิงปฏิบัติคือการจัดการสถานะอย่างมีวินัย—แยกสิ่งที่สังเกตได้ออกจากข้อสรุป เก็บสิ่งที่ยืนยันแล้ว และให้สมมติฐานที่ล้มเหลวกำหนดข้อจำกัดของความพยายามครั้งต่อไป 1
20
21
แต่ข้ออ้างที่แรงกว่านั้น—เช่น การเปลี่ยนวิธีทำงานนี้ใช้ได้กว้างขวางข้ามรีโพซิทอรี หรือเท่ากับการปรับปรุงตนเองอัตโนมัติในความหมายทั่วไป—ยังไม่ได้รับการพิสูจน์ด้วยข้อมูลสาธารณะที่มีอยู่
เหตุใดโมเดลเปิด แต่ Harness ยังปิด
โครงการแยกส่วนหลังบ้านของโมเดลที่นำกลับมาใช้ได้ ออกจาก control plane ที่ประสานการทำงาน โมเดลและ PEFT ที่เปิดเผยรองรับการทดลองด้านการให้เหตุผลกับรีโพซิทอรีและการสร้างอาร์ติแฟกต์ ส่วน Production Harness ที่ยังไม่เปิดประกอบด้วยการจัดวางระบบเพื่อคอมไพล์แพ็กเกจงาน รักษาสถานะงานและสถานะแบบมีเวอร์ชัน ส่งต่อหลักฐาน จัดตารางแต่ละขั้น ตรวจรับผล และจัดการ rollback 3
21
23
เส้นแบ่งนี้มีผลโดยตรงต่อการทำซ้ำผลการทดลอง: การเผยแพร่โมเดลไม่เท่ากับการเผยแพร่เอเจนต์เต็มระบบ และทำให้ควรอธิบายข้ออ้างสาธารณะอย่างแม่นยำว่า Coder-E1 คือโมเดลโค้ดเฉพาะทาง ส่วน Self-Harness คือระบบปฏิบัติการที่กำกับวิธีใช้โมเดล จนกว่าชั้นควบคุมนี้จะเปิดให้ใช้หรือมีผู้ทำซ้ำได้อย่างอิสระ คะแนนเบนช์มาร์กควรถูกอ่านเป็นผลระดับระบบ ไม่ใช่คุณสมบัติโดยธรรมชาติของเช็กพอยต์โอเพนเพียงลำพัง 1
21
23
Studio Global AI
ทำการวิจัยต่อ
หน้านี้รวมคำตอบที่ได้รับการสนับสนุนจากแหล่งที่มาซึ่งคุณสามารถดำเนินการต่อภายใน Studio Global
คนยังถาม
คำตอบสั้น ๆ สำหรับ "VeriLoop Coder-E1: คะแนนเบนช์มาร์กขึ้นอยู่กับ Self-Harness ที่ยังไม่เปิดซอร์ส" คืออะไร
VeriLoop Coder E1 รายงานคะแนน 85.20 บน SWE bench Verified, 62.38 บน SWE bench Pro, 76.40 บน Terminal Bench 2.0 และ 33.63 บน DeepSWE แต่เป็นผลของระบบที่รวมโมเดล 27B เข้ากับ Self Harness แบบปิด [1][21]
ประเด็นสำคัญที่ต้องตรวจสอบก่อนคืออะไร?
VeriLoop Coder E1 รายงานคะแนน 85.20 บน SWE bench Verified, 62.38 บน SWE bench Pro, 76.40 บน Terminal Bench 2.0 และ 33.63 บน DeepSWE แต่เป็นผลของระบบที่รวมโมเดล 27B เข้ากับ Self Harness แบบปิด [1][21] สิ่งที่เปิดสู่สาธารณะคือโมเดลฐาน Qwen3.6 27B และ PEFT เฉพาะความสามารถ ขณะที่ Harness ควบคุมวงจรงานแบบมีหลักฐาน การทดสอบ การตรวจรับ และการย้อนกลับสถานะ [3][21][23]