उत्तरप्रकाशित18 स्रोत
VeriLoop Coder-E1: ऊंचे कोड-रिपेयर स्कोर के पीछे निजी Self-Harness की भूमिका
VeriLoop Coder E1 ने SWE bench Verified में 85.20, SWE bench Pro में 62.38, Terminal Bench 2.0 में 76.40 और DeepSWE में 33.63 स्कोर रिपोर्ट किए हैं। ये नतीजे केवल डाउनलोड किए जा सकने वाले मॉडल के नहीं, बल्कि मॉडल और S... सार्वजनिक रिलीज में Qwen3.6 27B आधारित 27B मॉडल और क्षमता विशिष्ट PEFT अडैप्टर हैं; निजी Harness...
प्रकाशितकर्ताGPT-5.6 Terra से संपादितGPT Image 2 से चित्र बनाए गए
शोध उत्तर
मुख्य निष्कर्ष
- VeriLoop Coder E1 ने SWE bench Verified में 85.20, SWE bench Pro में 62.38, Terminal Bench 2.0 में 76.40 और DeepSWE में 33.63 स्कोर रिपोर्ट किए हैं। ये नतीजे केवल डाउनलोड किए जा सकने वाले मॉडल के नहीं, बल्कि मॉडल और S...
- सार्वजनिक रिलीज में Qwen3.6 27B आधारित 27B मॉडल और क्षमता विशिष्ट PEFT अडैप्टर हैं; निजी Harness कार्य स्थिति, टेस्टिंग, साक्ष्य, वैलिडेशन और रोलबैक वाली निष्पादन प्रक्रिया को संचालित करता है। [3][20][23]
AI संकेत
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Tsinghua Shenzhen International Graduate School Intelligent Robotics Laboratory’s open-source VeriLoop Coder-E1—built on Qwen3.6-27B. Article summary: VeriLoop Coder-E1’s headline scores appear to be results of a complete prototype agent system—not of the downloadable 27B checkpoint alone. The reported gains come from pairing narrow-domain PEFT behavior modules with a . Topic tags: general, education, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, water
VeriLoop Coder-E1 को केवल एक मॉडल नहीं, बल्कि रिपॉजिटरी-रिपेयर एजेंट के मॉडल लेयर के रूप में देखना अधिक सही है। चिंगहुआ शेन्ज़ेन इंटरनेशनल ग्रेजुएट स्कूल की टीम ने SWE-bench Verified पर 85.20, SWE-bench Pro पर 62.38, Terminal-Bench 2.0 पर 76.40 और DeepSWE पर 33.63 स्कोर रिपोर्ट किए हैं। लेकिन ये आंकड़े उस evidence-governed VeriLoop सेटअप के हैं, जिसमें प्रोडक्शन Self-Harness ओपन सोर्स नहीं है। 1
21
मुख्य अंतर: मॉडल वेट्स बनाम मूल्यांकन किया गया सिस्टम
सार्वजनिक मॉडल Qwen3.6-27B पर आधारित 27 अरब पैरामीटर वाला कोडिंग मॉडल है। इसे कोड रीजनिंग, रिपॉजिटरी को समझने और इंजीनियरिंग आर्टिफैक्ट—जैसे पैच या संरचित आउटपुट—तैयार करने के लिए बनाया गया है। इसके Hugging Face पेज पर इसे Apache-2.0 लाइसेंस वाला सॉफ्टवेयर इंजीनियरिंग का ओपन-सोर्स वर्टिकल मॉडल बताया गया है। 5
21
लेकिन परियोजना के दस्तावेज़ों में Self-Harness को वह निष्पादन आधार बताया गया है जो मॉडल के आउटपुट को सीमित, साक्ष्य-आधारित इंजीनियरिंग प्रक्रिया में बदलता है। सार्वजनिक Evidence Binding अडैप्टर भी स्पष्ट करता है कि इसे VeriLoop Harness के तहत चलाने के लिए बनाया गया है; यह पूरे रनटाइम, वैलिडेटर, साक्ष्य प्रबंधन, रोलबैक, सैंडबॉक्स और ऑब्ज़र्वेबिलिटी स्टैक का स्वतंत्र विकल्प नहीं है। 21
23
इसलिए प्रकाशित स्कोरों का अर्थ यह नहीं निकाला जाना चाहिए कि सिर्फ सार्वजनिक चेकपॉइंट डाउनलोड और लोड करने से वही परिणाम दोहराए जा सकेंगे। उपलब्ध सामग्री एक सीमित निष्कर्ष का समर्थन करती है: रिपोर्ट किया गया प्रदर्शन मॉडल + Harness-नियंत्रित वर्कफ़्लो का संयुक्त परिणाम है। सिर्फ सार्वजनिक वेट्स से स्वतंत्र पुनरुत्पादन इन स्रोतों में स्थापित नहीं हुआ है।
संकीर्ण-डोमेन PEFT की भूमिका क्या है?
VeriLoop के अनुसार, रिपेयर टास्क के दौरान बेस मॉडल को लगातार अपडेट करने के बजाय एक स्थिर Qwen बेस के साथ अलग किए जा सकने वाले, क्षमता-विशिष्ट PEFT (Parameter-Efficient Fine-Tuning) सतहों का उपयोग होता है। सार्वजनिक सामग्री में चार क्षेत्र बताए गए हैं: ToolSpec, Uncertainty, Rollback और Evidence Binding। 5
20
24
व्यावहारिक रूप से इन अडैप्टरों का उद्देश्य मॉडल को सॉफ्टवेयर-इंजीनियरिंग निर्णयों और आर्टिफैक्ट्स में बेहतर बनाना है:
- टूल कॉन्ट्रैक्ट: टूल एक्शन, इनपुट, सीमाएं और स्वीकार्यता शर्तें स्पष्ट रूप में बताना।
- अनिश्चितता प्रबंधन: संभावित निदान और स्थापित निष्कर्ष को अलग रखना।
- साक्ष्य बाइंडिंग: दावों को निष्पादन रसीदों से जोड़ना तथा स्पष्ट निर्णय और सीमित अगला कदम देना।
- रोलबैक जागरूकता: बिना सत्यापित पैच को रिपॉजिटरी की नई सत्य स्थिति मान लेने से बचना।
20
यह विशेषज्ञता की रणनीति है, न कि प्रशिक्षण डेटा या हर अडैप्टर के कार्यान्वयन का पूर्ण सार्वजनिक विवरण। जारी सामग्री घोषित क्षमताओं और उनकी भूमिका को दिखाती है, लेकिन हर प्रशिक्षण-चरण के विकल्प का स्वतंत्र ऑडिट करने लायक विवरण नहीं देती। 20
24
Evidence-Governed Spiral कैसे काम करता है?
सिस्टम का केंद्रीय विचार कोड रिपेयर को बार-बार “एक और पैच आज़माओ” वाली प्रक्रिया बनाने के बजाय सीमित और परीक्षण योग्य कार्य-पैकेजों की श्रृंखला बनाना है। परियोजना और चिंगहुआ के विवरण के अनुसार, हर बदलाव को टेस्ट से गुजरना होता है; विफलता का विश्लेषण अगला रिपेयर चक्र तय करता है। 1
3
21
इस चक्र को इस तरह समझा जा सकता है:
- कार्य-पैकेज तैयार करना: Harness समस्या विवरण, रिपॉजिटरी संदर्भ, इंटरफेस सीमाएं और स्वीकार्यता शर्तों को एक संरचित कार्य-पैकेज में जोड़ता है।
3
- सीमित उम्मीदवार बनाना और चलाना: मॉडल पैच या अन्य आर्टिफैक्ट प्रस्तावित करता है, फिर संबंधित रिपॉजिटरी टूल और टेस्ट चलाए जाते हैं।
1
- विरोधी साक्ष्य को सुधारक मानना: टेस्ट फेल्योर, डायग्नोस्टिक्स, टूल रसीदें और इंटरफेस संघर्ष मौजूदा निदान या पैच को चुनौती देते हैं; वे केवल बिना संरचना वाले पुनः प्रयास का संकेत नहीं होते।
- अगला पैकेज दोबारा संकलित करना: अगला दौर पिछले आर्टिफैक्ट, विफलताओं, रसीदों, विरोधी साक्ष्य और नई सीमाओं को शामिल करता है।
- स्थानीय मरम्मत और सत्यापन: सिस्टम संबंधित समस्या-क्षेत्र पर ध्यान देता है, संशोधन की जांच करता है और वैलिडेशन व रिग्रेशन शर्तों के आधार पर उसे स्वीकार या अस्वीकार करता है।
- रखना या रोलबैक करना: लागू जांचों में असफल उम्मीदवार को प्रगति मानकर चुपचाप नहीं रखा जाता; उसे बदला या त्यागा जाता है।
DeepSWE के लिए प्रकाशित मूल्यांकन रिकॉर्ड में 113 कार्यों में 38 पास बताए गए हैं। गैर-पास परिणामों को विफलता मानने पर यह 33.6283% बनता है, जो रिपोर्ट किए गए 33.63 स्कोर से मेल खाता है। हालांकि उस रिकॉर्ड को स्वयं-प्रकाशित बताया गया है। 17
इसे recursive self-improvement क्यों कहा जा रहा है?
VeriLoop का दावा केवल इतना नहीं है कि एजेंट कई पैच बना सकता है। टीम के अनुसार, साक्ष्य तभी उपयोगी है जब वह सिस्टम के आगे के जांचने, निर्णय लेने और सुधारने के तरीके को बदले—न कि पहले से चुने गए निष्कर्ष को सजाने के लिए इस्तेमाल हो। 1
इससे तीन अलग स्तर बनते हैं:
- ट्रायल-एंड-एरर: एक पैच विफल हुआ, इसलिए दूसरा उम्मीदवार बनाया गया।
- सत्यापन में सफलता: एक उम्मीदवार चुनी गई जांचों को पास कर गया।
- साक्ष्य-नियंत्रित सुधार: विरोधी साक्ष्य अगले तरीके को बदलता है—मिसाल के तौर पर कार्य की परिभाषा, डायग्नोस्टिक फोकस, स्वीकार्य साक्ष्य, रिपेयर सीमा या वैलिडेशन गेट—और बदला हुआ तरीका भी भविष्य के साक्ष्य से चुनौती योग्य रहता है।
यह इंजीनियरिंग की falsification-केंद्रित सोच से मेल खाता है: टेस्ट को मौजूदा परिकल्पना गलत साबित कर सकना चाहिए, और टेस्ट पास होना खास जांचों के तहत किसी उम्मीदवार के पक्ष में साक्ष्य है, सर्वव्यापी प्रमाण नहीं। व्यावहारिक रूप से इसका मतलब है अनुशासित स्टेट मैनेजमेंट—अवलोकन और निष्कर्ष को अलग रखना, सत्यापित बातों को सुरक्षित रखना और विफल परिकल्पनाओं से अगला प्रयास सीमित करना। 1
20
21
हालांकि, यह अधिक मजबूत दावा कि ऐसे तरीके अलग-अलग रिपॉजिटरी में व्यापक रूप से सामान्यीकृत होते हैं, या कि यह सामान्य अर्थ में स्वायत्त recursive self-improvement है, उपलब्ध सार्वजनिक जानकारी से साबित नहीं होता।
मॉडल ओपन है, लेकिन Harness बंद क्यों है?
परियोजना एक पुन: उपयोग योग्य मॉडल बैकएंड और उसे चलाने वाले कंट्रोल प्लेन को अलग रखती है। मॉडल और सार्वजनिक PEFT आर्टिफैक्ट्स रिपॉजिटरी रीजनिंग तथा आर्टिफैक्ट जेनरेशन के प्रयोगों में काम आ सकते हैं। दूसरी ओर, बंद प्रोडक्शन Harness वही ऑर्केस्ट्रेशन संभालता है जो कार्य-पैकेज बनाता है, कार्य और संस्करण-आधारित स्थिति रखता है, साक्ष्य को रूट करता है, चरणों का क्रम तय करता है, वैलिडेशन लागू करता है और रोलबैक प्रबंधित करता है। 3
21
23
इस सीमा का पुनरुत्पादकता पर सीधा असर है: मॉडल प्रकाशित करना, पूरे मूल्यांकित एजेंट को प्रकाशित करना नहीं है। इसलिए परियोजना का सार्वजनिक दावा भी अधिक सटीक ढंग से पढ़ा जाना चाहिए—Coder-E1 विशेषीकृत कोड मॉडल है; Self-Harness वह निष्पादन प्रणाली है जो तय करती है कि मॉडल का इस्तेमाल कैसे होगा। जब तक यह कंट्रोल स्टैक उपलब्ध या स्वतंत्र रूप से पुनर्निर्मित नहीं होता, बेंचमार्क परिणामों को ओपन चेकपॉइंट की अंतर्निहित विशेषता नहीं, बल्कि सिस्टम-स्तरीय परिणाम मानना चाहिए। 1
21
23
Studio Global AI
अपना शोध जारी रखें
इस पृष्ठ में एक स्रोत-समर्थित उत्तर शामिल है जिसे आप Studio Global के अंदर जारी रख सकते हैं।
लोग पूछते भी हैं
"VeriLoop Coder-E1: ऊंचे कोड-रिपेयर स्कोर के पीछे निजी Self-Harness की भूमिका" का संक्षिप्त उत्तर क्या है?
VeriLoop Coder E1 ने SWE bench Verified में 85.20, SWE bench Pro में 62.38, Terminal Bench 2.0 में 76.40 और DeepSWE में 33.63 स्कोर रिपोर्ट किए हैं। ये नतीजे केवल डाउनलोड किए जा सकने वाले मॉडल के नहीं, बल्कि मॉडल और S...
सबसे पहले सत्यापित करने योग्य मुख्य बिंदु क्या हैं?
VeriLoop Coder E1 ने SWE bench Verified में 85.20, SWE bench Pro में 62.38, Terminal Bench 2.0 में 76.40 और DeepSWE में 33.63 स्कोर रिपोर्ट किए हैं। ये नतीजे केवल डाउनलोड किए जा सकने वाले मॉडल के नहीं, बल्कि मॉडल और S... सार्वजनिक रिलीज में Qwen3.6 27B आधारित 27B मॉडल और क्षमता विशिष्ट PEFT अडैप्टर हैं; निजी Harness कार्य स्थिति, टेस्टिंग, साक्ष्य, वैलिडेशन और रोलबैक वाली निष्पादन प्रक्रिया को संचालित करता है। [3][20][23]