AnswersPublished18 sources
המודל פתוח, מערכת ההרצה סגורה: מה באמת עומד מאחורי ציוני VeriLoop Coder-E1
VeriLoop Coder E1 דיווח על 85.20 ב־SWE bench Verified, על 62.38 ב־SWE bench Pro, על 76.40 ב־Terminal Bench 2.0 ועל 33.63 ב־DeepSWE — אך הציונים מתארים מערכת סוכן המשלבת מודל פתוח עם Harness פרטי. ההורדה הציבורית כוללת מודל קוד מבוסס Qwen3.6 27B ומתאמי PEFT ייעודיים; ה־Self Harness הסגור מנהל את מחזור העבודה המונחה־ר...
פורסם על ידינערך באמצעות GPT-5.6 Terraהתמונות נוצרו באמצעות GPT Image 2
Research answer
Key takeaways
- VeriLoop Coder E1 דיווח על 85.20 ב־SWE bench Verified, על 62.38 ב־SWE bench Pro, על 76.40 ב־Terminal Bench 2.0 ועל 33.63 ב־DeepSWE — אך הציונים מתארים מערכת סוכן המשלבת מודל פתוח עם Harness פרטי.
- ההורדה הציבורית כוללת מודל קוד מבוסס Qwen3.6 27B ומתאמי PEFT ייעודיים; ה־Self Harness הסגור מנהל את מחזור העבודה המונחה־ראיות, לרבות מצב משימה, בדיקות, אימות ו־rollback.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Tsinghua Shenzhen International Graduate School Intelligent Robotics Laboratory’s open-source VeriLoop Coder-E1—built on Qwen3.6-27B. Article summary: VeriLoop Coder-E1’s headline scores appear to be results of a complete prototype agent system—not of the downloadable 27B checkpoint alone. The reported gains come from pairing narrow-domain PEFT behavior modules with a . Topic tags: general, education, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, water
השורה התחתונה: הציונים שייכים למערכת, לא למשקלים לבדם
את VeriLoop Coder-E1 צריך להבין כשכבת מודל בתוך סוכן רחב יותר לתיקון מאגרי קוד. צוות בית הספר הבינלאומי לתארים מתקדמים בשנג'ן של אוניברסיטת צינגחואה דיווח על ציונים של 85.20 ב־SWE-bench Verified, 62.38 ב־SWE-bench Pro, 76.40 ב־Terminal-Bench 2.0 ו־33.63 ב־DeepSWE. אולם אלו ציונים של תצורת VeriLoop המונחית־ראיות, שבה סביבת ה־Self-Harness המבצעית אינה בקוד פתוח. 1
21
לכן, אין לפרש את התוצאות כהוכחה שטעינת ה־checkpoint הזמין להורדה, כשלעצמה, תשחזר את הביצועים שפורסמו. מן המידע הציבורי עולה מסקנה מצומצמת יותר: הביצועים המדווחים נובעים מהשילוב בין המודל לבין תהליך העבודה המנוהל ב־Harness. שחזור עצמאי של התוצאות באמצעות המשקלים הציבוריים בלבד לא הוכח במקורות שסופקו.
מה פתוח — ומה נשאר מחוץ לשחרור
המודל הציבורי הוא מודל קוד בן 27 מיליארד פרמטרים, המבוסס על Qwen3.6-27B ומיועד להסקת מסקנות על קוד, להבנת מאגרי קוד ולהפקת ארטיפקטים הנדסיים. בדף Hugging Face הוא מתואר כמודל אנכי פתוח לתחום הנדסת התוכנה, ברישיון Apache-2.0. 5
21
לעומתו, תיעוד הפרויקט מגדיר את Self-Harness כתשתית ההרצה השולטת: השכבה שהופכת פלט של מודל לתהליך הנדסי תחום ומבוסס ראיות. מתאם ה־Evidence Binding הציבורי מציין במפורש שהוא מיועד לפעול תחת VeriLoop Harness, ואינו תחליף עצמאי לסביבת ההרצה המלאה — הכוללת מאמתים, ניהול ראיות, rollback, sandbox ותצפיתיות. 21
23
במילים פשוטות: Coder-E1 הוא מנוע הקוד המתמחה; Self-Harness הוא מנהל התהליך שקובע כיצד להשתמש בו.
תפקידם של מתאמי PEFT ייעודיים
במקום לעדכן שוב ושוב את משקלי מודל הבסיס במהלך משימת תיקון, VeriLoop מתאר בסיס Qwen קפוא, שאליו מצורפים מתאמי PEFT נפרדים לפי יכולת. PEFT הוא כוונון יעיל־פרמטרים: דרך להתמקד בהתנהגויות מסוימות בלי לאמן מחדש מודל בסיס מלא. החומרים הציבוריים מזהים ארבעה תחומים כאלה: ToolSpec, Uncertainty, Rollback ו־Evidence Binding. 5
20
24
מבחינה מעשית, המתאמים אמורים לסייע למודל להפיק ולשפוט ארטיפקטים והחלטות של הנדסת תוכנה:
- חוזי כלים: ניסוח פעולות כלי שימושיות, קלטים, מגבלות ותנאי קבלה.
- טיפול באי־ודאות: הפרדה בין אבחנה זמנית לבין ממצא מבוסס.
- קישור ראיות: חיבור בין טענות לבין קבלות ביצוע, והפקת הכרעה מפורשת ופעולה הבאה תחומה.
- מודעות ל־rollback: מניעת מצב שבו תיקון שלא אומת נתפס אוטומטית כמצב החדש והתקין של המאגר.
20
זו אסטרטגיית התמחות, ולא תיאור ציבורי מלא של קורפוס האימון או של מימוש המתאמים. החומרים שפורסמו מבססים את היכולות המוצהרות ואת תפקידן, אך אינם מספקים די פרטים לביקורת עצמאית של כל בחירה בשלבי האימון. 20
24
כך פועלת ה״ספירלה המונחית־ראיות״
הרעיון המרכזי הוא להפוך תיקון קוד לסדרה של חבילות עבודה תחומות וניתנות לבדיקה, במקום לבקש מהמודל שוב ושוב לנסות עוד patch. לפי תיאור הפרויקט וצינגחואה, כל שינוי שנוצר חייב לעבור בדיקה; כישלון מנותח ומנחה את מחזור התיקון הבא. 1
3
21
כך אפשר לקרוא את הלולאה בפועל:
- בניית חבילת משימה: ה־Harness משלב את תיאור התקלה, הקשר המאגר, מגבלות ממשק ותנאי קבלה לחבילת עבודה מובנית.
3
- יצירה והרצה של מועמד תחום: המודל מציע ארטיפקט או תיקון, ולאחר מכן מופעלים כלים ובדיקות רלוונטיים למאגר.
1
- שימוש בראיות נגדיות לתיקון הכיוון: כישלונות בדיקה, אבחונים, קבלות מכלים והתנגשויות ממשק מערערים על האבחנה או התיקון הנוכחיים — ולא רק מפעילים ניסיון חוזר בלתי מובנה.
- הידור מחדש של החבילה הבאה: הסבב הבא כולל את הארטיפקט הקודם, הכישלונות, הקבלות, הראיות הנגדיות והמגבלות החדשות שנוספו.
- תיקון מקומי ואימות: המערכת מתמקדת בבעיה המעורבת, בודקת את הגרסה המתוקנת ומקבלת או דוחה אותה לפי תנאי אימות ורגרסיה.
- שמירה או נסיגה לאחור: מועמד שאינו עומד בבדיקות הרלוונטיות מתוקן או נזרק, במקום להיחשב בשקט להתקדמות.
עבור DeepSWE, רישום ההערכה שפרסם הפרויקט מדווח על 38 הצלחות מתוך 113 משימות. כל תוצאה שאינה הצלחה נספרה ככישלון, ולכן התקבל שיעור של 33.6283% — נתון התואם לציון 33.63 שפורסם. עם זאת, הרישום עצמו מסומן כפרסום עצמי. 17
למה זה, לפי הצוות, יותר מניסוי וטעייה
ההבחנה ש־VeriLoop מבקש לטעון לה אינה רק יכולתו של סוכן להציע כמה patches. לפי מסגור הצוות, ראיה חשובה רק כשהיא משנה את הדרך שבה המערכת תחקור, תשפוט ותתקן עבודה עתידית — ולא כשהיא רק מקשטת מסקנה שכבר נבחרה. 1
מכאן נובעים שלושה רמות שונות:
- ניסוי וטעייה: תיקון נכשל, ולכן המערכת מייצרת מועמד נוסף.
- הצלחה באימות: מועמד אחד עבר את הבדיקות שנבחרו.
- שיפור מונחה־ראיות: ראיות נגדיות משנות את השיטה לסבב הבא — למשל את ניסוח המשימה, מוקד האבחון, סוגי הראיות הקבילות, מגבלות התיקון או שער האימות — וגם השיטה המתוקנת נותרת פתוחה לאתגר של ראיות עתידיות.
הגישה מתיישבת עם תפיסה הפרכתית בהנדסה: בדיקה צריכה להיות מסוגלת להפריך השערה נוכחית; תוצאה עוברת היא ראיה לטובת מועמד תחת בדיקות מסוימות, לא הוכחה אוניברסלית. התוצאה המעשית החשובה היא ניהול מצב ממושמע: להבדיל בין תצפית למסקנה, לשמר את מה שאומת, ולתת להשערות שנכשלו להגביל את הניסיון הבא. 1
20
21
הטענה החזקה יותר — ששינויי השיטה הללו מוכללים באופן רחב בין מאגרים, או שהם שקולים לשיפור עצמי רקורסיבי אוטונומי במובן הכללי — עדיין אינה מוכחת במידע הציבורי שסופק.
מדוע המודל פתוח, אבל ה־Harness סגור
הפרויקט מפריד בין backend מודל שניתן לשימוש חוזר לבין שכבת בקרה שמנהלת אותו. המודל וארטיפקטי ה־PEFT הציבוריים יכולים לתמוך בניסויים בהבנת מאגרים ובהפקת ארטיפקטים. ה־Harness המבצעי, שלא פורסם, מכיל את התזמור שמרכיב חבילות משימה, שומר מצב משימה ומצב גרסאות, מנתב ראיות, מתזמן שלבים, מחיל אימות ומנהל rollback. 3
21
23
לגבול הזה יש משמעות מהותית לשחזור מדעי: פרסום מודל אינו שקול לפרסום הסוכן המלא שנמדד. עד ששכבת הבקרה תהיה זמינה, או תשוחזר באופן עצמאי, ראוי לקרוא את תוצאות המדדים כתוצאות ברמת המערכת — ולא כתכונה מובנית של ה־checkpoint הפתוח בלבד. 1
21
23
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "המודל פתוח, מערכת ההרצה סגורה: מה באמת עומד מאחורי ציוני VeriLoop Coder-E1"?
VeriLoop Coder E1 דיווח על 85.20 ב־SWE bench Verified, על 62.38 ב־SWE bench Pro, על 76.40 ב־Terminal Bench 2.0 ועל 33.63 ב־DeepSWE — אך הציונים מתארים מערכת סוכן המשלבת מודל פתוח עם Harness פרטי.
What are the key points to validate first?
VeriLoop Coder E1 דיווח על 85.20 ב־SWE bench Verified, על 62.38 ב־SWE bench Pro, על 76.40 ב־Terminal Bench 2.0 ועל 33.63 ב־DeepSWE — אך הציונים מתארים מערכת סוכן המשלבת מודל פתוח עם Harness פרטי. ההורדה הציבורית כוללת מודל קוד מבוסס Qwen3.6 27B ומתאמי PEFT ייעודיים; ה־Self Harness הסגור מנהל את מחזור העבודה המונחה־ראיות, לרבות מצב משימה, בדיקות, אימות ו־rollback.