Better Harness של Qoder: לא בודקים רק את הקוד — בודקים את כל תהליך העבודה

מהו Better Harness?

Better Harness הוא פרויקט קוד פתוח של Qoder לבחינה ולשיפור של תהליך העבודה המקיף סוכן קוד. במקום לדרג תגובה אחת של מודל או diff אחד בנפרד, הוא בודק את הוראות המאגר, מנגנוני הבקרה, נתיבי האימות, הגדרות הסוכן — וכאשר הדבר נתמך, גם תיעוד של מה שאכן קרה בהפעלות עבודה אמיתיות. המטרה היא לאתר פערים בתהליך, להציע תיקון מוגבל בהיקפו, ולאפשר בדיקה חוזרת בהמשך. 124

לפי דיווחים שפורסמו בעת ההשקה, Qoder פתחה את הפרויקט ב-GitHub ב-28 ביולי 2026. 5

העיקרון המרכזי: להעריך את ה״מעטפת״, לא רק את המודל

סוכן קוד פועל בתוך מערכת רחבה יותר: הנחיות במאגר, מפרטים, כלים, הרשאות, סקריפטים, בדיקות, דרישות סקירה, בקרות שחרור והעברות עבודה לבני אדם. ב-Qoder מכנים את הסביבה הזו Harness — מעטפת העבודה של הסוכן. לפי התיעוד, מעטפת כזו עשויה לכלול הוראות מאגר, כללים, מיומנויות (Skills), hooks, תוספים, מחברים, סקריפטים, פקודות בדיקה, בדיקות שחרור ושלבי סקירה אנושיים. 2

ההבחנה הזו חשובה: גם מודל חזק עלול להפיק תוצאות לא אמינות אם תהליך העבודה סביבו עמום או חסר אמצעי מדידה. למשל, בפרויקט יכולה להיות פקודה להרצת בדיקות, אך בלי הנחיה ברורה מתי הסוכן צריך להפעיל אותה; קובץ כללים יכול להתקיים אך לא להיכנס לשימוש; ולקחים מכישלון במשימה עשויים להיעלם עם סיום ההפעלה. Better Harness נועד לחשוף חולשות תפעוליות כאלה, במקום להניח שעצם קיומו של קובץ הגדרות מעיד על תהליך עובד. 145

שלוש השכבות של המסגרת

Better Harness מוצג כמסגרת תלת-שכבתית שמחברת בין פרקטיקות הנדסיות, מודל הערכה ומימוש שאפשר להריץ בפרויקטים אמיתיים. 5

1. פרקטיקות Harness Engineering

השכבה הראשונה עוסקת במנגנונים המעשיים שמעצבים את עבודת הסוכן: דפוסי Session ו-CLI, נראות תפעולית (observability), כללים, Skills, הגדרות MCP, זיכרון, hooks ואוטומציה. 5

בפועל, זו השכבה שעונה על שאלות כגון:

• האם הסוכן מקבל מטרה, מגבלות והקשר ברור של המאגר?
• האם נתיבי ההרצה וההרשאות שלו נשלטים במידה המתאימה?
• האם בדיקות, בקרות וסקירות מחוברים לעבודה שהסוכן מבצע?
• האם לקחים שימושיים הופכים לנכסי פרויקט שמתוחזקים לאורך זמן, במקום להיעלם בסוף Session?

הכלי מתחיל במיפוי המעטפת הקיימת: מטרות, הקשר, נקודות כניסה להרצה, לולאות משוב, מנגנוני מסירה ושימור ידע. 1

2. הערכת Agent Work Loop

השכבה השנייה ממירה את הפרקטיקות להערכה של חמישה ממדי מסירה מחוברים: הבנת המשימה, ביצוע מבוקר, אימות השינוי, מסירה אמינה ולכידת למידה. 14

כך השאלה משתנה מ״האם הסוכן יצר קוד שנשמע סביר?״ לבחינה תפעולית יותר: האם התהליך מקצה לקצה מסוגל לייצר שוב ושוב שינויים מובנים, מבוקרים, מאומתים, ניתנים למסירה ומבוססי ניסיון קודם?

המודל אמור לאתר נקודות כשל בלולאה: מנגנון חסר, אינטגרציה מנותקת, שלב שלא בוצע בפועל או ראיות לא מספקות לתוצאה. 1

3. מימוש שניתן להריץ

השכבה השלישית נועדה להפוך את הפרקטיקות ומודל ההערכה למשהו שאפשר להפעיל בפרויקטים, ולא רק להנחיות תיאורטיות. Better Harness פועל דרך סוכן קוד, אוסף ראיות מהפרויקט ומהפעלות עבודה במקומות שבהם קיימת תמיכה, ומפיק צעדים מתועדפים שאפשר לאמת. 4

חומרי הפרויקט העדכניים של Qoder מציינים תמיכה בעשרה מתאמי מארח (host adapters). בדיווחי ההשקה הוזכרו במפורש Claude Code, Codex, Qoder ו-Cursor בין סביבות סוכני הקוד הנתמכות. 56

כיסוי המתאמים עשוי להשתנות, ולכן יש לבדוק את תיעוד המתאמים העדכני לפני שמניחים תמיכה בסביבה מסוימת. המקורות שסופקו אינם מבססים תמיכה ב-OpenClaw.

איך נאספות הראיות?

מאפיין מרכזי בגישה הוא ההפרדה בין איסוף הראיות לבין ההערכה הסופית. Qoder מציינת שזרימת הניתוח הראשית אוספת נתונים גולמיים, ואז מעבירה אותם לשלושה תת-סוכנים עצמאיים לקריאה בלבד, לפני איחוד התוצאות. 1

שלוש נקודות המבט הן:

• Project Harness — יסודות ההנדסה של המאגר, כגון הוראות, סקריפטים, בדיקות ובקרות מסירה.
• Agent Customization — כללים, Skills, hooks והגדרות אחרות שמותאמות לסוכן.
• Session Evidence — תיעוד של מה שהסוכן עשה בפועל במהלך עבודה אמיתית, כאשר ראיות כאלה זמינות.

החלוקה הזו מסייעת להבדיל בין תהליך מתוכנן לבין תהליך שנצפה. ראיות מהפרויקט ומההגדרות יכולות להראות שיכולת זמינה; ראיות מ-Session יכולות לסייע להראות אם נעשה בה שימוש הולם במשימה אמיתית. 14

למה ״קיים״ אינו בהכרח ״עובד״

העיקרון המועיל ביותר של המסגרת הוא שקיומו של רכיב אינו ראיה לאפקטיביות שלו.

נניח שבמאגר יש חבילת בדיקות אוטומטיות. עצם קיומה מעיד על יכולת פוטנציאלית, אבל לא מוכיח שהסוכן הריץ את הבדיקות הרלוונטיות אחרי שינוי, פירש נכון את התוצאה, או השתמש בפלט כדי למנוע מסירה בעייתית. אותו עיקרון חל על כללים, hooks, Skills ושערי אישור. 15

לכן Better Harness מנסה לשמור על שרשרת ראיות מפורשת. בדוחות שלו, פערים שנתמכים בראיות הופכים לממצאים מתועדפים הכוללים השפעה, תוצר צפוי, תיקון תחום ובדיקות קבלה. ראיות חסרות נשארות גלויות, במקום להפוך בשקט לציון בטוח מדי. 46

ממצא כזה אמור לאפשר לצוות לבדוק ארבעה דברים:

1. מה נצפה בפועל בפרויקט, בהגדרות או בתיעוד ה-Session.
2. מדוע הדבר חשוב ללולאת המסירה.
3. איזה תיקון ממוקד מוצע — למשל כלל, Skill, hook, סקריפט, אוטומציה או שלב אישור אנושי.
4. כיצד לאמת את התיקון לאחר יישומו.

לולאת השיפור: בדיקה, תיקון ומדידה מחדש

Better Harness אינו מוצג כביקורת חד-פעמית, אלא כתהליך איטרטיבי:

1. ממפים את המעטפת הקיימת.
2. מאתרים נקודות כשל ופערי ראיות.
3. יוצרים משימת תיקון מוגבלת עבור ממצא נתמך.
4. מאמתים את התיקון מול בדיקות קבלה מוגדרות.
5. מריצים את הסקירה שוב ובוחנים את הראיות המעודכנות. 14

זו הבסיס לטענת השיפור המתמשך. הכלי יכול להראות שהתהליך השתנה, ולבחון אם ראיות חדשות תומכות בהערכה חזקה יותר. עם זאת, הוא אינו מוכיח לבדו שתיקון מסוים גרם לשיפור בביצועי הסוכן בכל פרויקט או סביבת מארח. חומרי Qoder מדגישים ראיות שנצפו ומגבלות מפורשות, ולא מתייחסים לשינוי בציון כהוכחה סיבתית. 46

מה אפשר ללמוד מבדיקת 30 פרויקטי GitHub?

בדיווחי ההשקה נכתב כי המסגרת שימשה בתרגיל ראשוני שכלל 30 פרויקטים אמיתיים ב-GitHub. 5 נכון לקרוא לכך יישום חקרני של המסגרת, ולא הוכחה מבוקרת לכך ש-Better Harness משפר כל סוכן קוד או כל מאגר.

התיעוד הראשי הזמין תומך במודל הראיות של הכלי, במבנה הממצאים ובמחזור התיקון האיטרטיבי. עם זאת, המקורות שסופקו אינם כוללים די פירוט ראשי כדי להעריך באופן עצמאי את בחירת המדגם, פרוטוקול הניקוד או התוצאות המצטברות של 30 הפרויקטים. זו מגבלה חשובה כשמשווים את Better Harness לאמות מידה פורמליות או מציגים טענות ביצועים רחבות. 14

צעד לעבר הנדסת סוכנים מדידה יותר

הטיעון הרחב של Qoder הוא ש-Harness Engineering צריכה להפוך לתשתית איכות לפיתוח תוכנה בסיוע בינה מלאכותית: שפה משותפת לבקרות תהליך, ראיות נצפות, ממדי מסירה שניתן להשוות ביניהם ומחזורי שיפור חוזרים. 12

Better Harness מציע גרסה מעשית של הרעיון הזה. הוא נותן לצוותים דרך לבחון את התנאים סביב עבודת סוכן במארחים נתמכים, לנהל דיון על סמך ראיות ולא על סמך התרשמות, ולבדוק אם תיקון מוצע לתהליך מחזיק מעמד בהרצות הבאות. הערך שלו אינו הבטחה שכל תיקון ישפר תוצאות, אלא דרך מסודרת יותר להפוך תהליכי עבודה של סוכני קוד לניתנים לבדיקה, לסקירה ולהפרכה. 46