HarnessPro היא מסגרת לשיפור הדרגתי של מעטפת העבודה של סוכן AI — ההוראות, הכלים ומדיניות ההפעלה שמכוונים את פעולתו. היא בוחנת שינויים אפשריים בעזרת בדיקות שנוצרו למשימות, ושומרת כמה תצורות שמייצגות איזונים שונים בין הצלחה לעלות, במקום להניח שיש תצורה אחת שמתאימה לכולם.
3
11
מהי מעטפת העבודה של סוכן?
סוכן AI אינו פועל רק על סמך המודל עצמו. מעטפת העבודה שלו כוללת גם את ההוראות שהוא מקבל, הכלים שזמינים לו והכללים שמנחים אותו בזמן הריצה. לפי HarnessPro, שינויים במעטפת הזו עשויים להשפיע הן על הביצועים במשימה והן על עלות הביצוע.
11
איך HarnessPro מנסה לשפר אותה?
המסגרת מנתחת תיעוד של הרצות קודמות כדי לזהות דפוסים של כשלים ושל עלויות. על בסיס הממצאים היא מציעה שינויים אפשריים במעטפת, ואז בוחנת אותם באמצעות בדיקות שנוצרו למשימות. לפי תיעוד הפרויקט, תהליך האופטימיזציה אינו נשען על פתרונות אמת או על בדיקות רשמיות.
11
התהליך חוזר על עצמו: ניתן לבדוק תצורות מועמדות, לחדד אותן בסבבים נוספים ולבחון את התוצאות. כלומר, HarnessPro משנה את הדרך שבה הסוכן פועל — ולא את המשקולות של המודל עצמו.
3
11
למה יש שלוש גרסאות?
לא בכל שימוש כדאי לשאוף לביצועים המרביים, אם הם באים עם עלות גבוהה יותר. בחירה מבוססת חזית פארטו שומרת שלוש נקודות עבודה: Lite לחיסכון בעלות, Medium לאיזון, ו-Heavy למי שמעדיף ביצועים גבוהים יותר.
11
כך אפשר לבחור תצורה בהתאם לצורכי ההפעלה, במקום להניח שהתוצאה בעלת הציון הגבוה ביותר היא בהכרח הבחירה הנכונה.
11
מה הראו תוצאות המדדים?
לפי עמוד התוצאות של הפרויקט, בשילוב GPT-5.5 ו-Codex במדד Terminal-Bench 2, גרסת Heavy של HarnessPro השיגה שיעור הצלחה של 80.8% בעלות של 0.72 דולר למשימה. באותה השוואה, RHO השיגה 76.3% בעלות של 1.09 דולר למשימה.
16 בנפרד, סיכומי מחקר דיווחו כי במערך ההערכה שנבדק נרשמה בממוצע עלייה של 2 נקודות אחוז בשיעור ההצלחה לצד ירידה של 26.1% בעלות למשימה לעומת RHO.
7
20
חשוב לזכור שמדובר בתוצאות של שילובים מסוימים של מודל, מעטפת ומדד. הן אינן מוכיחות שאותו שיפור יתקבל בכל משימה או בכל סביבת הפעלה. העובדה שהפרויקט מציע כמה גרסאות נועדה בדיוק לשקף את המתח האפשרי בין ביצועים לעלות.
11
16