HarnessPro намагається вдосконалити не саму ШІ-модель, а те, як вона виконує завдання. Фреймворк змінює її обв’язку — інструкції, доступні інструменти та правила роботи під час виконання — і шукає налаштування, що поєднують кращі результати з нижчими витратами.
3
11
Що таке обв’язка ШІ-агента
Модель — лише частина агента. Його роботою також керують інструкції, вибір інструментів і правила взаємодії з середовищем. Усе це разом і називають обв’язкою, або harness. За задумом HarnessPro, її зміни можуть впливати і на те, чи впорається агент із завданням, і на вартість його роботи.
11
Як HarnessPro шукає кращі налаштування
Фреймворк аналізує записи виконання завдань: шукає повторювані помилки та зайві витрати. На їх основі він пропонує зміни до обв’язки, а потім перевіряє варіанти на синтезованих тестах. Для оптимізації, як зазначено в описі проєкту, не потрібні готові еталонні відповіді чи офіційні тести.
11
Процес повторюється: нові варіанти можна оцінювати й доопрацьовувати в наступних циклах. Тобто HarnessPro змінює середовище та правила роботи агента, а не ваги самої моделі.
3
11
Навіщо три режими — Lite, Medium і Heavy
Найкращий вибір залежить від пріоритетів: іноді важливіше зменшити витрати, а іноді — підвищити ймовірність успіху. Тому HarnessPro зберігає три варіанти налаштувань: Lite — дешевший, Medium — збалансований, Heavy — орієнтований на вищу продуктивність.
11
Цей підхід дає змогу не вважати конфігурацію з найвищим показником найкращою для будь-якого випадку. Команди можуть обирати режим відповідно до завдань і бюджету.
11
Що показали тестування
На сторінці проєкту наведено результати для GPT-5.5 із Codex на Terminal-Bench 2: режим HarnessPro Heavy виконав успішно 80,8% завдань за $0,72 на одне завдання. Для RHO у тому самому порівнянні вказано 76,3% і $1,09 відповідно.
16
Окремі огляди дослідження повідомляють, що в оціненому наборі тестів Heavy у середньому підвищив частку успішно виконаних завдань на 2,0 відсоткового пункту й зменшив витрати на завдання на 26,1% порівняно з RHO.
7
20
Ці результати стосуються конкретних моделей, налаштувань і тестів. Вони не гарантують такого самого приросту для будь-якого завдання чи розгортання. Саме тому проєкт пропонує кілька варіантів: якість виконання та вартість можуть вимагати різних компромісів.
11
16