HarnessPro je metoda, která opakovaně vylepšuje takzvaný harness AI agenta — tedy jeho instrukce, dostupné nástroje a pravidla, podle nichž pracuje. Cílem je zlepšit výsledky a zároveň hlídat náklady. Nejde přitom o přeučení samotného modelu, ale o úpravu jeho provozního nastavení.
3
11
Co všechno patří do harnessu
AI agent není jen jazykový model. Jeho práci ovlivňuje také to, jaké dostane pokyny, k jakým nástrojům má přístup a jaká pravidla platí při jejich používání. Změny v tomto nastavení mohou ovlivnit, zda agent úlohu zvládne — i kolik prostředků na ni spotřebuje.
11
Jak HarnessPro navrhuje změny
Systém analyzuje záznamy předchozích běhů a hledá v nich opakující se chyby i zbytečné náklady. Na jejich základě navrhuje úpravy a následně je testuje pomocí synteticky vytvořených testů. Při optimalizaci tak podle popisu projektu nepotřebuje referenční řešení ani oficiální testovací sadu.
11
Proces je rekurzivní: upravené varianty harnessu lze v dalších kolech znovu vyhodnocovat a vylepšovat. HarnessPro tedy mění způsob, jakým agent úkoly provádí, nikoli váhy modelu, který za ním stojí.
3
11
Proč nabízí tři režimy
Nejúspěšnější nastavení nemusí být nejvhodnější, pokud je zároveň výrazně dražší. HarnessPro proto pomocí výběru podle Pareto optimizace zachovává tři varianty s odlišným poměrem výkonu a nákladů: Lite pro úspornější provoz, Medium jako střední cestu a Heavy pro vyšší výkon.
11
Výběr tak závisí na konkrétním použití. Tým může upřednostnit nižší cenu, vyvážený kompromis nebo co nejlepší výsledky, místo aby automaticky sáhl po variantě s nejvyšším skóre.
11
Co ukázaly dosavadní výsledky
Na benchmarku Terminal-Bench 2 dosáhla konfigurace HarnessPro Heavy s GPT-5.5 a Codex úspěšnosti 80,8 % při nákladech 0,72 USD na úlohu. Ve srovnání uvedeném na projektové stránce měla metoda RHO úspěšnost 76,3 % a náklady 1,09 USD na úlohu.
16
Další souhrny výsledků uvádějí, že HarnessPro Heavy v popsaném nastavení zvýšil průměrnou úspěšnost o 2,0 procentního bodu a snížil průměrné náklady na úlohu o 26,1 % oproti RHO.
7
20
Jde o výsledky konkrétních kombinací modelu, harnessu a benchmarku — nikoli o záruku stejného přínosu v každém nasazení. Právě proto projekt nabízí několik režimů: vyšší výkon a nižší náklady nemusí jít vždy ruku v ruce.
11
16