Een AI-agent is niet alleen het model dat antwoorden genereert. Ook de instructies, beschikbare tools en regels voor het uitvoeren van taken bepalen hoe de agent werkt. Dat geheel heet de harness. HarnessPro probeert die omgeving stap voor stap te verbeteren, met aandacht voor zowel prestaties als kosten.
3
11
Wat HarnessPro aanpast
In plaats van de gewichten van het AI-model te veranderen, richt HarnessPro zich op de inrichting eromheen. Het framework analyseert uitvoeringssporen om terugkerende fouten en onnodige kosten op te sporen. Op basis daarvan stelt het aanpassingen aan de harness voor.
3
11
Kandidaatversies worden beoordeeld met tests die voor de evaluatie zijn samengesteld. Volgens de projectbeschrijving zijn daarvoor tijdens de optimalisatie geen officiële tests of oplossingen met bekende antwoorden nodig.
11 Het proces is iteratief: kandidaten kunnen in volgende rondes opnieuw worden beoordeeld en aangepast.
3
11
Geen enkele configuratie is altijd de beste
Meer prestaties kunnen extra kosten met zich meebrengen. Daarom probeert HarnessPro niet één universele configuratie als winnaar aan te wijzen. De selectie is gebaseerd op de afweging tussen prestaties en kosten en levert drie opties op:
11
- Lite: gericht op lagere kosten.
- Medium: een middenweg tussen kosten en prestaties.
- Heavy: gericht op hogere prestaties.
Zo kunnen teams een variant kiezen die past bij hun toepassing, in plaats van ervan uit te gaan dat de hoogste score automatisch de beste keuze is.
11
Wat de gerapporteerde resultaten laten zien
Op Terminal-Bench 2 behaalde HarnessPro Heavy met GPT-5.5 en Codex een slagingspercentage van 80,8% bij $ 0,72 per taak. In dezelfde vergelijking kwam RHO uit op 76,3% en $ 1,09 per taak.
16
Over de gerapporteerde evaluatieopzet melden samenvattingen daarnaast gemiddeld 2,0 procentpunt meer geslaagde taken en 26,1% lagere kosten per taak dan bij RHO.
7
20 Dit zijn resultaten voor specifieke combinaties van model, harness en benchmark. Ze tonen dus niet aan dat HarnessPro bij elke taak of toepassing dezelfde winst oplevert.
11
16