En AI-agent er mer enn modellen som genererer svarene. Instruksjonene den følger, verktøyene den får bruke og reglene for hvordan den kjører, påvirker også hva den får til – og hvor mye det koster. HarnessPro er laget for å forbedre dette oppsettet, eller «harness», uten å endre modellens vekter.
3
11
Hva HarnessPro gjør
Rammeverket bruker spor fra agentens tidligere kjøringer til å lete etter mønstre i feil og kostnader. Deretter foreslår det mulige endringer i oppsettet og vurderer dem med syntetiske tester. Ifølge prosjektets README gjøres denne optimaliseringen uten fasitsvar eller offisielle tester.
11
Prosessen kan gjentas: Kandidatoppsett vurderes og forbedres videre i nye runder. Dermed handler HarnessPro om å utvikle måten agenten arbeider på, ikke om å trene om selve modellen.
3
11
Tre alternativer, ikke én universell vinner
Lavere kostnad og høyere ytelse går ikke alltid hånd i hånd. Derfor bruker HarnessPro Pareto-basert utvelgelse for å beholde tre alternativer: Lite for lavere kostnad, Medium for en mellomløsning og Heavy for høyere ytelse.
11
I praksis gjør det avveiningen tydeligere. Man kan velge oppsett ut fra behovene i den aktuelle bruken, i stedet for å anta at den best presterende varianten alltid er det riktige valget.
11
Hva testresultatene viser
På Terminal-Bench 2, med GPT-5.5 og Codex, rapporterer prosjektets resultatside en beståttandel på 80,8 prosent for HarnessPro Heavy, til en kostnad på 0,72 dollar per oppgave. Til sammenligning oppgis RHO til 76,3 prosent og 1,09 dollar per oppgave.
16
Forskningsoppsummeringer rapporterer også en gjennomsnittlig økning i beståttandel på 2,0 prosentpoeng og 26,1 prosent lavere kostnad per oppgave sammenlignet med RHO i det aktuelle evalueringsoppsettet.
7
20
Tallene gjelder bestemte kombinasjoner av modell, oppsett og test. De er ikke en garanti for tilsvarende gevinster i alle oppgaver eller utrullinger. At HarnessPro beholder flere varianter, gjenspeiler nettopp at kostnad og ytelse kan trekke i ulike retninger.
11
16