En AI-agent afhænger ikke kun af selve modellen. Også instruktionerne, værktøjerne og reglerne for, hvordan den arbejder, kan påvirke både resultatet og prisen. Denne samlede opsætning kaldes ofte agentens harness. HarnessPro er en metode til løbende at forbedre den – uden at gå ud fra, at én opsætning passer bedst til alle opgaver.
3
11
Sådan arbejder HarnessPro
HarnessPro analyserer spor fra agentens tidligere kørsler for at finde mønstre i fejl og omkostninger. På den baggrund foreslår systemet ændringer i opsætningen og vurderer de mulige versioner med syntetiske tests. Ifølge projektets README bruges der under optimeringen ikke facitløsninger eller officielle tests til at bedømme kandidaterne.
11
Processen gentages: Nye versioner kan testes og forbedres i flere runder. Det er altså agentens måde at arbejde på, der ændres – ikke modellens vægte.
3
11
Tre niveauer i stedet for én universalløsning
En opsætning, der klarer flest opgaver, kan også være dyrere. HarnessPro bruger derfor en Pareto-baseret udvælgelse, som bevarer tre forskellige muligheder: Lite med fokus på lavere omkostninger, Medium som kompromis og Heavy med fokus på højere ydeevne.
11
Det gør afvejningen synlig: Brugere kan vælge ud fra deres behov, frem for automatisk at gå efter den konfiguration, der scorer højest på én måling.
11
Hvad viser de rapporterede resultater?
På Terminal-Bench 2 rapporterer projektets resultatside, at HarnessPro Heavy med GPT-5.5 og Codex klarede 80,8 procent af opgaverne til 0,72 dollar pr. opgave. Til sammenligning angives RHO til 76,3 procent og 1,09 dollar pr. opgave.
16
Forskningsopsummeringer rapporterer desuden, at Heavy i det beskrevne evalueringssetup i gennemsnit øgede beståelsesraten med 2,0 procentpoint og sænkede prisen pr. opgave med 26,1 procent sammenlignet med RHO.
7
20
Tallene gælder bestemte kombinationer af model, agentopsætning og benchmark. De viser ikke, at HarnessPro vil give samme forbedring på alle opgaver eller i alle driftsmiljøer. Netop derfor fastholder metoden flere versioner med forskellige afvejninger mellem pris og ydeevne.
11
16