Better Harness tarkastelee tekoälykoodausagentin koko työnkulkua

Koodausagentin lopputulosta ei ratkaise pelkkä kielimalli. Vähintään yhtä paljon merkitsevät projektiohjeet, käyttöoikeudet, testit, tarkistukset, julkaisuportit ja se, jäävätkö epäonnistuneista tehtävistä opit talteen. Qoderin Better Harness on avoimen lähdekoodin työkalu, joka arvioi juuri tätä agentin ympärille rakennettua työnkulkua – ei vain yhtä vastausta tai koodimuutosta. 124

Qoderin Better Harness avattiin GitHubissa 28. heinäkuuta 2026, kertoi julkaisua seurannut raportointi. 5

Mitä ”harness” tarkoittaa?

Qoder käyttää harness-termiä agentin toimintaympäristöstä. Siihen voi kuulua esimerkiksi repositorion ohjeistus, säännöt, taidot (skills), hookit, lisäosat, liitännät, skriptit, testikomennot, julkaisun tarkistukset ja ihmisen tekemät katselmoinnit. 2

Ajatus on käytännöllinen: testikomento voi olla repositoriossa, mutta agentille ei ehkä ole määritelty, milloin se pitää ajaa. Sääntötiedosto voi olla olemassa, mutta agentti ei käytä sitä. Better Harness pyrkii löytämään tällaiset katkokset sen sijaan, että se pitäisi asetustiedoston olemassaoloa todisteena toimivasta prosessista. 145

Kolme tasoa: käytännöt, arviointi ja ajettava toteutus

Better Harnessin kehys yhdistää kolme kerrosta. 5

1. Harness Engineering -käytännöt

Ensimmäinen kerros kattaa mekanismit, jotka ohjaavat agentin työtä: istunto- ja komentorivimallit, havainnoitavuuden, säännöt, taidot, MCP-asetukset, muistin, hookit ja automaation. 5

Tässä tarkastellaan muun muassa sitä, saako agentti selkeät tavoitteet ja riittävän projektikontekstin, ovatko sen käyttöoikeudet ja suoritustavat hallittuja sekä liittyvätkö testit ja katselmoinnit aidosti tehtyyn työhön. Better Harness kartoittaa nykyisen ympäristön tavoitteineen, konteksteineen, suorituspisteineen, palautesilmukoineen, toimitustapoineen ja oppien talteenotolla. 1

2. Agent Work Loop -arviointi

Toinen kerros arvioi viittä toisiinsa liittyvää toimituskyvykkyyttä: tehtävän ymmärtämistä, hallittua toteutusta, muutosten validointia, luotettavaa toimitusta ja oppien talteenottoa. 14

Kysymys vaihtuu tällöin muodosta ”tuottiko agentti uskottavaa koodia?” muotoon: tuottaako koko työnkulku toistuvasti ymmärrettäviä, hallittuja, validoituja ja toimitettavia muutoksia – ja oppiiko se aiemmasta työstä?

Malli etsii silmukan katkeamiskohtia: puuttuvaa mekanismia, irrallista integraatiota, suorittamatta jäänyttä vaihetta tai riittämätöntä näyttöä lopputuloksesta. 1

3. Ajettava toteutus

Kolmas taso tekee käytännöistä ja arviointimallista käytettävän oikeissa projekteissa. Better Harness ajetaan koodausagentin kautta, se kerää tuettua projekti- ja istuntotodistetta ja tuottaa priorisoituja, myöhemmin tarkistettavia seuraavia toimia. 4

Qoderin nykyisten materiaalien mukaan host-sovittimia on kymmenen. Julkaisun yhteydessä tuettuina ympäristöinä mainittiin muun muassa Claude Code, Codex, Qoder ja Cursor. 56 Integraatiot voivat muuttua, joten tietyn alustan tuki kannattaa tarkistaa projektin ajantasaisesta adapteridokumentaatiosta. Annetut lähteet eivät vahvista OpenClaw-tukea.

Kolme erillistä todistusaineiston näkökulmaa

Better Harness erottaa aineiston keräämisen varsinaisesta arviosta. Qoderin mukaan pääanalyysi kerää raakadatan ja välittää sen kolmelle toisistaan riippumattomalle, vain luku -tilassa toimivalle aliagentille ennen tulosten yhdistämistä. 1

Näkökulmat ovat:

• Project Harness: repositorion perusta, kuten ohjeet, skriptit, tarkistukset ja toimituksen hallintakeinot.
• Agent Customization: agenttikohtaiset säännöt, taidot, hookit ja muut asetukset.
• Session Evidence: näyttö siitä, mitä agentti todella teki aidossa työistunnossa, jos tällaista näyttöä on saatavilla.

Rakenne erottaa suunnitellun prosessin havaitusta toiminnasta. Projektin ja asetusten näyttö voi kertoa, että ominaisuus on käytettävissä. Istuntonäyttö voi puolestaan kertoa, käytettiinkö sitä asianmukaisesti tehtävässä. 14

Olemassaolo ei todista toimivuutta

Kehyksen keskeinen periaate on, että artefaktin olemassaolo ei ole näyttöä sen tehokkuudesta.

Automaattinen testipaketti kertoo mahdollisesta kyvykkyydestä. Se ei yksin osoita, että agentti ajoi muutoksen kannalta olennaiset testit, tulkitsi tulokset oikein tai esti niiden avulla virheellisen toimituksen. Sama pätee sääntöihin, hookeihin, taitoihin ja hyväksyntävaiheisiin. 15

Raportissa tuetut puutteet muutetaan priorisoiduiksi havainnoiksi (findings), joihin liitetään vaikutus, odotettu lopputulos, rajattu korjaus ja hyväksymiskriteerit. Puuttuva näyttö jää näkyviin sen sijaan, että se muunnettaisiin varmaksi pisteytykseksi. 46

Käytännössä tiimin pitäisi voida nähdä:

1. mitä projektista, asetuksista tai istuntotallenteesta havaittiin;
2. miksi havainto on merkityksellinen työnkululle;
3. mikä rajattu korjaus ehdotetaan, esimerkiksi sääntö, taito, hook, skripti, automaatio tai ihmisen hyväksyntävaihe; sekä
4. miten korjaus tarkistetaan käyttöönoton jälkeen.

Tarkasta, korjaa ja mittaa uudelleen

Better Harnessia ei ole tarkoitettu kertaluonteiseksi auditoinniksi. Sen malli on iteratiivinen:

1. kartoita nykyinen toimintaympäristö;
2. tunnista työnkulun katkokset ja näyttöaukot;
3. tee tuetulle havainnolle rajattu korjaustehtävä;
4. validoi korjaus ennalta määriteltyjä hyväksymiskriteerejä vasten; ja
5. aja tarkastus uudelleen päivitetyn näytön arvioimiseksi. 14

Työkalu voi siis osoittaa, että työnkulku on muuttunut ja että uusi näyttö tukee vahvempaa arviota. Se ei kuitenkaan yksin todista, että korjaus aiheutti parempaa agenttisuoriutumista kaikissa projekteissa tai kaikilla alustoilla. Qoderin materiaalit korostavat havaittua näyttöä ja näkyviä rajoitteita, eivät pisteiden muutosta syy-seurausnäyttönä. 46

Mitä 30 GitHub-projektin tarkastuksesta voi päätellä?

Julkaisuraportoinnin mukaan kehystä käytettiin alkuvaiheen tarkastuksessa 30 todellisessa GitHub-projektissa. 5 Tätä kannattaa pitää kehyksen kokeilevana sovelluksena, ei kontrolloituna todisteena siitä, että Better Harness parantaisi jokaista agenttia tai repositoriota.

Saatavilla oleva ensisijainen dokumentaatio tukee työkalun todistusaineistomallia, havaintojen rakennetta ja toistuvaa korjaussilmukkaa. Lähteet eivät kuitenkaan anna riittäviä ensisijaisia tietoja 30 projektin otantaperusteista, pisteytysmenetelmästä tai kooste­tuloksista. Siksi tulosta ei pidä rinnastaa suoraan muodolliseen benchmarkiin tai käyttää laajojen suorituskykyväitteiden perustana. 14

Kohti mitattavampaa agenttityön laatua

Qoderin laajempi tavoite on tehdä Harness Engineeringistä tekoälyavusteisen ohjelmistokehityksen laatuinfrastruktuuria: yhteinen sanasto työnkulun hallintakeinoille, havaittava todistusaineisto, vertailukelpoiset toimitusulottuvuudet ja toistettavat parannuskierrokset. 12

Better Harness tuo ajatuksen käytännön tasolle. Se auttaa tukialustoilla toimivia tiimejä tarkastelemaan agenttityön edellytyksiä, keskustelemaan vaikutelmien sijaan näytöstä ja testaamaan, säilyykö ehdotettu työnkulun korjaus seuraavissa ajoissa. Sen arvo ei ole lupaus siitä, että jokainen muutos parantaa tuloksia, vaan kurinalaisempi tapa tehdä agenttien työnkuluista tarkastettavia, katselmoitavia ja kumottavissa olevia. 46