Better Harness Qoder: Audit Berasaskan Bukti untuk Aliran Kerja Ejen Pengekodan AI

Better Harness ialah projek sumber terbuka daripada Qoder untuk menyemak dan menambah baik aliran kerja di sekeliling ejen pengekodan AI. Daripada menilai satu jawapan model atau satu diff kod secara terasing, ia memeriksa arahan projek, kawalan, laluan pengesahan, konfigurasi ejen serta—jika tersedia—rekod sesi kerja sebenar. Matlamatnya ialah mengenal pasti jurang proses, mencadangkan pembaikan yang jelas skopnya, dan membolehkan hasilnya diperiksa semula dalam larian berikutnya. 124

Qoder dilaporkan telah membuka sumber projek ini di GitHub pada 28 Julai 2026. 5

Fokusnya: nilai harness, bukan model semata-mata

Ejen pengekodan tidak bekerja dalam ruang kosong. Ia beroperasi dalam sistem yang merangkumi panduan repositori, spesifikasi, alat, kebenaran, skrip, ujian, semakan kod, semakan keluaran dan serahan kepada manusia. Qoder menggunakan istilah harness untuk persekitaran kerja ini. Dokumentasinya menyatakan bahawa harness boleh merangkumi arahan repositori, peraturan, kemahiran, hooks, pemalam, penyambung, skrip, arahan ujian, semakan keluaran dan langkah semakan manusia. 2

Ini penting kerana model yang berkeupayaan masih boleh menghasilkan keputusan yang tidak konsisten jika aliran kerjanya kabur atau tidak cukup dipantau. Sebagai contoh, projek mungkin mempunyai arahan ujian tetapi tidak menyatakan bila ejen perlu menjalankannya. Ia juga mungkin mempunyai fail peraturan yang tidak dirujuk oleh ejen, atau tiada cara berkekalan untuk merekodkan pengajaran daripada tugasan yang gagal. Better Harness bertujuan mengesan kelemahan operasi seperti ini—bukan sekadar menganggap kewujudan fail konfigurasi sebagai bukti proses itu berfungsi. 145

Tiga lapisan rangka kerja Better Harness

Better Harness dipersembahkan sebagai rangka kerja tiga lapisan yang menghubungkan amalan kejuruteraan, model penilaian dan pelaksanaan yang boleh dijalankan dalam projek sebenar. 5

1. Amalan Harness Engineering

Lapisan pertama meliputi mekanisme praktikal yang membentuk kerja ejen, termasuk corak sesi dan CLI, kebolehcerapan (observability), peraturan, kemahiran, konfigurasi MCP, memori, hooks dan automasi. 5

Secara praktik, lapisan ini menjawab soalan seperti:

• Adakah ejen menerima matlamat, kekangan dan konteks repositori yang jelas?
• Adakah laluan pelaksanaan serta kebenarannya dikawal dengan wajar?
• Adakah ujian, semakan dan pemeriksaan disambungkan kepada kerja yang dibuat?
• Bolehkah pengajaran berguna dijadikan aset projek yang diselenggara, bukan hilang selepas satu sesi?

Better Harness bermula dengan memetakan harness sedia ada: matlamat, konteks, titik masuk pelaksanaan, gelung maklum balas, mekanisme penyampaian dan cara pembelajaran disimpan. 1

2. Penilaian Agent Work Loop

Lapisan kedua menukar amalan tersebut kepada penilaian lima dimensi penyampaian yang saling berkait: pemahaman tugasan, pelaksanaan terkawal, pengesahan perubahan, penyampaian yang boleh dipercayai dan penangkapan pembelajaran. 14

Ini mengalihkan soalan daripada “adakah ejen menghasilkan kod yang nampak munasabah?” kepada ujian operasi yang lebih berguna: adakah aliran kerja hujung ke hujung boleh berulang kali menghasilkan perubahan yang difahami, dikawal, disahkan, sedia dihantar dan diperkaya oleh kerja terdahulu?

Model ini direka untuk mengesan titik putus dalam gelung itu, misalnya mekanisme yang tiada, integrasi yang terputus, langkah yang tidak pernah dilaksanakan, atau bukti hasil yang tidak mencukupi. 1

3. Pelaksanaan yang boleh dijalankan

Lapisan ketiga menjadikan amalan dan model penilaian itu boleh digunakan dalam projek sebenar, bukan hanya sebagai panduan dokumentasi. Better Harness dijalankan menerusi ejen pengekodan, mengumpulkan bukti projek dan, jika disokong, bukti sesi; kemudian ia menghasilkan langkah seterusnya yang diberi keutamaan dan boleh disahkan. 4

Bahan semasa projek menyatakan sokongan untuk 10 adapter hos, manakala laporan pelancaran secara khusus menamakan Claude Code, Codex, Qoder dan Cursor sebagai antara persekitaran ejen pengekodan yang disokong. 56

Liputan adapter boleh berubah mengikut versi. Oleh itu, sokongan untuk hos tertentu patut disemak pada dokumentasi adapter terkini. Sumber yang dibekalkan juga tidak mengesahkan sokongan OpenClaw.

Tiga jenis bukti yang dikumpulkan

Ciri utama pendekatan ini ialah pemisahan pengumpulan bukti daripada penilaian akhir. Qoder menyatakan aliran analisis utamanya mengumpulkan data mentah terlebih dahulu, kemudian menyerahkannya kepada tiga subejen bebas yang hanya baca sebelum hasil digabungkan. 1

Tiga sudut pandang tersebut ialah:

• Project Harness: asas kejuruteraan repositori, seperti arahan, skrip, pemeriksaan dan kawalan penyampaian.
• Agent Customization: peraturan, kemahiran, hooks dan konfigurasi khusus ejen.
• Session Evidence: rekod apa yang ejen lakukan dalam kerja sebenar, jika bukti itu tersedia.

Struktur ini membezakan proses yang hanya dirancang daripada proses yang benar-benar diperhatikan. Bukti projek dan konfigurasi boleh menunjukkan sesuatu keupayaan tersedia; bukti sesi pula boleh membantu menunjukkan sama ada keupayaan tersebut digunakan dengan sesuai dalam tugasan sebenar. 14

Mengapa “ada” tidak semestinya “berfungsi”

Prinsip paling penting Better Harness ialah kewujudan artifak bukan bukti keberkesanan.

Bayangkan sebuah repositori mempunyai suite ujian automatik. Kewujudan suite itu menunjukkan potensi keupayaan, tetapi tidak membuktikan ejen telah menjalankan ujian yang berkaitan selepas membuat perubahan, mentafsir keputusan dengan betul, atau menggunakan hasilnya untuk menghalang penghantaran kod yang bermasalah. Logik yang sama terpakai kepada peraturan, hooks, kemahiran dan pintu kelulusan. 15

Atas sebab itu, Better Harness cuba memastikan rantaian bukti kekal jelas. Laporannya menukarkan jurang yang disokong bukti kepada penemuan berkeutamaan, lengkap dengan impak, hasil yang dijangka, pembaikan berskop dan semakan penerimaan. Bukti yang tiada kekal kelihatan, bukannya ditukar secara senyap kepada skor yang terlalu yakin. 46

Bagi pasukan pembangunan, satu penemuan sepatutnya boleh diperiksa melalui empat perkara:

1. Apa yang diperhatikan dalam projek, konfigurasi atau rekod sesi.
2. Mengapa ia penting kepada gelung penyampaian.
3. Pembaikan kecil yang dicadangkan, seperti peraturan, kemahiran, hook, skrip, automasi atau langkah kelulusan manusia.
4. Cara mengesahkan pembaikan selepas ia dilaksanakan.

Kitaran penambahbaikan: periksa, baiki, ukur semula

Better Harness bukan diposisikan sebagai audit sekali sahaja. Aliran kerjanya bersifat berulang:

1. Petakan harness semasa.
2. Kenal pasti titik putus aliran kerja dan jurang bukti.
3. Cipta tugasan pembaikan yang jelas skopnya bagi penemuan yang disokong.
4. Sahkan pembaikan melalui semakan penerimaan yang ditetapkan.
5. Jalankan semakan sekali lagi untuk menilai bukti yang dikemas kini. 14

Inilah asas kepada dakwaan penambahbaikan berterusan projek tersebut. Alat ini boleh menunjukkan bahawa aliran kerja telah berubah dan sama ada bukti baharu menyokong penilaian yang lebih baik. Namun, ia tidak dengan sendirinya membuktikan bahawa sesuatu pembaikan menjadi punca prestasi ejen meningkat dalam setiap projek atau persekitaran hos. Bahan Qoder menekankan bukti yang diperhatikan dan batasannya, bukannya menganggap perubahan skor sebagai bukti sebab dan akibat. 46

Bagaimana menilai semakan awal 30 projek GitHub

Laporan pelancaran menyebut rangka kerja ini digunakan dalam latihan awal melibatkan 30 projek GitHub sebenar. 5 Ini lebih sesuai dibaca sebagai penggunaan penerokaan rangka kerja tersebut, bukannya demonstrasi terkawal bahawa Better Harness meningkatkan semua ejen pengekodan atau semua repositori.

Dokumentasi utama yang tersedia menyokong model bukti, struktur penemuan dan aliran pembaikan berulang alat ini. Namun, sumber yang dibekalkan tidak memberikan perincian utama yang mencukupi untuk menilai secara bebas pemilihan sampel, protokol pemarkahan atau hasil agregat bagi 30 projek tersebut. Batasan ini penting apabila membandingkannya dengan penanda aras formal atau membuat dakwaan prestasi yang meluas. 14

Ke arah kejuruteraan ejen yang lebih boleh diukur

Hujah lebih besar Qoder ialah Harness Engineering patut menjadi infrastruktur kualiti untuk pembangunan perisian berbantukan AI: satu perbendaharaan kata bersama bagi kawalan aliran kerja, bukti yang boleh diperhatikan, dimensi penyampaian yang boleh dibandingkan dan kitaran penambahbaikan yang boleh diulang. 12

Better Harness menawarkan bentuk praktikal bagi idea itu. Ia memberi pasukan cara untuk memeriksa keadaan di sekeliling kerja ejen dalam hos yang disokong, membincangkan bukti berbanding tanggapan, serta menguji sama ada pembaikan aliran kerja benar-benar bertahan dalam larian seterusnya. Nilainya bukan jaminan setiap pembaikan akan meningkatkan hasil, tetapi pendekatan yang lebih berdisiplin untuk menjadikan aliran kerja ejen boleh diperiksa, disemak dan diuji kebenarannya. 46