Better Harness của Qoder làm gì với quy trình AI coding agent?

Better Harness là dự án mã nguồn mở của Qoder nhằm rà soát và cải thiện quy trình bao quanh một coding agent. Thay vì chỉ chấm một câu trả lời hay một bản thay đổi mã nguồn riêng lẻ, công cụ xem xét hướng dẫn trong dự án, cơ chế kiểm soát, đường dẫn kiểm thử/xác thực, cấu hình agent và, khi có hỗ trợ, cả dấu vết từ những phiên làm việc thực tế. Mục tiêu là phát hiện lỗ hổng trong quy trình, đề xuất một sửa chữa có phạm vi rõ ràng và kiểm tra lại kết quả ở lần chạy sau. 124

Theo các bài viết cùng thời điểm, Qoder công bố đã mở mã nguồn Better Harness trên GitHub vào ngày 28/7/2026. 5

Trọng tâm: đánh giá “harness”, không chỉ đánh giá mô hình

Một coding agent luôn hoạt động trong một hệ thống bao quanh: hướng dẫn trong kho mã nguồn, đặc tả, công cụ, quyền hạn, script, kiểm thử, yêu cầu review, kiểm tra phát hành và bước bàn giao cho con người. Qoder gọi môi trường này là harness. Tài liệu của hãng nêu rằng harness có thể bao gồm hướng dẫn kho mã nguồn, rules, skills, hooks, plugin, connector, script, lệnh test, kiểm tra phát hành và bước review của con người. 2

Sự phân biệt này rất quan trọng. Một mô hình có năng lực vẫn có thể cho kết quả thiếu tin cậy nếu quy trình xung quanh mơ hồ hoặc không có khả năng quan sát đầy đủ. Chẳng hạn, dự án có lệnh chạy test nhưng không nói rõ agent phải chạy vào thời điểm nào; có tệp rule nhưng agent không dùng; hoặc không có cách lưu giữ bài học từ một tác vụ thất bại. Better Harness hướng đến việc chỉ ra các điểm yếu vận hành đó, thay vì mặc định rằng chỉ cần có tệp cấu hình là đã có quy trình hoạt động tốt. 145

Khung ba lớp vận hành ra sao?

Better Harness được giới thiệu như một khung ba lớp, kết nối thực hành kỹ thuật, mô hình đánh giá và khả năng triển khai có thể chạy trong dự án thực. 5

1. Thực hành Harness Engineering

Lớp đầu tiên bao quát các cơ chế định hình công việc của agent: mẫu làm việc theo session và CLI, khả năng quan sát, rules, skills, cấu hình MCP, memory, hooks và tự động hóa. 5

Ở góc độ thực hành, lớp này trả lời các câu hỏi như:

• Agent có nhận được mục tiêu, ràng buộc và ngữ cảnh kho mã nguồn đủ rõ không?
• Đường thực thi và quyền hạn của agent có được kiểm soát phù hợp không?
• Test, bước kiểm tra và review có thực sự gắn với phần việc agent thực hiện không?
• Bài học hữu ích có được lưu thành tài sản của dự án, hay biến mất khi phiên làm việc kết thúc?

Better Harness bắt đầu bằng việc lập bản đồ harness hiện tại: mục tiêu, ngữ cảnh, điểm vào thực thi, vòng phản hồi, cơ chế bàn giao và cách lưu giữ tri thức. 1

2. Đánh giá Agent Work Loop

Lớp thứ hai chuyển các thực hành trên thành đánh giá theo năm chiều liên kết trong quá trình bàn giao. Tài liệu Qoder mô tả năm chiều này là: hiểu tác vụ, thực thi có kiểm soát, xác thực thay đổi, bàn giao đáng tin cậy và lưu giữ tri thức. 14

Vì vậy, câu hỏi không còn chỉ là “agent có sinh ra đoạn code nghe hợp lý không?”, mà là: quy trình đầu-cuối có thể lặp lại để tạo ra thay đổi dễ hiểu, được kiểm soát, được xác thực, có thể bàn giao và có tiếp thu bài học trước đó hay không?

Mô hình này nhằm tìm các điểm đứt trong vòng lặp, chẳng hạn thiếu một cơ chế cần thiết, tích hợp bị rời rạc, một bước chưa từng thực sự được chạy, hoặc chưa có đủ bằng chứng về kết quả. 1

3. Triển khai có thể chạy

Lớp thứ ba biến thực hành và mô hình đánh giá thành thứ có thể chạy trong dự án, thay vì chỉ dừng ở tài liệu hướng dẫn. Better Harness chạy thông qua coding agent, thu thập bằng chứng từ dự án và phiên làm việc khi được hỗ trợ, rồi tạo các bước tiếp theo được ưu tiên và có thể xác minh. 4

Tài liệu dự án hiện nêu hỗ trợ 10 host adapter; các bài viết lúc ra mắt gọi tên Claude Code, Codex, Qoder và Cursor trong số những môi trường coding agent được hỗ trợ. 56

Danh sách adapter có thể thay đổi theo thời gian, vì vậy cần đối chiếu tài liệu adapter hiện hành trước khi khẳng định tích hợp với một host cụ thể. Đáng chú ý, các nguồn được cung cấp không xác lập hỗ trợ OpenClaw.

Better Harness thu thập bằng chứng thế nào?

Một đặc điểm quan trọng là tách riêng bước thu thập bằng chứng khỏi bước đánh giá cuối cùng. Qoder cho biết luồng phân tích chính thu thập dữ liệu thô, sau đó chuyển dữ liệu cho ba sub-agent độc lập ở chế độ chỉ đọc trước khi tổng hợp kết quả. 1

Ba góc nhìn gồm:

• Project Harness: nền tảng kỹ thuật của kho mã nguồn, như hướng dẫn, script, kiểm tra và kiểm soát bàn giao.
• Agent Customization: rules, skills, hooks và các cấu hình riêng cho agent.
• Session Evidence: bản ghi những gì agent thực sự làm trong công việc thực tế, nếu bằng chứng này sẵn có.

Cấu trúc này giúp phân biệt giữa quy trình được thiết kế trên giấy và quy trình đã được quan sát. Bằng chứng từ dự án hoặc cấu hình cho thấy một năng lực có sẵn; bằng chứng phiên làm việc có thể cho thấy năng lực đó có được dùng phù hợp trong một tác vụ thật hay không. 14

Có sẵn không đồng nghĩa hoạt động hiệu quả

Nguyên tắc hữu ích nhất của khung này là: sự tồn tại của một cấu phần không phải bằng chứng về hiệu quả.

Ví dụ, một kho mã nguồn có bộ test tự động. Việc bộ test tồn tại chỉ cho thấy tiềm năng kiểm tra; nó không tự chứng minh agent đã chạy đúng test sau khi sửa code, hiểu đúng kết quả, hay dùng kết quả đó để ngăn một bản bàn giao lỗi. Điều tương tự áp dụng với rules, hooks, skills và các cổng phê duyệt. 15

Vì vậy, Better Harness cố gắng giữ chuỗi bằng chứng rõ ràng. Báo cáo của công cụ chuyển các lỗ hổng có bằng chứng thành finding được ưu tiên, đi kèm tác động, đầu ra kỳ vọng, phương án sửa trong phạm vi hẹp và tiêu chí nghiệm thu. Phần bằng chứng còn thiếu vẫn được hiển thị, thay vì âm thầm chuyển thành một điểm số có vẻ chắc chắn. 46

Nhờ đó, một finding có thể hữu ích hơn lời khuyên chung chung. Nhóm phát triển cần có thể kiểm tra được:

1. Điều gì đã được quan sát trong dự án, cấu hình hoặc nhật ký phiên làm việc.
2. Vì sao điều đó quan trọng với vòng lặp bàn giao.
3. Sửa chữa nhỏ, có phạm vi rõ ràng nào được đề xuất, như rule, skill, hook, script, tự động hóa hoặc bước phê duyệt của con người.
4. Cách xác minh sửa chữa sau khi triển khai.

Vòng lặp cải tiến: kiểm tra, sửa, đo lại

Better Harness không được định vị là công cụ audit dùng một lần. Quy trình của nó có tính lặp:

1. Lập bản đồ harness hiện tại.
2. Xác định điểm đứt trong quy trình và khoảng trống bằng chứng.
3. Tạo tác vụ sửa chữa có phạm vi rõ ràng cho finding được hỗ trợ.
4. Xác thực thay đổi theo các tiêu chí nghiệm thu đã định.
5. Chạy lại đánh giá để xem bằng chứng đã thay đổi ra sao. 14

Đó là nền tảng cho tuyên bố về cải tiến liên tục. Công cụ có thể cho thấy quy trình đã thay đổi và liệu bằng chứng mới có hỗ trợ một đánh giá tốt hơn hay không. Tuy nhiên, bản thân nó không tự chứng minh quan hệ nhân quả rằng một sửa chữa sẽ cải thiện hiệu năng agent trong mọi dự án hay mọi môi trường host. Tài liệu Qoder nhấn mạnh bằng chứng quan sát được và các giới hạn hiển thị rõ ràng, thay vì coi thay đổi điểm số là bằng chứng nhân quả. 46

Nên hiểu thế nào về đợt rà soát 30 dự án?

Thông tin khi ra mắt cho biết khung này đã được dùng trong một đợt áp dụng ban đầu trên 30 dự án GitHub thực tế. 5 Cách đọc thận trọng nhất là xem đây là một thử nghiệm khám phá, không phải bằng chứng có đối chứng rằng Better Harness cải thiện mọi coding agent hoặc mọi kho mã nguồn.

Tài liệu gốc hiện có hỗ trợ cho mô hình bằng chứng, cấu trúc finding và vòng lặp sửa chữa lặp lại. Nhưng các nguồn được cung cấp chưa có đủ chi tiết sơ cấp để đánh giá độc lập cách chọn mẫu 30 dự án, giao thức chấm điểm hoặc kết quả tổng hợp. Các giới hạn này cần được lưu ý khi so sánh Better Harness với benchmark chính thức hoặc khi đưa ra tuyên bố rộng về hiệu năng. 14

Hướng đến kỹ nghệ agent có thể đo lường hơn

Lập luận rộng hơn của Qoder là Harness Engineering nên trở thành một dạng hạ tầng chất lượng cho phát triển phần mềm có hỗ trợ AI: một ngôn ngữ chung về kiểm soát quy trình, bằng chứng có thể quan sát, các chiều bàn giao có thể so sánh và chu kỳ cải tiến lặp lại. 12

Better Harness là phiên bản thực hành của ý tưởng đó. Nó cho nhóm phát triển cách kiểm tra điều kiện xung quanh công việc của agent trên các host được hỗ trợ, thảo luận dựa trên bằng chứng thay vì cảm nhận, và kiểm tra xem một sửa chữa trong quy trình có đứng vững ở các lần chạy sau không. Giá trị của nó không nằm ở lời hứa mọi sửa chữa đều cải thiện kết quả, mà ở cách làm cho quy trình agent trở nên có thể kiểm tra, review và bác bỏ bằng dữ liệu. 46