TRACES đánh giá quá trình AI khám phá, thay vì chỉ chấm đáp án cuối cùng

Vì sao TRACES khác các benchmark chấm theo đáp án?

Trong các bài kiểm tra thông thường, câu hỏi, dữ liệu đầu vào và đáp án kỳ vọng thường được xác định trước. TRACES bắt đầu từ một mục tiêu thực tế, rồi yêu cầu solver chuyển mục tiêu đó thành một cuộc điều tra có thể xử lý. Hệ thống tương tác với môi trường, thực hiện hành động, gọi các công cụ khoa học hoặc tính toán và nhận phản hồi giống như kết quả thí nghiệm hoặc phản hồi từ bộ kiểm chứng.

Vòng đánh giá vì thế kéo dài hơn một lần hỏi — đáp:

1. Hình thành hoặc điều chỉnh giả thuyết.
2. Chọn hành động hoặc công cụ cần gọi.
3. Quan sát bằng chứng hay phản hồi thu được.
4. Xác định lỗi và điểm yếu trong cách tiếp cận.
5. Sửa phương pháp và thử các phương án khác.
6. Đưa ra kết luận phù hợp với mức độ cũng như giới hạn của bằng chứng.

Benchmark ghi lại quỹ đạo điều tra, thay vì chỉ xem đầu ra cuối cùng có giống một đáp án tham chiếu hay không. Điều này đặc biệt hữu ích khi vấn đề khoa học chưa có câu trả lời được chấp nhận rộng rãi để làm “đáp án đúng” theo cách truyền thống.

Sáu năng lực được TRACES đánh giá

Tên TRACES đại diện cho sáu chiều cạnh nhằm kiểm chứng quy trình, đôi khi được mô tả là HDS6:

• Tools — Công cụ: Solver có chọn, sử dụng và diễn giải đúng các công cụ bên ngoài hoặc công cụ khoa học phù hợp hay không?
• Repair — Sửa sai: Hệ thống có thể phát hiện thất bại và điều chỉnh cách làm sau khi nhận phản hồi hay không?
• Alternatives — Phương án thay thế: Solver có xem xét các giả thuyết cạnh tranh, rồi giữ lại, loại bỏ hoặc tinh chỉnh chúng dựa trên bằng chứng hay không?
• Coherence — Tính nhất quán: Hệ thống có duy trì một mạch lập luận liền mạch và nhất quán trong suốt cuộc điều tra hay không?
• Evidence — Bằng chứng: Các tuyên bố có dựa trên quan sát, đầu ra của công cụ và kết quả thử nghiệm hay không?
• Scope — Phạm vi: Solver có giới hạn kết luận trong phạm vi mà bằng chứng thực sự cho phép hay không?

Kết hợp lại, sáu tiêu chí này nhằm phân biệt một cuộc điều tra đáng tin cậy với một phỏng đoán tự tin nhưng thiếu căn cứ. Chúng cũng cho phép đánh giá chất lượng quy trình ngay cả khi chưa thể xác định một đáp án cuối cùng.

Nguồn gốc và quy mô ban đầu

Khung Apodex Discovery cho rằng việc đánh giá năng lực khám phá mở cần một bài toán được định hình rõ, một môi trường dựa trên thực tế, cơ chế kiểm chứng và các vòng lặp cho phép hệ thống sửa sai. TRACES là cách tiếp cận đó được triển khai thành benchmark.

Apodex cho biết trong quá trình tìm kiếm bài toán, họ đã khảo sát 561 ngành thuộc 16 lĩnh vực, tổng hợp 423 vấn đề thực tế có giá trị cao và chọn 20 vấn đề cho đợt đánh giá bằng môi trường thực thi đầu tiên.

Các tài liệu hiện có nêu những ví dụ thuộc các nhóm sau:

• Thiết kế vỏ capsid AAV — cấu trúc bao quanh một số loại virus liên quan đến công nghệ vector gene.
• Phân tích thử nghiệm lâm sàng.
• Tái định vị và tái công thức thuốc.
• Huấn luyện LLM và các hệ thống liên quan.

Những ví dụ này cho thấy phạm vi mà benchmark hướng tới, nhưng các tài liệu được cung cấp chưa xác lập danh mục công khai đầy đủ của mọi nhiệm vụ hoặc mọi lĩnh vực trong đợt phát hành.

Vì sao đánh giá quy trình quan trọng với AI tự chủ?

AI ngày càng được sử dụng hoặc đề xuất cho các công việc như hình thành giả thuyết, chọn hướng nghiên cứu, phân tích kết quả thí nghiệm và hỗ trợ thiết kế những quy trình lặp. Trong các bối cảnh đó, khả năng diễn đạt trôi chảy là chưa đủ. Hệ thống phải biết nên kiểm tra điều gì, hiểu chuyện gì đã xảy ra, phục hồi sau sai lầm và không tuyên bố vượt quá những gì bằng chứng cho phép.

TRACES giải quyết khoảng trống này bằng cách xem điều tra khoa học là một quá trình tương tác. Một solver đi đến kết quả hữu ích thông qua bằng chứng có thể truy vết và những lần điều chỉnh phù hợp rõ ràng khác với một hệ thống đưa ra kết luận tương tự nhưng không có con đường lập luận đáng tin cậy.

Cách tiếp cận này không loại bỏ vai trò giám sát của con người. Nhà nghiên cứu và chuyên gia lĩnh vực vẫn cần đặt mục tiêu, xác định giới hạn, đánh giá rủi ro đạo đức và thực tiễn, kiểm tra giả định cũng như bằng chứng, đồng thời quyết định liệu một kết luận có đủ cơ sở để dẫn tới hành động ngoài đời hay không. Việc TRACES nhấn mạnh quỹ đạo có thể kiểm tra và các tuyên bố có giới hạn đặc biệt có giá trị vì người đánh giá có thêm dữ liệu để xem xét, thay vì chỉ nhận một khẳng định cuối cùng khó kiểm toán.

Các nhóm có thể tham gia thế nào?

Thông báo công khai của Apodex cho biết họ mở lời mời gửi cả hệ thống solver lẫn bài toán khoa học.

Một hồ sơ solver phải đại diện cho toàn bộ hệ thống được dùng để điều tra nhiệm vụ, không chỉ riêng mô hình nền tảng. Thành phần này bao gồm lớp điều phối, công cụ, bộ nhớ và chính sách kiểm soát.

Một đề xuất bài toán cần có khả năng chuyển thành môi trường thực thi và kiểm chứng được. Về thực tế, nhóm đề xuất phải xác định solver được quan sát và thực hiện những gì, nhận loại phản hồi nào, cũng như cách kiểm tra các tuyên bố trung gian hoặc kết luận cuối dựa trên tiêu chí thành công rõ ràng.

Kết luận

TRACES chuyển câu hỏi cốt lõi của benchmark AI từ “Hệ thống có đưa ra đáp án được kỳ vọng không?” sang “Hệ thống có tiến hành một cuộc điều tra có kỷ luật và dựa trên bằng chứng không?”. Điều đó khiến benchmark phù hợp hơn với hoạt động khám phá khoa học so với các bài kiểm tra tĩnh dựa trên đáp án.

Tuy nhiên, cách chấm điểm quy trình cũng có giới hạn. Một điểm số tốt có thể giúp đánh giá chặt chẽ hơn, nhưng tự nó không chứng minh rằng một khám phá do AI tạo ra là an toàn, hữu ích hay đã sẵn sàng được triển khai. Phán đoán khoa học của con người vẫn là mắt xích không thể thiếu.