NVIDIA đưa Claude Opus 5 từ 30% lên 100% ARC-AGI-3 nhờ hệ thống AVO

Kết quả 100% của NVIDIA sử dụng cùng nền tảng Claude Opus 5 nhưng đặt mô hình vào một hệ thống thực thi được thiết kế để duy trì công việc qua nhiều bước. AVO có thể kiểm tra và chỉnh sửa các thành phần, chạy công cụ và câu lệnh, tra cứu tài liệu, đánh giá kết quả rồi thay đổi cách tiếp cận dựa trên phản hồi thực tế.

Thay vì mô hình hỏi–đáp một lần, AVO vận hành theo một vòng lặp gần giống quy trình thử nghiệm:

1. Đưa ra giả thuyết về nhiệm vụ.
2. Thực hiện một hành động thông qua công cụ được cung cấp.
3. Quan sát phản hồi từ môi trường.
4. Lưu lại phát hiện và trạng thái hữu ích.
5. Kiểm tra xem kết quả có đạt yêu cầu hay không.
6. Điều chỉnh chiến lược và tiếp tục.

Cách làm này đặc biệt quan trọng với ARC-AGI-3. Bài đánh giá không cung cấp sẵn toàn bộ hướng dẫn, quy tắc hay mục tiêu để tác tử chỉ việc trả lời. AI phải tương tác, khám phá môi trường và suy luận từ những gì xảy ra sau mỗi hành động.

AVO bổ sung gì cho Claude Opus 5?

Bộ nhớ liên tục

Bộ nhớ liên tục cho phép tác tử giữ lại những gì đã phát hiện, các cách làm thất bại và trạng thái quan trọng thay vì coi mỗi lượt tương tác là một cuộc hội thoại độc lập. Trong một bài kiểm tra dựa trên khám phá, điều này có thể giúp giảm việc lặp lại sai lầm và xây dựng dần mô hình hoạt động của môi trường xa lạ.

Công cụ thực thi và phản hồi bên ngoài

AVO ban đầu được phát triển như một hệ thống tác tử lập trình. Nó có thể xem xét công việc, tạo thay đổi, chạy lệnh và xác thực kết quả. Vì vậy, quá trình suy luận được nối trực tiếp với những kết quả có thể quan sát: một đề xuất không chỉ cần nghe hợp lý mà còn phải được chạy thử, đo lường và điều chỉnh.

Giám sát và phục hồi

Một lớp giám sát giúp điều phối quá trình kéo dài. Thay vì để một lần gọi mô hình kiểm soát vô hạn mọi quyết định, hệ thống có thể theo dõi tiến độ, nhận diện hướng đi không hiệu quả và hỗ trợ phục hồi khi giả định ban đầu sai. Các mô tả của NVIDIA về AVO nhấn mạnh sự kết hợp giữa bộ nhớ, công cụ thực thi, phản hồi bên ngoài và cơ chế giám sát cho công việc tự chủ trong thời gian dài.

Khi phối hợp với nhau, những thành phần này tạo ra một quy trình có cấu trúc: khám phá, hành động, quan sát và sửa sai. Mô hình ngôn ngữ vẫn đảm nhiệm phần lớn hoạt động suy luận, nhưng “harness” — lớp điều phối và thực thi bao quanh mô hình — quyết định cách năng lực đó được triển khai trong môi trường thực tế.

So sánh với Claude Opus 5 và GPT-5.6 Sol

Tuy nhiên, các con số trên không hoàn toàn cùng loại. Kết quả 100% là thành tích của một hệ thống tác tử hoàn chỉnh trên tập công khai, trong khi mức 30,2% của Claude Opus 5 là điểm của mô hình trong một bộ khung đánh giá chuẩn. Đây là khác biệt cốt lõi của câu chuyện.

GPT-5.6 Sol cũng cho thấy hiệu suất phụ thuộc mạnh vào cách tổ chức hệ thống. Kết quả ARC Prize công bố xếp Sol ở mức 7,78% khi sử dụng nỗ lực suy luận tối đa. Trong một thử nghiệm riêng, OpenAI cho biết việc duy trì trạng thái suy luận qua nhiều lượt và sử dụng cơ chế nén ngữ cảnh giúp Sol đạt 38,3% trên các nhiệm vụ công khai. Đây không phải là phép thay thế tương đương cho điểm trên bảng xếp hạng chính thức, nhưng cho thấy bộ nhớ và cách quản lý trạng thái có thể tạo ra khác biệt lớn.

Vì vậy, kết luận thận trọng nhất không phải là mô hình nào “thông minh hơn trong mọi trường hợp”. Hiệu suất của một tác tử tự chủ còn phụ thuộc vào mô hình, chính sách bộ nhớ, giao diện công cụ, chiến lược quản lý trạng thái và bộ khung đánh giá được sử dụng.

Vì sao AVO có nguồn gốc từ tối ưu hóa nhân GPU?

Môi trường ban đầu của AVO là các nhiệm vụ kỹ thuật phần mềm phức tạp và tối ưu hóa nhân GPU. Trong bối cảnh đó, tác tử phải kiểm tra một triển khai, đưa ra thay đổi, chạy các bài kiểm tra dựa trên phần cứng, đọc phản hồi hiệu năng rồi quyết định bước tiếp theo. Thành công không đến từ một lần sinh mã chính xác, mà từ quá trình thử nghiệm lặp đi lặp lại.

NVIDIA cho biết trong công việc tối ưu hóa nhân GPU, AVO đã khám phá hơn 500 hướng, đưa vào sử dụng 40 phiên bản nhân và đạt mức cải thiện lên tới 10,5% so với FlashAttention-4 trên hệ thống DGX B200.

Năng lực có thể chuyển sang ARC-AGI-3 không nhất thiết là kiến thức chuyên biệt về GPU. Quan trọng hơn là quy trình thực nghiệm: tạo một phương án, chạy thử, đo kết quả, lưu lại điều đã học và đổi hướng khi bằng chứng không ủng hộ giả thuyết. ARC-AGI-3 có giao diện nhiệm vụ hoàn toàn khác, nhưng cũng thưởng cho những tác tử biết phát hiện cấu trúc thông qua tương tác lặp lại.

Hoàn thành nhanh hơn cũng là một phần của điểm số

AVO được báo cáo là đã giải toàn bộ tập công khai bằng 6.624 hành động, so với 7.542 hành động của VISTA — giảm khoảng 12% trong khi vẫn hoàn thành 183 màn chơi.

Con số này đáng chú ý vì chỉ số RHAE của ARC-AGI-3 không chỉ quan tâm tác tử có đạt trạng thái thành công hay không, mà còn tính đến hiệu quả hành động tương đối so với con người.

Một hệ thống có khả năng suy luận nhưng thử-sai quá nhiều vẫn có thể trở nên tốn kém, chậm và khó triển khai. Với các tác vụ dài, năng lực quản lý quá trình khám phá quan trọng không kém khả năng đưa ra một câu trả lời đúng.

Bài học cho AI doanh nghiệp

Đối với doanh nghiệp, bài học thực tế nhất mang tính kiến trúc. Một hệ thống tự chủ đáng tin cậy có lẽ không chỉ là mô hình ngôn ngữ được nối với vài công cụ. Doanh nghiệp cần một lớp thực thi có kiểm soát bao quanh mô hình, gồm:

• bộ nhớ nhiệm vụ lâu dài và cơ chế quản lý trạng thái rõ ràng;
• giao diện công cụ hẹp, có thể kiểm thử;
• các cổng xác thực trước khi chấp nhận hành động quan trọng;
• trạng thái trung gian có thể quan sát và nhật ký kiểm toán;
• cơ chế phục hồi, hoàn tác và chuyển cấp khi cần; và
• quyền hạn cụ thể đối với những hành động ảnh hưởng đến khách hàng, hệ thống hoặc dữ liệu.

AVO cũng củng cố lập luận cho các ngăn xếp tác tử mô-đun. Nếu phần lớn mức tăng hiệu suất đến từ “harness”, tổ chức có thể tách lớp bộ nhớ, bộ chuyển đổi công cụ, bộ đánh giá, chính sách kiểm soát và khả năng quan sát khỏi mô hình nền tảng. Khi đó, việc so sánh hoặc thay thế nhà cung cấp mô hình sẽ dễ hơn mà không phải xây dựng lại toàn bộ hệ thống.

Dù vậy, kết quả này chưa thể được xem là bằng chứng cho độ tin cậy trong môi trường doanh nghiệp. Mức 100% của NVIDIA là kết quả được báo cáo trên tập công khai ARC-AGI-3; nó không chứng minh AVO sẽ đạt hiệu suất tương đương trên các nhiệm vụ ẩn, dữ liệu sản xuất hay quy trình kinh doanh rủi ro cao. Cần có thêm tái lập độc lập, đánh giá trên tập ẩn, phân tích chi phí và độ trễ, rà soát bảo mật cũng như kiểm thử an toàn.

Từ “mô hình nào thông minh nhất?” đến “hệ thống nào vận hành tốt nhất?”

Kết quả của AVO chuyển trọng tâm thảo luận từ câu hỏi “Mô hình nào thông minh nhất?” sang một câu hỏi có tính vận hành hơn: “Hệ thống nào có thể giữ ngữ cảnh, sử dụng công cụ, học từ phản hồi và phục hồi đáng tin cậy trong một quy trình dài?”

Mô hình nền tảng vẫn rất quan trọng. Nhưng ARC-AGI-3 cho thấy rõ rằng lớp điều phối xung quanh mô hình có thể quyết định liệu năng lực đó có thực sự tồn tại khi AI phải đối mặt với một môi trường chưa biết hay không. Với các tổ chức đang xây dựng AI tự chủ, lợi thế cạnh tranh có thể ngày càng nằm ở chất lượng của hệ thống thực thi — chứ không chỉ ở một lần gọi mô hình.