Vì sao AI đa phương thức gốc quan trọng với tác tử lập trình

Khác biệt ngày càng rõ giữa các mô hình tiên phong không chỉ nằm ở việc mô hình có nhận ảnh đầu vào hay không. Điều quan trọng hơn là bằng chứng trực quan có được xem như một phần cốt lõi trong chu trình suy luận và hành động của tác tử AI hay chỉ là dữ liệu được chuyển qua một công cụ phụ trợ.

Kimi K3 của Moonshot AI được định vị là mô hình tác tử đa phương thức gốc cho lập trình dài hạn, công việc tri thức, hiểu hình ảnh và suy luận. Alibaba mô tả Qwen3.8-Max dùng năng lực hiểu thị giác trong toàn bộ các bước lập kế hoạch, thực thi và xác minh. 1735 Mục tiêu thực dụng là: tác tử có thể làm ra một sản phẩm, nhìn kết quả đã render, nhận ra điểm sai và tiếp tục cải thiện mà không buộc mọi quan sát hình ảnh phải đi qua một bản tóm tắt bằng văn bản.

Điểm khác biệt: thị giác là phản hồi liên tục, không chỉ là đầu vào

Các mô hình thiên về văn bản vẫn rất hữu ích cho sinh mã, phân tích ngữ cảnh dài, gọi công cụ và những tác vụ mà đầu vào lẫn tiêu chí thành công vốn đã được diễn đạt bằng chữ. Trong một kiến trúc dùng công cụ, tác tử có thể gọi OCR để đọc chữ, kiểm tra DOM hoặc cây trợ năng, lấy tọa độ phần tử, hay gửi ảnh chụp màn hình cho một mô hình thị giác-ngôn ngữ riêng biệt. Cách làm này phù hợp với trích xuất tài liệu, kiểm tra giao diện có cấu trúc hoặc trả lời một câu hỏi trực quan đơn lẻ.

Đa phương thức gốc đặt cược vào hướng khác: huấn luyện để văn bản, ảnh, video, mã nguồn và trạng thái của tác tử có thể được xử lý cùng nhau. Nhờ đó, thông tin thị giác có thể tác động trực tiếp đến việc lập kế hoạch và sửa đổi. Một bài viết về thị trường mô hình Trung Quốc từng mô tả Moonshot, Alibaba và ByteDance theo đuổi hướng này, trong khi các bản phát hành đa dụng của DeepSeek, Zhipu và Hunyuan tại thời điểm đó tương đối thiên về văn bản. 15

Tuy nhiên, đây không nên được hiểu là ranh giới cố định giữa các công ty. DeepSeek V4 Flash và V4 Pro ban đầu chỉ hỗ trợ văn bản, nhưng sau đó DeepSeek đã giới thiệu bản thử nghiệm DeepSeek-V4-Flash-Vision-Exp. 134 Danh mục mô hình thay đổi rất nhanh, và các nguồn hiện có không đủ để kết luận về lý do nội bộ đằng sau lựa chọn của từng phòng thí nghiệm, đặc biệt với ByteDance, Zhipu và Tencent.

“Thị giác trong vòng lặp” thay đổi điều gì?

Một trang web không chỉ gồm chữ và cấu trúc DOM. Nó còn có phân cấp thị giác, khoảng trắng, căn chỉnh, độ tương phản, kiểu chữ, nội dung bị cắt, hình ảnh và quan hệ giữa các thành phần. Khi tác tử được giao tái tạo một thiết kế tham chiếu, những yếu tố này thường mới là tiêu chí nghiệm thu thực sự.

Một quy trình có thị giác trong vòng lặp có thể diễn ra như sau:

1. Lập kế hoạch: Hiểu yêu cầu, ảnh tham chiếu, mã nguồn và trạng thái tác vụ trước đó.
2. Thực thi: Viết hoặc sửa mã, thao tác trên trình duyệt/ứng dụng, hoặc biên tập tài sản trực quan.
3. Quan sát: Render kết quả rồi kiểm tra ảnh chụp màn hình, khung hình video hoặc đầu ra trực quan khác.
4. Xác minh và sửa: Đối chiếu với kết quả mong muốn, khoanh vùng lỗi có thể có, sửa tệp hoặc mã nguồn gốc, rồi lặp lại.

Qwen3.8-Max mô tả rõ mô hình vòng kín này: hiểu thị giác gốc được sử dụng trong lập kế hoạch, thực thi và xác minh cho các tác vụ dài hạn. Mô hình lưu trữ của hãng nhận đầu vào ảnh, văn bản và video, còn đầu ra là văn bản. 35 Kimi K3 cũng hiểu văn bản, hình ảnh và video trong cùng một mô hình, với cửa sổ ngữ cảnh 1 triệu token. 25

Lợi thế không chỉ là “mô hình có thể nhìn”. Đó là việc cùng một tác tử có thể giữ yêu cầu, mã nguồn, đầu ra trực quan và kế hoạch đang tiến triển trong một ngữ cảnh khi lặp lại công việc.

Vì sao chỉ chuyển qua OCR hoặc mô hình thị giác bên ngoài có thể chưa đủ?

Các công cụ nhận thức bên ngoài vẫn hiệu quả trong nhiều trường hợp, nhưng chúng tạo thêm một lớp giao tiếp giữa việc nhìn và hành động.

• OCR có tính chọn lọc. OCR trích xuất được chữ hiển thị, nhưng chỉ phần chữ không thể phản ánh đầy đủ việc nút bấm có bị cắt, bố cục có mất cân đối, hộp thoại có che nội dung, hay thứ bậc thị giác có khác thiết kế tham chiếu hay không.
• Tọa độ có cấu trúc nhưng phạm vi hẹp. Thông báo kiểu “phần tử ở vị trí x/y” hữu ích cho tự động hóa, nhưng có thể không nói được phần tử đó có nổi bật không, kiểu dáng ra sao, có bị chồng lấp không, hoặc có đúng đối tượng cần tìm về mặt thị giác không.
• Dịch qua lại nhiều lần làm chuỗi dài phức tạp hơn. Trong quy trình nhiều bước, mỗi lần chuyển ảnh chụp thành mô tả hay tọa độ đều có thể làm mất ngữ cảnh hoặc buộc tác tử tái dựng ngữ cảnh. Một bản vá dựa trên mô tả thiếu sót có thể tạo ra lỗi trực quan khác, kéo theo một vòng quan sát mới.

Mô hình đa phương thức gốc không loại bỏ sai sót, nhưng có thể suy luận đồng thời trên ảnh chụp màn hình và bối cảnh triển khai, thay vì chỉ dựa vào bản tóm tắt bằng chữ về nội dung của ảnh. Đây là sức hút cốt lõi với phát triển front-end, tự động hóa GUI, gỡ lỗi hồi quy trực quan, chỉnh sửa ảnh và các quy trình làm việc với video.

Kimi K3 cho thấy giá trị ứng dụng, không phải bằng chứng nhân quả tuyệt đối

Các kết quả công khai của Kimi K3 minh họa vì sao giới phát triển chú ý đến hướng tiếp cận này. Arena cho biết Kimi K3 đứng đầu Frontend Code Arena với 1.679 điểm, tăng 17 bậc so với Kimi K2.6, và xếp số 1 ở 6 trong 7 nhóm bài toán front-end được liệt kê. 32 Một báo cáo khác về thử nghiệm của nền tảng phát triển trình duyệt Puter cho biết Kimi K3 phát hiện cả 5 sai khác trực quan được cài chủ đích giữa trang mục tiêu và phiên bản đã render, không có kết quả dương tính giả. 28

Đây là những minh họa đáng chú ý về kiểm tra bằng thị giác. Dù vậy, chúng không chứng minh rằng chỉ riêng thị giác gốc đã tạo ra kết quả đó. Quy mô mô hình, dữ liệu huấn luyện, hậu huấn luyện, cách viết prompt, công cụ trình duyệt, lớp điều phối tác tử và chính thiết kế benchmark đều có thể ảnh hưởng hiệu năng. Kết luận thận trọng hơn là: phản hồi trực quan giải quyết một nhóm lỗi thực tế mà kiểm thử chỉ dựa trên văn bản có thể không phát hiện được.

Khi nào nên ưu tiên tác tử đa phương thức gốc?

Nên ưu tiên khi tác vụ cần quan sát và sửa đổi nhiều vòng, đồng thời độ trung thực trực quan là một phần của định nghĩa “hoàn thành”:

• khớp trang web hoặc ứng dụng với thiết kế tham chiếu;
• khôi phục một trạng thái GUI bị lỗi;
• kiểm tra bố cục đáp ứng trên nhiều kích thước màn hình và phát hiện hồi quy trực quan;
• chỉnh sửa ảnh nhưng vẫn giữ chủ thể, bố cục hoặc ràng buộc phong cách;
• rà soát video dài khi tính liên tục giữa các cảnh là yếu tố quan trọng.

Ngược lại, chuỗi xử lý mô-đun gồm OCR hoặc mô hình thị giác bên ngoài vẫn có thể phù hợp hơn cho trích xuất chi phí thấp, xử lý theo lô, hoặc quy trình chỉ cần văn bản có cấu trúc và trạng thái giao diện. Câu hỏi then chốt không phải là thị giác có đang là xu hướng hay không, mà là tác tử có phải liên tục trả lời câu hỏi trực quan này không: “Kết quả này thực sự trông đã đúng chưa?”

Với nhóm công việc đó, đa phương thức gốc biến nhận thức từ một lần gọi công cụ không thường xuyên thành một phần của vòng vận hành của tác tử — hướng đi mà Kimi K3 và Qwen3.8-Max đang công khai theo đuổi. 1735