Ling-3.0-flash-VL: Vì sao mô hình mở 124B của Ant Group hướng đến tác tử thị giác

Ling-3.0-flash-VL là mô hình thị giác-ngôn ngữ (vision-language model) mã trọng số mở của inclusionAI, đơn vị thuộc Ant Group. Mô hình phát triển từ họ suy luận Ling-3.0-flash và dùng kiến trúc mixture-of-experts (MoE) thưa: có tổng cộng 124 tỷ tham số, nhưng chỉ khoảng 5,5 tỷ tham số được kích hoạt cho mỗi token. Ý nghĩa thực tế là mô hình có thể sở hữu năng lực từ một kho tham số rất lớn, trong khi chi phí tính toán cho từng token thấp hơn một mô hình dense 124B tham số. 312

Điểm đáng chú ý hơn quy mô là cách Ling-3.0-flash-VL được định vị như một tác tử thị giác. Thay vì chỉ nhận ảnh một lần rồi tạo chú thích hoặc trả lời câu hỏi, mô hình được thiết kế để dùng tín hiệu hình ảnh xuyên suốt một quy trình: quan sát màn hình hay tài liệu, thực hiện thao tác qua công cụ bên ngoài, quan sát trạng thái mới, rồi kiểm tra và sửa nếu cần. Ant Group gọi đây là vòng lặp phản hồi thị giác khép kín. 12

Mô hình nhận được những loại dữ liệu nào?

Ling-3.0-flash-VL nhận văn bản, ảnh và video làm đầu vào, đồng thời tạo đầu ra bằng văn bản. Cửa sổ ngữ cảnh được công bố là tối đa 256K token, phù hợp với tài liệu dài, hội thoại đa phương thức kéo dài và quy trình tác tử cần giữ lại nhiều lịch sử thao tác. 34

Các mô tả kỹ thuật hiện có cho biết mô hình dùng kiến trúc lai, kết hợp Kimi Delta Attention với các lớp gated multi-head latent attention. Phần xử lý video dùng mã hóa vị trí VideoRoPE để giữ thông tin theo thời gian giữa các khung hình. 16

Điều này quan trọng vì nhà phát triển mô tả dữ liệu thị giác là một phần của luồng suy luận, thay vì chỉ là tính năng gắn thêm vào cuối một mô hình văn bản. Đó là nền tảng cho cách họ gọi mô hình là “đa phương thức gốc” (native multimodal). 112

Vì sao 124B tham số không có nghĩa là 124B đều chạy ở mỗi token?

Mô hình MoE chứa nhiều nhóm tham số chuyên biệt, thường gọi là các “expert”. Một cơ chế định tuyến sẽ chỉ chọn một phần trong số đó cho từng token. Với Ling-3.0-flash-VL, các báo cáo nêu 124B tham số tổng và khoảng 5,5B tham số hoạt động trên mỗi token. 312

Sự khác biệt này nên được hiểu như sau:

• Tổng số tham số là toàn bộ năng lực được lưu trong mô hình.
• Tham số kích hoạt gần với lượng tính toán cần thiết cho một lượt truyền xuôi của token hơn.

Dù vậy, triển khai mô hình vẫn không hề nhẹ: lưu trữ mã trọng số mở cỡ lớn đòi hỏi bộ nhớ đáng kể và hạ tầng được tối ưu cẩn thận. Tuy nhiên, đây là lý do mô hình được xếp vào nhóm “flash”, dù có tổng quy mô 124B tham số. 35

Khác biệt cốt lõi: phản hồi thị giác để tự kiểm tra

Một hệ thống thị giác-ngôn ngữ thông thường có thể làm tốt tác vụ một lượt, chẳng hạn mô tả ảnh, trích xuất chữ từ hóa đơn hoặc trả lời câu hỏi về biểu đồ. Ling-3.0-flash-VL nhắm tới chu trình dài hơn:

1. Quan sát màn hình, ảnh, trang web đã render hoặc tài liệu.
2. Hành động thông qua công cụ hay giao diện được kết nối.
3. Xác minh kết quả nhìn thấy có khớp mục tiêu hay không.
4. Sửa lỗi ở hành động kế tiếp nếu kết quả sai hoặc chưa đủ. 12

Thiết kế này đặc biệt liên quan đến tự động hóa GUI — tức giao diện đồ họa như ứng dụng hoặc website. Ví dụ, mô hình có thể kiểm tra trạng thái hiện tại của giao diện, chọn thao tác, xem màn hình thay đổi ra sao rồi đánh giá đã đạt mục tiêu chưa. Bản thân mô hình không thay thế trình duyệt, quyền truy cập công cụ hay các hàng rào an toàn của quy trình; chính các hệ thống xung quanh mới quyết định mô hình thực sự có thể làm gì.

Ant Group và các bài viết liên quan nêu tạo mã giao diện web, tự động hóa GUI và diễn giải báo cáo y khoa là những hướng ứng dụng mục tiêu. 12 Riêng diễn giải báo cáo y khoa nên được xem là trường hợp hỗ trợ quy trình, không phải bằng chứng về độ an toàn hay độ tin cậy lâm sàng tự chủ.

Trọng số mở và lựa chọn phục vụ mô hình

Mô hình được phát hành dưới dạng mã trọng số mở theo giấy phép MIT; các phiên bản trọng số BF16 và FP8 đã được báo cáo là có sẵn. Các bản FP4 và INT4 được mô tả là kế hoạch hoặc sẽ ra mắt trong giai đoạn đầu phát hành. 34

Hướng dẫn phục vụ mô hình được nêu cho SGLang và một hướng vLLM đã tinh chỉnh cho Ling. 34 Với môi trường sản xuất, đây chỉ nên được xem là điểm khởi đầu: đội triển khai cần kiểm thử đúng phiên bản mô hình, định dạng lượng tử hóa, khâu tiền xử lý dữ liệu đa phương thức, độ dài ngữ cảnh, phần cứng và phiên bản framework mà họ dự định dùng.

Đọc kết quả benchmark thế nào cho đúng?

Có hai con số Artificial Analysis Intelligence Index xuất hiện trong các bài đưa tin:

• 42 trên phiên bản v4.1.1, so với 38 của Ling-3.0-flash chỉ xử lý văn bản; đây được trình bày là mức tăng 4 điểm trong các báo cáo ban đầu. 4
• 25 trên phiên bản v4.3 xuất hiện trong các đưa tin sau đó và được mô tả là nằm trên đường biên hiệu quả giữa năng lực và số tham số kích hoạt. 35

Hai con số này không nhất thiết mâu thuẫn vì phiên bản chỉ số nền tảng đã thay đổi. Tuy nhiên, không nên so sánh trực tiếp chúng như điểm số trên cùng một thang đo. Kết luận thận trọng hơn là mô hình có hiệu quả cạnh tranh xét theo số tham số kích hoạt. Điều đó tự thân không chứng minh mô hình sẽ đáng tin cậy trong mọi quy trình tác tử, sản xuất hoặc y tế. 34

Vì sao Ling-3.0-flash-VL đáng chú ý?

Điểm quan trọng không chỉ là Ling nay có thể nhận ảnh và video. Ling-3.0-flash-VL được giới thiệu là mô hình mở đầu tiên trong dòng Ling đưa thị giác vào quy trình lặp gồm lập kế hoạch, hành động, kiểm tra bằng hình ảnh và sửa lỗi. Thiết kế MoE thưa nhằm giúp cách tiếp cận tác tử đa phương thức này hiệu quả hơn về tính toán so với mô hình dense có quy mô tương đương. 312

Với nhà phát triển, trường hợp sử dụng thuyết phục nhất là quy trình có ràng buộc rõ ràng, nơi bằng chứng thị giác quan trọng và từng hành động qua công cụ đều có thể kiểm tra: đối chiếu một trang web đã render với bản thiết kế, điều hướng trong giao diện được kiểm soát, hoặc trích xuất rồi đối chiếu thông tin giữa nhiều tài liệu. Các bản demo và đánh giá do nhà cung cấp công bố là tín hiệu tích cực, nhưng triển khai đáng tin cậy vẫn phụ thuộc vào đánh giá theo từng tác vụ, kiểm soát quyền hạn, xử lý lỗi và giám sát của con người.