Câu trả lờiĐã xuất bản14 nguồn
Xiaomi-Lens-0 không chỉ trả lời về ảnh: mô hình còn đánh dấu vùng liên quan
Xiaomi Lens 0 là mô hình đa phương thức 4 tỷ tham số dựa trên Qwen3.5 4B, có thể tạo câu trả lời bằng văn bản đồng thời đánh dấu vùng ảnh liên quan bằng mặt nạ điểm ảnh. Nhóm phát triển nêu các khả năng như phân đoạn theo mô tả, phân đoạn suy luận, định vị nhiều đối tượng và hiểu vùng ảnh chi tiết; LensBench cũng đư...
Đăng bởiBiên tập bằng GPT-6 LunaHình ảnh được tạo bằng GPT Image 2
Câu trả lời nghiên cứu
Bài học chính
- Xiaomi Lens 0 là mô hình đa phương thức 4 tỷ tham số dựa trên Qwen3.5 4B, có thể tạo câu trả lời bằng văn bản đồng thời đánh dấu vùng ảnh liên quan bằng mặt nạ điểm ảnh.
- Nhóm phát triển nêu các khả năng như phân đoạn theo mô tả, phân đoạn suy luận, định vị nhiều đối tượng và hiểu vùng ảnh chi tiết; LensBench cũng được giới thiệu là benchmark phân đoạn.
- Nhóm dự án báo cáo mức cải thiện trung bình 5,6 điểm trên tám tập RefCOCO family.
Prompt AI
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Xiaomi-Lens-0, the 4-billion-parameter multimodal model open-sourced by Xiaomi’s SeerRay-Lab in October 2026, and how do its officia. Article summary: Xiaomi-Lens-0 is a compact 4-billion-parameter multimodal model built on Qwen3.5-4B that combines textual answers with pixel-level image-region masks, using a shared visual backbone and a lightweight mask decoder. [3] It. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Một mô hình hiểu ảnh thường trả lời rằng trong ảnh có gì. Xiaomi-Lens-0 hướng đến thêm một bước: chỉ ra vùng ảnh nào làm căn cứ cho câu trả lời. Mô hình đa phương thức 4 tỷ tham số này được xây dựng trên Qwen3.5-4B, dùng chung một nền tảng xử lý hình ảnh và bộ giải mã nhẹ để chuyển token đặc biệt <|mask|> thành mặt nạ vùng ảnh. Theo mô tả của dự án, phần đánh dấu có thể xuất hiện trong câu trả lời cuối cùng hoặc giữa quá trình suy luận. 1
Từ câu trả lời bằng chữ đến vùng ảnh cụ thể
Xiaomi-Lens-0 học từ dữ liệu giám sát ở cấp điểm ảnh thông qua nền tảng thị giác dùng chung. Khi mô hình sinh token <|mask|>, bộ giải mã nhẹ sẽ tạo mặt nạ cho vùng tương ứng trong ảnh. Nhờ vậy, đầu ra có thể vừa giải thích bằng ngôn ngữ vừa cho biết phần nào của ảnh liên quan đến lời giải thích. 1
SeerRay-Lab mô tả hướng tiếp cận này là suy luận có căn cứ với các biểu diễn thị giác tiềm ẩn. Điều đó gợi ý việc định vị vùng ảnh có thể tham gia vào quá trình suy luận, thay vì chỉ tạo ra kết quả phân đoạn ở bước cuối. Tuy nhiên, phần mô tả công khai chưa trình bày đầy đủ quy ước token hay cách các mặt nạ trung gian ảnh hưởng đến những bước suy luận tiếp theo. 1
10
Các tác vụ và benchmark được nêu
SeerRay-Lab liệt kê các khả năng gồm phân đoạn theo đối tượng được nhắc đến, phân đoạn suy luận, định vị nhiều đối tượng, hiểu vùng ảnh chi tiết và nhận thức thị giác. 10 Dự án cũng báo cáo kết quả cho bài toán hiểu biểu thức chỉ dẫn trên tám tập thuộc nhóm RefCOCO.
1
LensBench được giới thiệu là benchmark đánh giá phân đoạn, cùng với mã nguồn, mô hình, báo cáo và trang dự án. Một bài viết đưa tin về bản phát hành cũng nhắc đến bản demo đi kèm. 10
2 Tuy vậy, thông tin hiện có chưa nêu rõ quy mô và quy trình đánh giá của LensBench, cũng như các tính năng cụ thể của bản demo.
Kết quả: cần đọc cùng bối cảnh đánh giá
Dự án cho biết Xiaomi-Lens-0 cải thiện trung bình 5,6 điểm về khả năng hiểu biểu thức chỉ dẫn so với Qwen3.5-4B trên tám tập RefCOCO-family, đồng thời tăng điểm trên cả tám benchmark nhận thức chi tiết. Đây là kết quả do dự án báo cáo, không đồng nghĩa với việc đã được tái kiểm chứng độc lập. 1
Một bản tin thứ cấp cho biết điểm CountQA tăng 6,8 điểm và Xiaomi-Lens-0 đạt cIoU phân đoạn cao nhất trong nhóm hệ thống được so sánh. Tuy nhiên, bản tin không cung cấp đủ thông tin về cấu hình đối chứng, điểm số riêng lẻ hay toàn bộ nhóm so sánh. Vì vậy, các kết quả này nên được hiểu là số liệu được thuật lại, không phải bảng xếp hạng hiệu năng đầy đủ. 2
Mã nguồn, giấy phép và những điểm cần kiểm tra
Trọng số mô hình được đăng trên Hugging Face, còn mã nguồn có trên GitHub dưới tên SeerRay-Lab. Kho GitHub ghi giấy phép Apache-2.0; trang Hugging Face dẫn đến báo cáo kỹ thuật số 2610.23279. 1
29
Trang Hugging Face có ví dụ sử dụng pipeline image-text-to-text của Transformers. Tuy nhiên, riêng ví dụ đó chưa xác nhận rằng đường giải mã mặt nạ tùy chỉnh có thể chạy đầy đủ chỉ với pipeline tiêu chuẩn mà không cần thiết lập riêng cho dự án. 29
Một số bài viết gắn bản phát hành với Xiaomi, trong khi kho mã và mô hình mang tên SeerRay-Lab. Các nguồn hiện có chưa xác lập độc lập mối quan hệ tổ chức chính thức giữa phòng thí nghiệm này và Xiaomi. 2
1
29
Tiềm năng ứng dụng và giới hạn hiện tại
Khả năng nối câu trả lời với vùng ảnh có thể hữu ích trong những tình huống như xác định món đồ cần gắp cho robot, làm nổi bật vật thể mà hành khách đang hỏi trên xe, hoặc giúp người dùng điện thoại tìm một chi tiết trong ảnh. Đây là các khả năng ứng dụng tiềm năng, không phải những triển khai đã được xác nhận.
Các nguồn hiện có cũng chưa cho biết tốc độ chạy trên thiết bị, mức dùng bộ nhớ, điện năng tiêu thụ hay mức độ phù hợp với các ứng dụng đòi hỏi an toàn cao. Vì vậy, con số 4 tỷ tham số tự nó chưa đủ để kết luận mô hình đã sẵn sàng chạy trên điện thoại, xe hay robot.
Studio Global AI
Tiếp tục nghiên cứu của bạn
Trang này bao gồm câu trả lời dựa trên nguồn mà bạn có thể tiếp tục bên trong Studio Global.
Người ta cũng hỏi
Câu trả lời ngắn gọn cho "Xiaomi-Lens-0 không chỉ trả lời về ảnh: mô hình còn đánh dấu vùng liên quan" là gì?
Xiaomi Lens 0 là mô hình đa phương thức 4 tỷ tham số dựa trên Qwen3.5 4B, có thể tạo câu trả lời bằng văn bản đồng thời đánh dấu vùng ảnh liên quan bằng mặt nạ điểm ảnh.
Những điểm chính cần xác nhận đầu tiên là gì?
Xiaomi Lens 0 là mô hình đa phương thức 4 tỷ tham số dựa trên Qwen3.5 4B, có thể tạo câu trả lời bằng văn bản đồng thời đánh dấu vùng ảnh liên quan bằng mặt nạ điểm ảnh. Nhóm phát triển nêu các khả năng như phân đoạn theo mô tả, phân đoạn suy luận, định vị nhiều đối tượng và hiểu vùng ảnh chi tiết; LensBench cũng được giới thiệu là benchmark phân đoạn.
Tôi nên làm gì tiếp theo trong thực tế?
Nhóm dự án báo cáo mức cải thiện trung bình 5,6 điểm trên tám tập RefCOCO family.