AnswersPublished14 sources
Xiaomi-Lens-0 bukan sekadar menerangkan gambar — ia boleh menandakan piksel yang dirujuk
Xiaomi Lens 0 ialah model multimodal 4B berasaskan Qwen3.5 4B yang boleh memadankan jawapan teks dengan topeng piksel kawasan imej, termasuk ketika proses penaakulan. Pasukan projek melaporkan peningkatan purata 5.6 mata dalam pemahaman rujukan berbanding Qwen3.5 4B merentas lapan pecahan set RefCOCO.
Diterbitkan olehDisunting dengan GPT-6 LunaImej dijana dengan GPT Image 2
Research answer
Key takeaways
- Xiaomi Lens 0 ialah model multimodal 4B berasaskan Qwen3.5 4B yang boleh memadankan jawapan teks dengan topeng piksel kawasan imej, termasuk ketika proses penaakulan.
- Pasukan projek melaporkan peningkatan purata 5.6 mata dalam pemahaman rujukan berbanding Qwen3.5 4B merentas lapan pecahan set RefCOCO.
- Kod dan model tersedia melalui SeerRay Lab; lesen repositori GitHub ialah Apache 2.0.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Xiaomi-Lens-0, the 4-billion-parameter multimodal model open-sourced by Xiaomi’s SeerRay-Lab in October 2026, and how do its officia. Article summary: Xiaomi-Lens-0 is a compact 4-billion-parameter multimodal model built on Qwen3.5-4B that combines textual answers with pixel-level image-region masks, using a shared visual backbone and a lightweight mask decoder. [3] It. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Xiaomi-Lens-0 cuba menjawab satu soalan yang lebih khusus daripada “apa yang ada dalam gambar?”: apabila model menyebut sesuatu objek, bolehkah ia turut menunjukkan bahagian imej yang dimaksudkan?
Model multimodal 4 bilion parameter ini dibina berasaskan Qwen3.5-4B. Ia menggabungkan jawapan berbentuk teks dengan topeng yang menandakan kawasan imej, supaya rujukan visualnya boleh dilihat pada aras piksel. Menurut projek, penandaan kawasan itu boleh muncul dalam jawapan akhir atau semasa proses penaakulan. 1
Bagaimana token khas menghasilkan topeng imej
Xiaomi-Lens-0 dilatih menggunakan penyeliaan aras piksel melalui tulang belakang visual bersama. Apabila model menjana token khas <|mask|>, penyahkod ringan menukarkannya kepada topeng yang meliputi kawasan tertentu dalam imej. Dengan cara ini, model boleh menjawab menggunakan teks sambil menunjukkan bahagian imej yang menyokong jawapannya. 1
SeerRay-Lab turut menggambarkan pendekatan projek ini sebagai penaakulan berasaskan visual latents. Ini menunjukkan bahawa penandaan kawasan visual boleh menjadi sebahagian daripada proses penaakulan, bukan hanya hasil segmentasi yang dikeluarkan pada penghujungnya. Namun, penerangan projek yang tersedia tidak menghuraikan keseluruhan aturan token atau cara topeng perantaraan mempengaruhi langkah penaakulan seterusnya. 1
10
Tugas yang disokong dan LensBench
SeerRay-Lab menyenaraikan beberapa keupayaan, termasuk segmentasi berasaskan rujukan dan penaakulan, penandaan berbilang objek, pemahaman kawasan secara terperinci serta persepsi visual. 10 Penilaian pemahaman rujukan yang dilaporkan projek pula merangkumi lapan pecahan set dalam keluarga RefCOCO.
1
Projek itu turut menyenaraikan LensBench sebagai penanda aras segmentasi, bersama kod, model, laporan dan halaman projek. Liputan berita juga menyebut demo yang disertakan, tetapi maklumat sumber yang tersedia tidak menjelaskan ciri khusus demo itu atau saiz dan kaedah penilaian LensBench. 2
10
Apa yang ditunjukkan oleh keputusan yang dilaporkan
Projek melaporkan peningkatan purata 5.6 mata dalam pemahaman rujukan berbanding Qwen3.5-4B, merentas lapan pecahan set keluarga RefCOCO. Projek juga menyatakan bahawa skornya meningkat pada kesemua lapan penanda aras persepsi terperinci. Angka ini ialah keputusan yang dilaporkan oleh projek, bukan hasil yang telah diterbitkan semula secara bebas. 1
Satu ringkasan laporan sekunder menyebut peningkatan 6.8 mata pada CountQA dan mendakwa Xiaomi-Lens-0 mencatat cIoU segmentasi tertinggi dalam kalangan sistem yang dibandingkan. Namun, ringkasan itu tidak memberikan perincian secukupnya tentang garis dasar, skor setiap ujian atau keseluruhan sistem dalam perbandingan tersebut. Oleh itu, angka ini wajar dibaca sebagai keputusan yang dilaporkan, bukan kedudukan prestasi lengkap yang dapat disahkan. 2
Ketersediaan, lesen dan perkara yang belum jelas
Berat model disenaraikan di Hugging Face, manakala kod projek diterbitkan di GitHub di bawah nama SeerRay-Lab. Repositori GitHub menyatakan lesen Apache-2.0. 1
29 Halaman Hugging Face memautkan model kepada laporan teknikal 2610.23279 dan menunjukkan contoh penggunaan pipeline
image-text-to-text daripada Transformers. Contoh itu sahaja tidak membuktikan bahawa laluan penyahkodan topeng tersuai boleh digunakan melalui pipeline standard tanpa tetapan tambahan khusus projek. 29
Liputan berita mengaitkan keluaran ini dengan Xiaomi, sementara repositori kod dan model diterbitkan atas nama SeerRay-Lab. Sumber yang tersedia tidak mengesahkan secara bebas hubungan rasmi organisasi antara SeerRay-Lab dengan Xiaomi. 2
1
29
Penandaan imej pada aras piksel berpotensi berguna untuk tugas seperti mengenal pasti objek yang perlu diambil oleh robot, menyerlahkan sesuatu yang ditanya penumpang, atau membantu pengguna telefon mencari objek dalam gambar. Ini ialah kemungkinan penggunaan, bukannya bukti bahawa model sudah digunakan dalam produk atau sistem tersebut. Sumber yang tersedia juga tidak menetapkan kelajuan pada peranti, penggunaan memori atau tenaga, mahupun kesesuaiannya untuk kegunaan yang kritikal dari segi keselamatan.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Xiaomi-Lens-0 bukan sekadar menerangkan gambar — ia boleh menandakan piksel yang dirujuk"?
Xiaomi Lens 0 ialah model multimodal 4B berasaskan Qwen3.5 4B yang boleh memadankan jawapan teks dengan topeng piksel kawasan imej, termasuk ketika proses penaakulan.
What are the key points to validate first?
Xiaomi Lens 0 ialah model multimodal 4B berasaskan Qwen3.5 4B yang boleh memadankan jawapan teks dengan topeng piksel kawasan imej, termasuk ketika proses penaakulan. Pasukan projek melaporkan peningkatan purata 5.6 mata dalam pemahaman rujukan berbanding Qwen3.5 4B merentas lapan pecahan set RefCOCO.
What should I do next in practice?
Kod dan model tersedia melalui SeerRay Lab; lesen repositori GitHub ialah Apache 2.0.