JawabanDipublikasikan14 sumber
Xiaomi-Lens-0, model AI yang bisa menunjukkan bukti visual di dalam gambar
Xiaomi Lens 0 adalah model multimodal 4 miliar parameter berbasis Qwen3.5 4B yang dapat menunjukkan area gambar melalui mask piksel, bukan hanya menjelaskannya lewat teks. Proyek ini mencantumkan segmentasi berbasis rujukan, grounding banyak objek, pemahaman area terperinci, dan persepsi visual sebagai kemampuannya.
Diterbitkan olehDiedit dengan GPT-6 LunaGambar dibuat dengan GPT Image 2
Jawaban penelitian
Poin-poin penting
- Xiaomi Lens 0 adalah model multimodal 4 miliar parameter berbasis Qwen3.5 4B yang dapat menunjukkan area gambar melalui mask piksel, bukan hanya menjelaskannya lewat teks.
- Proyek ini mencantumkan segmentasi berbasis rujukan, grounding banyak objek, pemahaman area terperinci, dan persepsi visual sebagai kemampuannya.
- Hasil yang dilaporkan mencakup peningkatan rata rata 5,6 poin pada delapan split keluarga RefCOCO; angka angka tersebut merupakan hasil yang disampaikan proyek, bukan reproduksi independen.
AI Perintah
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Xiaomi-Lens-0, the 4-billion-parameter multimodal model open-sourced by Xiaomi’s SeerRay-Lab in October 2026, and how do its officia. Article summary: Xiaomi-Lens-0 is a compact 4-billion-parameter multimodal model built on Qwen3.5-4B that combines textual answers with pixel-level image-region masks, using a shared visual backbone and a lightweight mask decoder. [3] It. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Model AI yang menjawab pertanyaan tentang gambar biasanya menghasilkan teks. Xiaomi-Lens-0 mencoba menambahkan satu hal penting: model ini juga dapat menunjukkan bagian gambar yang menjadi dasar jawabannya.
Model multimodal 4 miliar parameter ini dibangun dari Qwen3.5-4B. Dengan backbone visual bersama dan decoder ringan, token khusus <|mask|> dapat diubah menjadi mask yang menandai area pada gambar. Menurut proyeknya, penunjukan area tersebut bisa muncul dalam jawaban akhir maupun di tengah proses penalaran. 1
Bagaimana model menghubungkan jawaban dengan piksel?
Xiaomi-Lens-0 dilatih menggunakan supervisi tingkat piksel melalui backbone visual bersama. Saat model menghasilkan token <|mask|>, decoder ringan menerjemahkannya menjadi mask pada gambar. Hasilnya, model dapat memberikan jawaban dalam bentuk teks sekaligus menunjukkan area visual yang dirujuk. 1
SeerRay-Lab menggambarkan pendekatan ini sebagai penalaran yang berpijak pada visual laten. Artinya, grounding area gambar ditujukan untuk berperan selama proses penalaran, bukan hanya menghasilkan segmentasi di akhir. Namun, deskripsi yang tersedia belum menjelaskan protokol token secara lengkap atau bagaimana mask perantara memengaruhi langkah penalaran berikutnya. 1
10
Tugas yang didukung dan LensBench
SeerRay-Lab mencantumkan segmentasi berbasis rujukan dan penalaran, grounding beberapa objek sekaligus, pemahaman area secara terperinci, serta persepsi visual sebagai kemampuan Xiaomi-Lens. 10 Evaluasi ekspresi rujukan yang dilaporkan juga mencakup delapan split dalam keluarga RefCOCO.
1
Proyek tersebut turut mencantumkan LensBench, benchmark untuk segmentasi, bersama kode, model, laporan teknis, dan halaman proyek. 10 Sebuah laporan sekunder juga menyebut adanya demo pendamping, tetapi informasi yang tersedia tidak menerangkan fitur demo itu secara spesifik maupun ukuran dan protokol evaluasi LensBench.
2
Apa yang ditunjukkan hasil yang dilaporkan?
Proyek melaporkan peningkatan rata-rata 5,6 poin dalam pemahaman ekspresi rujukan dibandingkan Qwen3.5-4B pada delapan split keluarga RefCOCO. Proyek itu juga menyatakan skornya meningkat pada seluruh delapan benchmark persepsi terperinci. Angka-angka ini merupakan hasil yang dilaporkan proyek, bukan hasil reproduksi independen. 1
Ringkasan laporan sekunder menyebut peningkatan 6,8 poin pada CountQA dan cIoU segmentasi tertinggi di antara sistem yang dibandingkan. Namun, ringkasan tersebut tidak memberikan rincian memadai tentang baseline, skor per sistem, atau keseluruhan kelompok pembanding. Karena itu, klaim tersebut sebaiknya dibaca sebagai hasil yang dilaporkan, bukan peringkat kinerja lengkap. 2
Ketersediaan, lisensi, dan catatan penggunaan
Bobot model tersedia di Hugging Face, sementara kode proyek diterbitkan di GitHub dengan nama SeerRay-Lab. 1
29 Repositori GitHub mencantumkan lisensi Apache-2.0.
1 Halaman Hugging Face mengaitkan model dengan laporan teknis 2610.23279 dan menampilkan contoh penggunaan pipeline
image-text-to-text dari Transformers. Contoh itu saja belum memastikan jalur decoder mask khusus dapat dijalankan dengan pipeline standar tanpa penyiapan tambahan khusus proyek. 29
Pemberitaan mengaitkan peluncuran model dengan Xiaomi, sedangkan repositori kode dan model diterbitkan atas nama SeerRay-Lab. Sumber yang tersedia belum secara independen memastikan hubungan kelembagaan formal antara SeerRay-Lab dan Xiaomi. 2
1
29
Potensi penggunaan—belum tentu siap diterapkan
Grounding tingkat piksel berpotensi berguna, misalnya untuk membantu sistem robot mengenali objek yang perlu diambil, menyorot benda yang ditanyakan penumpang, atau membantu pengguna ponsel menemukan sesuatu dalam foto. Semua itu merupakan kemungkinan penerapan, bukan penggunaan yang telah terverifikasi.
Sumber yang tersedia belum menunjukkan kecepatan di perangkat, kebutuhan memori, konsumsi daya, ataupun kesiapan model untuk penggunaan yang kritis terhadap keselamatan.
Studio Global AI
Lanjutkan penelitian Anda
Halaman ini berisi jawaban yang didukung sumber yang dapat Anda lanjutkan di dalam Studio Global.
Orang-orang juga bertanya
Apa jawaban singkat untuk "Xiaomi-Lens-0, model AI yang bisa menunjukkan bukti visual di dalam gambar"?
Xiaomi Lens 0 adalah model multimodal 4 miliar parameter berbasis Qwen3.5 4B yang dapat menunjukkan area gambar melalui mask piksel, bukan hanya menjelaskannya lewat teks.
Apa poin penting yang harus divalidasi terlebih dahulu?
Xiaomi Lens 0 adalah model multimodal 4 miliar parameter berbasis Qwen3.5 4B yang dapat menunjukkan area gambar melalui mask piksel, bukan hanya menjelaskannya lewat teks. Proyek ini mencantumkan segmentasi berbasis rujukan, grounding banyak objek, pemahaman area terperinci, dan persepsi visual sebagai kemampuannya.
Apa yang harus saya lakukan selanjutnya dalam latihan?
Hasil yang dilaporkan mencakup peningkatan rata rata 5,6 poin pada delapan split keluarga RefCOCO; angka angka tersebut merupakan hasil yang disampaikan proyek, bukan reproduksi independen.