AnswersPublished14 sources
Xiaomi-Lens-0: když AI ukáže, o které části obrázku mluví
Xiaomi Lens 0 vychází z modelu Qwen3.5 4B a pomocí tokenu < mask vytváří masky oblastí v obrázku, na které se odpověď vztahuje. Autoři uvádějí průměrné zlepšení o 5,6 bodu v porozumění odkazujícím výrazům napříč osmi děleními datových sad RefCOCO.
PublikovalUpraveno pomocí GPT-6 LunaObrázky vytvořeny pomocí GPT Image 2
Research answer
Key takeaways
- Xiaomi Lens 0 vychází z modelu Qwen3.5 4B a pomocí tokenu <|mask| vytváří masky oblastí v obrázku, na které se odpověď vztahuje.
- Autoři uvádějí průměrné zlepšení o 5,6 bodu v porozumění odkazujícím výrazům napříč osmi děleními datových sad RefCOCO.
- Kód a váhy jsou dostupné pod jménem SeerRay Lab; výsledky pocházejí z hodnocení projektu a dostupné zdroje nepotvrzují připravenost pro nasazení v zařízení.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Xiaomi-Lens-0, the 4-billion-parameter multimodal model open-sourced by Xiaomi’s SeerRay-Lab in October 2026, and how do its officia. Article summary: Xiaomi-Lens-0 is a compact 4-billion-parameter multimodal model built on Qwen3.5-4B that combines textual answers with pixel-level image-region masks, using a shared visual backbone and a lightweight mask decoder. [3] It. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Model, který na otázku „Který předmět je na obrázku?“ odpoví nejen názvem, ale také vyznačí jeho polohu, míří na užitečnou hranici mezi rozpoznáváním obrazu a jeho vysvětlováním. Xiaomi-Lens-0 je multimodální model se 4 miliardami parametrů, postavený na Qwen3.5-4B. Jeho zvláštností je schopnost propojit text s maskou konkrétní oblasti obrázku — a podle popisu projektu to dělat nejen v závěrečné odpovědi, ale také v průběhu uvažování. 1
Jak model propojuje slova s oblastí obrázku
Xiaomi-Lens-0 se učí na obrazových datech s pixelovým dohledem prostřednictvím sdílené vizuální páteře. Když model vytvoří speciální token <|mask|>, lehký dekodér jej převede na masku vyznačující část obrázku. Výsledkem tak může být textová odpověď doplněná o oblast, které se týká. 1
Projekt popisuje přístup jako ukotvené uvažování pomocí vizuálních latentních reprezentací. To naznačuje, že vyznačování oblastí má být součástí uvažování, ne pouze výstupem segmentace na jeho konci. Ve zveřejněném popisu ale není podrobně vysvětlen celý systém tokenů ani to, jak přesně případné mezikroky ovlivňují další uvažování modelu. 1
10
K čemu je určený a co je LensBench
SeerRay-Lab uvádí mezi schopnostmi modelu segmentaci podle odkazujícího výrazu i segmentaci využívající uvažování, ukotvení více objektů, podrobné porozumění oblastem a vizuální vnímání. 10 Hodnocení úloh s odkazujícími výrazy podle projektu zahrnuje osm dělení datových sad z rodiny RefCOCO.
1
Součástí projektu je také LensBench, benchmark zaměřený na segmentaci. Zmíněna je i doprovodná ukázková aplikace, dostupné zdroje však nepopisují její konkrétní funkce ani velikost a metodiku benchmarku. 10
2
Co říkají zveřejněné výsledky
Projekt uvádí, že Xiaomi-Lens-0 dosáhl v porozumění odkazujícím výrazům průměrně o 5,6 bodu lepšího výsledku než Qwen3.5-4B napříč osmi děleními RefCOCO. Podle autorů se zlepšil také ve všech osmi benchmarcích jemnozrnného vizuálního vnímání. Jde o výsledky zveřejněné projektem, nikoli o nezávislé ověření. 1
Sekundární shrnutí výsledků uvádí zlepšení o 6,8 bodu v úloze CountQA a nejvyšší cIoU při segmentaci mezi porovnávanými systémy. Dostupné informace ale nestačí k posouzení přesného srovnávacího základu, jednotlivých skóre ani úplného seznamu porovnávaných modelů. Tyto údaje je proto namístě chápat jako oznámené výsledky, ne jako úplné pořadí výkonu. 2
Dostupnost, licence a praktické výhrady
Váhy modelu jsou zveřejněné na Hugging Face a jeho kód na GitHubu pod jménem SeerRay-Lab. Repozitář na GitHubu uvádí licenci Apache-2.0. 1
29 Stránka modelu na Hugging Face odkazuje na technickou zprávu 2610.23279 a obsahuje ukázku použití pipeline
image-text-to-text z knihovny Transformers. Samotná ukázka ale nepotvrzuje, že vlastní dekódování masek funguje bez dalšího nastavení projektu v běžné pipeline. 29
Zpravodajské pokrytí připisuje vydání Xiaomi, zatímco kód a váhy jsou publikovány pod názvem SeerRay-Lab. Dostupné zdroje nezávisle nepotvrzují formální organizační vztah mezi touto laboratoří a Xiaomi. 2
1
29
Pixelové ukotvení by mohlo být užitečné například při výběru předmětu pro robotické uchopení, při zvýraznění věci, na kterou se ptá cestující, nebo při hledání objektu na fotografii v telefonu. Jde však o možné scénáře využití, nikoli o doložená nasazení. Z dostupných informací nelze vyvodit rychlost přímo v zařízení, nároky na paměť či energii ani vhodnost pro bezpečnostně kritické použití.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Xiaomi-Lens-0: když AI ukáže, o které části obrázku mluví"?
Xiaomi Lens 0 vychází z modelu Qwen3.5 4B a pomocí tokenu <|mask| vytváří masky oblastí v obrázku, na které se odpověď vztahuje.
What are the key points to validate first?
Xiaomi Lens 0 vychází z modelu Qwen3.5 4B a pomocí tokenu <|mask| vytváří masky oblastí v obrázku, na které se odpověď vztahuje. Autoři uvádějí průměrné zlepšení o 5,6 bodu v porozumění odkazujícím výrazům napříč osmi děleními datových sad RefCOCO.
What should I do next in practice?
Kód a váhy jsou dostupné pod jménem SeerRay Lab; výsledky pocházejí z hodnocení projektu a dostupné zdroje nepotvrzují připravenost pro nasazení v zařízení.