AnswersPublished14 sources
Xiaomi-Lens-0: модель, яка не лише описує зображення, а й показує потрібні пікселі
Xiaomi Lens 0 — мультимодальна модель на 4 млрд параметрів, створена на базі Qwen3.5 4B. Спеціальний токен < mask і легкий декодер дають змогу моделі показувати маскою ділянку зображення, на яку спирається відповідь.
ОпублікувавВідредаговано за допомогою GPT-6 LunaЗображення створено за допомогою GPT Image 2
Research answer
Key takeaways
- Xiaomi Lens 0 — мультимодальна модель на 4 млрд параметрів, створена на базі Qwen3.5 4B.
- Спеціальний токен <|mask| і легкий декодер дають змогу моделі показувати маскою ділянку зображення, на яку спирається відповідь.
- Розробники повідомляють про середній приріст у 5,6 бала на восьми розбиттях RefCOCO; ці оцінки не є незалежно відтвореними.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Xiaomi-Lens-0, the 4-billion-parameter multimodal model open-sourced by Xiaomi’s SeerRay-Lab in October 2026, and how do its officia. Article summary: Xiaomi-Lens-0 is a compact 4-billion-parameter multimodal model built on Qwen3.5-4B that combines textual answers with pixel-level image-region masks, using a shared visual backbone and a lightweight mask decoder. [3] It. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Мультимодальна модель зазвичай відповідає на запитання про зображення словами. Xiaomi-Lens-0 додає ще один крок: може показати маскою, які саме пікселі стосуються відповіді. Модель із 4 млрд параметрів побудована на базі Qwen3.5-4B і, за описом проєкту, здатна видавати такі візуальні позначки не лише у фінальній відповіді, а й під час міркування. 1
Як модель пов’язує слова з ділянками зображення
Xiaomi-Lens-0 навчається на піксельній розмітці, використовуючи спільну візуальну основу. Коли модель генерує спеціальний токен <|mask|>, легкий декодер перетворює його на маску, накладену на відповідну ділянку зображення. Так відповідь може містити і текст, і вказівку на візуальне підтвердження. 1
SeerRay-Lab описує цей підхід як міркування з візуальними латентними представленнями. Отже, маски можуть бути важливими не тільки як результат сегментації наприкінці, а й у процесі міркування. Водночас доступний опис проєкту не пояснює повний протокол токенів або те, як проміжні маски впливають на наступні кроки. 1
10
Які завдання підтримує Xiaomi-Lens-0
Серед заявлених можливостей — сегментація за текстовим описом, сегментація для міркувань, прив’язка кількох об’єктів до зображення, детальне розуміння окремих ділянок і візуальне сприйняття. 10 У звіті проєкту також наведено результати для завдань, де потрібно знайти на зображенні об’єкт за словесним описом, зокрема на восьми розбиттях сімейства RefCOCO.
1
Разом із моделлю проєкт перелічує LensBench — бенчмарк для сегментації. В окремому повідомленні також згадується демоверсія, але наявні джерела не уточнюють її функції, ані розмір LensBench та його методику оцінювання. 10
2
Що показують оприлюднені результати
Розробники повідомляють про середнє покращення на 5,6 бала порівняно з Qwen3.5-4B у завданнях розуміння текстового опису на восьми розбиттях сімейства RefCOCO. Також вони заявляють про вищі результати на всіх восьми бенчмарках детального візуального сприйняття. Це оцінки, оприлюднені самим проєктом, а не незалежні відтворення. 1
У вторинному огляді також наведено приріст на 6,8 бала в CountQA та зазначено, що серед порівнюваних систем Xiaomi-Lens-0 мала найвище значення cIoU для сегментації. Однак доступний опис не містить повних результатів, точного набору систем для порівняння чи всіх базових налаштувань. Тож ці твердження варто сприймати як повідомлені результати, а не як повний незалежний рейтинг. 2
Де знайти модель і про що пам’ятати
Ваги Xiaomi-Lens-0 доступні на Hugging Face, а код опубліковано на GitHub під назвою SeerRay-Lab. Репозиторій на GitHub вказує ліцензію Apache-2.0. 1
29 Сторінка моделі на Hugging Face посилається на технічний звіт arXiv 2610.23279 і містить приклад використання через конвеєр Transformers для роботи із зображенням і текстом. Сам цей приклад, однак, не підтверджує, що спеціальне декодування масок працюватиме без додаткового налаштування проєкту.
29
Публікації приписують випуск Xiaomi, тоді як код і модель розміщені від імені SeerRay-Lab. Доступні джерела окремо не підтверджують формальний організаційний зв’язок лабораторії з Xiaomi. 2
1
29
Піксельна прив’язка потенційно може стати у пригоді, наприклад, щоб указати на предмет для робота-маніпулятора, підсвітити об’єкт, про який запитує пасажир, або допомогти знайти річ на фото з телефона. Це можливі сценарії, а не підтверджені впровадження. Наявні джерела також не встановлюють швидкість роботи на пристрої, потреби в пам’яті та енергії чи готовність моделі до застосування в критично важливих системах.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Xiaomi-Lens-0: модель, яка не лише описує зображення, а й показує потрібні пікселі"?
Xiaomi Lens 0 — мультимодальна модель на 4 млрд параметрів, створена на базі Qwen3.5 4B.
What are the key points to validate first?
Xiaomi Lens 0 — мультимодальна модель на 4 млрд параметрів, створена на базі Qwen3.5 4B. Спеціальний токен <|mask| і легкий декодер дають змогу моделі показувати маскою ділянку зображення, на яку спирається відповідь.
What should I do next in practice?
Розробники повідомляють про середній приріст у 5,6 бала на восьми розбиттях RefCOCO; ці оцінки не є незалежно відтвореними.