ОтветыОпубликовано14 источники
Xiaomi-Lens-0 связывает ответы с конкретными областями изображения
Xiaomi Lens 0 построена на Qwen3.5 4B и превращает специальный токен < mask в маску области изображения. Проект заявляет поддержку сегментации, привязки выражений к объектам и тонкого понимания отдельных участков изображения.
ОпубликовалОтредактировано с помощью GPT-6 LunaИзображения созданы с помощью GPT Image 2
Ответ на исследование
Ключевые выводы
- Xiaomi Lens 0 построена на Qwen3.5 4B и превращает специальный токен <|mask| в маску области изображения.
- Проект заявляет поддержку сегментации, привязки выражений к объектам и тонкого понимания отдельных участков изображения.
- По опубликованным авторами оценкам, модель в среднем набрала на 5,6 пункта больше базовой Qwen3.5 4B на восьми сплитах RefCOCO.
- Код и веса доступны на GitHub и Hugging Face; результаты пока следует воспринимать как заявленные авторами, а не как независимую проверку.
Промпт ИИ
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Xiaomi-Lens-0, the 4-billion-parameter multimodal model open-sourced by Xiaomi’s SeerRay-Lab in October 2026, and how do its officia. Article summary: Xiaomi-Lens-0 is a compact 4-billion-parameter multimodal model built on Qwen3.5-4B that combines textual answers with pixel-level image-region masks, using a shared visual backbone and a lightweight mask decoder. [3] It. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Xiaomi-Lens-0 — мультимодальная модель на 4 млрд параметров, созданная на базе Qwen3.5-4B. Её задача — не только ответить на вопрос о картинке, но и показать, какая именно область изображения соответствует ответу. Для этого модель использует общий визуальный блок и лёгкий декодер масок: специальный токен <|mask|> превращается в маску на пикселях. По описанию проекта, такая привязка может появляться как в итоговом ответе, так и во время рассуждения. 1
Как модель отмечает области изображения
Модель обучается с пиксельной разметкой через общий визуальный блок. Когда она генерирует <|mask|>, отдельный лёгкий декодер преобразует этот токен в маску поверх изображения. Так текстовый ответ можно дополнить указанием на область, к которой он относится. 1
SeerRay-Lab описывает подход как рассуждение, опирающееся на визуальные представления. Это предполагает, что привязка к областям изображения важна не только для готового результата сегментации, но и для хода рассуждения. Однако опубликованное описание не раскрывает полностью формат токенов и то, как промежуточные маски влияют на последующие шаги модели. 1
10
Задачи и LensBench
В перечне возможностей проекта указаны сегментация по текстовому описанию и сегментация с рассуждением, привязка нескольких объектов, детальное понимание областей и визуальное восприятие. 10 Результаты модели по пониманию выражений, указывающих на объекты, представлены на восьми сплитах семейства RefCOCO.
1
Вместе с проектом указан LensBench — бенчмарк для сегментации; также доступны страницы с кодом, моделью, отчётом и самим проектом. 10 В публикации о релизе упоминается и демонстрационная версия, но доступные сведения не описывают её функции, размер LensBench или подробности протокола оценки.
2
Что показывают опубликованные результаты
Авторы сообщают, что на восьми сплитах семейства RefCOCO Xiaomi-Lens-0 в среднем опережает Qwen3.5-4B на 5,6 пункта в понимании выражений, указывающих на объекты. Также, по данным проекта, показатели выросли на всех восьми бенчмарках тонкого визуального восприятия. Это результаты, опубликованные самим проектом, а не независимое воспроизведение оценок. 1
В пересказе результатов также указано улучшение на CountQA на 6,8 пункта и наивысший cIoU сегментации среди сравнивавшихся систем. При этом доступное описание не приводит точные значения для каждой модели, полную группу сравнения или детали базовой конфигурации. Поэтому эти заявления не стоит трактовать как исчерпывающий рейтинг производительности. 2
Где доступна модель и что важно учитывать
Веса опубликованы на Hugging Face, а код — на GitHub под именем SeerRay-Lab. Репозиторий GitHub указывает лицензию Apache-2.0. 1
29 На странице Hugging Face приведена ссылка на технический отчёт 2610.23279 и пример использования через конвейер image-text-to-text в Transformers. Сам по себе этот пример не подтверждает, что специальный путь декодирования масок работает без дополнительной настройки проекта.
29
Публикации связывают релиз с Xiaomi, тогда как репозитории модели и кода размещены от имени SeerRay-Lab. Доступные источники не позволяют независимо установить формальную организационную связь лаборатории с Xiaomi. 2
1
29
Привязка текста к пикселям потенциально пригодится, например, роботу для выбора предмета, автомобильному помощнику для указания на объект в поле зрения или пользователю телефона, который ищет нужную вещь на снимке. Это возможные сценарии, а не подтверждённые внедрения. Источники не сообщают о скорости работы на устройстве, потреблении памяти и энергии или готовности модели к задачам, где ошибка может повлечь серьёзные последствия.
Studio Global AI
Продолжайте свое исследование
На этой странице есть ответ, подтвержденный источником, который вы можете продолжить внутри Studio Global.
Люди также спрашивают
Каков краткий ответ на вопрос «Xiaomi-Lens-0 связывает ответы с конкретными областями изображения»?
Xiaomi Lens 0 построена на Qwen3.5 4B и превращает специальный токен <|mask| в маску области изображения.
Какие ключевые моменты необходимо проверить в первую очередь?
Xiaomi Lens 0 построена на Qwen3.5 4B и превращает специальный токен <|mask| в маску области изображения. Проект заявляет поддержку сегментации, привязки выражений к объектам и тонкого понимания отдельных участков изображения.
Что мне делать дальше на практике?
По опубликованным авторами оценкам, модель в среднем набрала на 5,6 пункта больше базовой Qwen3.5 4B на восьми сплитах RefCOCO.