RespuestasPublicado14 fuentes
Xiaomi-Lens-0: un modelo que no solo responde sobre una imagen, también señala dónde mirar
Xiaomi Lens 0 es un modelo multimodal de 4.000 millones de parámetros basado en Qwen3.5 4B que puede acompañar una respuesta con una máscara de la región relevante de la imagen. El proyecto reporta mejoras en pruebas de comprensión de referencias visuales; son resultados del propio proyecto y no reproducciones indep...
Publicado porEditado con GPT-6 LunaImágenes generadas con GPT Image 2
Respuesta de investigación
Conclusiones clave
- Xiaomi Lens 0 es un modelo multimodal de 4.000 millones de parámetros basado en Qwen3.5 4B que puede acompañar una respuesta con una máscara de la región relevante de la imagen.
- El proyecto reporta mejoras en pruebas de comprensión de referencias visuales; son resultados del propio proyecto y no reproducciones independientes.
- El código y los pesos están disponibles bajo el nombre SeerRay Lab; las fuentes atribuyen el lanzamiento a Xiaomi, pero no detallan de forma independiente la relación organizativa entre ambos.
Prompt de IA
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Xiaomi-Lens-0, the 4-billion-parameter multimodal model open-sourced by Xiaomi’s SeerRay-Lab in October 2026, and how do its officia. Article summary: Xiaomi-Lens-0 is a compact 4-billion-parameter multimodal model built on Qwen3.5-4B that combines textual answers with pixel-level image-region masks, using a shared visual backbone and a lightweight mask decoder. [3] It. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Un modelo de visión puede describir una imagen; Xiaomi-Lens-0 intenta dar un paso más: además de responder, puede señalar la zona de la imagen a la que se refiere. Este modelo multimodal de 4.000 millones de parámetros parte de Qwen3.5-4B y usa máscaras a nivel de píxel para vincular el texto con regiones concretas. 1
La propuesta importa porque la referencia visual no tendría que limitarse a una máscara que aparece al final: según la descripción del proyecto, el modelo puede producir esas referencias en la respuesta final o mientras razona. Aun así, la documentación disponible no detalla por completo el protocolo de tokens ni explica con precisión cómo cada máscara intermedia influye en los pasos siguientes. 1
10
Cómo pasa del texto a una región de la imagen
Xiaomi-Lens-0 aprende con supervisión a nivel de píxel y comparte una base visual. Cuando genera el token especial <|mask|>, un decodificador ligero lo convierte en una máscara sobre la imagen. Así, el modelo puede responder con palabras y, a la vez, marcar qué región respalda lo que dice. 1
SeerRay-Lab describe el enfoque como razonamiento fundamentado con representaciones visuales, además de mencionar tareas de segmentación y comprensión detallada de regiones. La idea es que localizar una zona pueda formar parte del proceso de razonamiento, no ser únicamente el resultado de segmentación que se entrega al final. 10
Tareas, LensBench y una demo
El proyecto enumera segmentación basada en referencias y segmentación de razonamiento, localización de varias instancias, comprensión fina de regiones y percepción visual. 10 También presenta resultados de comprensión de expresiones referenciales en ocho divisiones de la familia RefCOCO.
1
SeerRay-Lab incluye LensBench como banco de pruebas de segmentación y enlaza el código, el modelo, el informe y la página del proyecto. 10 Una cobertura del lanzamiento también menciona una demo, pero las fuentes disponibles no permiten precisar sus funciones ni describir el tamaño o el protocolo de evaluación de LensBench.
2
Qué muestran los resultados reportados
El proyecto afirma que Xiaomi-Lens-0 mejora en promedio 5,6 puntos la comprensión de referencias frente a Qwen3.5-4B en ocho divisiones de RefCOCO y que obtiene mejores puntuaciones en los ocho bancos de pruebas de percepción detallada evaluados. Son cifras reportadas por el proyecto, no resultados verificados mediante reproducciones independientes. 1
Una reseña secundaria añade una mejora de 6,8 puntos en CountQA y señala que el modelo logró el cIoU de segmentación más alto entre los sistemas comparados. La información disponible no especifica en detalle la configuración de referencia, todas las puntuaciones ni el conjunto completo de modelos evaluados; por eso, conviene leerlo como un resultado reportado, no como una clasificación exhaustiva. 2
Disponibilidad y límites prácticos
Los pesos del modelo están en Hugging Face y el código, en GitHub, bajo el nombre SeerRay-Lab. El repositorio de GitHub identifica la licencia como Apache-2.0. 1
29 La página de Hugging Face enlaza el informe técnico 2610.23279 e incluye un ejemplo de uso con una canalización de Transformers para imagen y texto. Ese ejemplo, por sí solo, no confirma que la decodificación personalizada de máscaras funcione sin configuración adicional del proyecto.
29
La cobertura del lanzamiento atribuye el modelo a Xiaomi, mientras que los repositorios del código y los pesos figuran a nombre de SeerRay-Lab. Las fuentes disponibles no establecen de manera independiente cuál es la relación organizativa formal entre el laboratorio y Xiaomi. 1
2
29
La capacidad de señalar píxeles concretos podría resultar útil, por ejemplo, para que un sistema robótico localice un objeto mencionado en una instrucción, para resaltar algo que pregunta un pasajero o para ayudar a encontrar un elemento en una foto desde el teléfono. Son usos potenciales, no despliegues confirmados. Tampoco hay datos suficientes aquí sobre velocidad en el dispositivo, consumo de memoria o energía, ni sobre su idoneidad para aplicaciones críticas para la seguridad.
Studio Global AI
Continúe su investigación
Esta página incluye una respuesta respaldada por fuentes que puede continuar dentro de Studio Global.
La gente también pregunta
¿Cuál es la respuesta corta a "Xiaomi-Lens-0: un modelo que no solo responde sobre una imagen, también señala dónde mirar"?
Xiaomi Lens 0 es un modelo multimodal de 4.000 millones de parámetros basado en Qwen3.5 4B que puede acompañar una respuesta con una máscara de la región relevante de la imagen.
¿Cuáles son los puntos clave a validar primero?
Xiaomi Lens 0 es un modelo multimodal de 4.000 millones de parámetros basado en Qwen3.5 4B que puede acompañar una respuesta con una máscara de la región relevante de la imagen. El proyecto reporta mejoras en pruebas de comprensión de referencias visuales; son resultados del propio proyecto y no reproducciones independientes.
¿Qué debo hacer a continuación en la práctica?
El código y los pesos están disponibles bajo el nombre SeerRay Lab; las fuentes atribuyen el lanzamiento a Xiaomi, pero no detallan de forma independiente la relación organizativa entre ambos.