RespostasPublicado14 fontes
Xiaomi-Lens-0 combina respostas em texto com máscaras de pixels
O Xiaomi Lens 0 parte do Qwen3.5 4B e usa um decodificador leve para transformar tokens especiais em máscaras sobre regiões da imagem. O projeto relata melhora média de 5,6 pontos em oito divisões de benchmarks RefCOCO; os resultados são avaliações divulgadas pelos próprios desenvolvedores.
Publicado porEditado com GPT-6 LunaImagens geradas com GPT Image 2
Resposta de pesquisa
Principais conclusões
- O Xiaomi Lens 0 parte do Qwen3.5 4B e usa um decodificador leve para transformar tokens especiais em máscaras sobre regiões da imagem.
- O projeto relata melhora média de 5,6 pontos em oito divisões de benchmarks RefCOCO; os resultados são avaliações divulgadas pelos próprios desenvolvedores.
- Pesos e código estão disponíveis no Hugging Face e no GitHub sob a licença Apache 2.0, mas as fontes não confirmam desempenho em celulares ou outros dispositivos.
Prompt de IA
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Xiaomi-Lens-0, the 4-billion-parameter multimodal model open-sourced by Xiaomi’s SeerRay-Lab in October 2026, and how do its officia. Article summary: Xiaomi-Lens-0 is a compact 4-billion-parameter multimodal model built on Qwen3.5-4B that combines textual answers with pixel-level image-region masks, using a shared visual backbone and a lightweight mask decoder. [3] It. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
O Xiaomi-Lens-0 é um modelo multimodal de 4 bilhões de parâmetros que tenta fazer mais do que descrever uma imagem: ele também pode apontar quais pixels correspondem ao que diz. Baseado no Qwen3.5-4B, o modelo usa uma arquitetura visual compartilhada e um decodificador leve para converter tokens especiais de máscara em regiões da imagem. Segundo o projeto, essas referências visuais podem aparecer tanto na resposta final quanto durante o raciocínio. 1
Como o modelo relaciona texto e imagem
O Xiaomi-Lens-0 é treinado com supervisão em nível de pixel. Quando gera um token <|mask|>, um decodificador transforma esse token em uma máscara sobre a imagem. Assim, uma resposta em texto pode vir acompanhada de uma indicação visual da região que a sustenta. 1
O laboratório descreve a abordagem como raciocínio fundamentado em representações visuais. Isso sugere que as referências às regiões podem participar do processo de raciocínio, e não servir apenas para produzir uma segmentação no fim. Ainda assim, a documentação disponível não detalha todo o protocolo de tokens nem explica exatamente como máscaras intermediárias influenciam as etapas seguintes. 1
10
Tarefas e benchmark
A SeerRay-Lab lista entre as capacidades do projeto a segmentação por referência e a segmentação com raciocínio, a localização de múltiplos objetos, a compreensão detalhada de regiões e a percepção visual. 10 Os resultados divulgados para compreensão de expressões que se referem a elementos da imagem abrangem oito divisões da família RefCOCO.
1
O projeto também apresenta o LensBench, um benchmark de segmentação, e uma demonstração junto de recursos como código, modelo, relatório e página do projeto. 10
2 As fontes disponíveis, porém, não especificam o tamanho ou o protocolo de avaliação do LensBench nem os recursos exatos da demonstração.
O que os resultados divulgados indicam
A equipe relata uma melhora média de 5,6 pontos em compreensão de referências, em comparação com o Qwen3.5-4B, nas oito divisões da família RefCOCO. Também afirma que as pontuações subiram nos oito benchmarks de percepção detalhada avaliados. São resultados publicados pelo próprio projeto, não reproduções independentes. 1
Uma cobertura secundária informa ainda um ganho de 6,8 pontos no CountQA e o maior cIoU de segmentação entre os sistemas comparados. O resumo disponível não traz detalhes suficientes sobre a configuração de referência, as pontuações individuais ou o conjunto completo de modelos avaliados. Portanto, esses números devem ser lidos como resultados reportados, não como um ranking abrangente de desempenho. 2
Onde encontrar o modelo e o que ainda não se sabe
Os pesos estão no Hugging Face e o código, no GitHub, em repositórios publicados sob o nome SeerRay-Lab. O repositório do GitHub identifica a licença como Apache 2.0. 1
29 A página do Hugging Face associa o modelo ao relatório técnico 2610.23279 e mostra um exemplo de uso com o pipeline de imagem e texto do Transformers. Esse exemplo, sozinho, não confirma que a decodificação personalizada de máscaras funcione sem configuração adicional específica do projeto.
29
A cobertura jornalística atribui o lançamento à Xiaomi, enquanto os repositórios de código e modelo estão sob o nome SeerRay-Lab. As fontes disponíveis não estabelecem de forma independente qual é a relação organizacional formal entre o laboratório e a Xiaomi. 2
1
29
A capacidade de apontar regiões pode ser útil, em tese, para um robô que precise localizar um objeto antes de pegá-lo, para um assistente no carro que destaque algo mencionado por um passageiro ou para ajudar alguém a encontrar um item em uma foto no celular. Esses são usos potenciais, não implantações comprovadas. As fontes não informam velocidade em dispositivos, consumo de memória ou energia, nem prontidão para aplicações críticas de segurança.
Studio Global AI
Continue sua pesquisa
Esta página inclui uma resposta baseada na fonte que você pode continuar em Studio Global.
As pessoas também perguntam
Qual é a resposta curta para "Xiaomi-Lens-0 combina respostas em texto com máscaras de pixels"?
O Xiaomi Lens 0 parte do Qwen3.5 4B e usa um decodificador leve para transformar tokens especiais em máscaras sobre regiões da imagem.
Quais são os pontos-chave para validar primeiro?
O Xiaomi Lens 0 parte do Qwen3.5 4B e usa um decodificador leve para transformar tokens especiais em máscaras sobre regiões da imagem. O projeto relata melhora média de 5,6 pontos em oito divisões de benchmarks RefCOCO; os resultados são avaliações divulgadas pelos próprios desenvolvedores.
O que devo fazer a seguir na prática?
Pesos e código estão disponíveis no Hugging Face e no GitHub sob a licença Apache 2.0, mas as fontes não confirmam desempenho em celulares ou outros dispositivos.