AnswersPublished14 sources
Xiaomi-Lens-0 kobler tekstsvar til konkrete pixels i billedet
Xiaomi Lens 0 bygger på Qwen3.5 4B og kan kombinere tekstsvar med masker, der viser relevante billedområder. Projektet rapporterer et gennemsnitligt løft på 5,6 point på otte RefCOCO familiesplit sammenlignet med Qwen3.5 4B.
Udgivet afRedigeret med GPT-6 LunaBilleder genereret med GPT Image 2
Research answer
Key takeaways
- Xiaomi Lens 0 bygger på Qwen3.5 4B og kan kombinere tekstsvar med masker, der viser relevante billedområder.
- Projektet rapporterer et gennemsnitligt løft på 5,6 point på otte RefCOCO familiesplit sammenlignet med Qwen3.5 4B.
- Modellen, koden og benchmarken LensBench er tilgængelige, men de offentliggjorte oplysninger fastslår ikke modellens hastighed eller egnethed til brug på enheder.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Xiaomi-Lens-0, the 4-billion-parameter multimodal model open-sourced by Xiaomi’s SeerRay-Lab in October 2026, and how do its officia. Article summary: Xiaomi-Lens-0 is a compact 4-billion-parameter multimodal model built on Qwen3.5-4B that combines textual answers with pixel-level image-region masks, using a shared visual backbone and a lightweight mask decoder. [3] It. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Xiaomi-Lens-0 er en multimodal model med 4 milliarder parametre, der ikke nøjes med at beskrive et billede. Den kan også vise, hvilke pixels eller billedområder et svar handler om. Modellen bygger på Qwen3.5-4B og bruger en fælles visuel grundmodel samt en letvægtsdekoder til at omsætte særlige <|mask|>-tokens til masker over dele af billedet. 1
Det særlige er, at maskerne ifølge projektet kan indgå både i det endelige svar og undervejs i ræsonneringen. Det gør billedforankring til mere end en markering, der først lægges på til sidst. De tilgængelige projektbeskrivelser forklarer dog ikke hele tokenforløbet eller præcist, hvordan en maske påvirker modellens næste ræsonneringstrin. 1
10
Fra tekst til et markeret billedområde
Modellen er trænet med supervision på pixelniveau gennem en fælles visuel grundmodel. Når den udsender en <|mask|>-token, laver en letvægtsdekoder tokenet om til en maske, der dækker det relevante område i billedet. Dermed kan et tekstsvar ledsages af en konkret visuel markering af det, modellen henviser til. 1
SeerRay-Lab beskriver også projektet som ræsonnering med visuelle latenter og forankrede referencer. Det peger på, at modellen kan bruge information om billedområder under ræsonneringen, men kilderne giver ikke en fuld teknisk beskrivelse af mekanismen. 10
Opgaver og benchmark
SeerRay-Lab fremhæver blandt andet segmentering ud fra sproglige henvisninger, ræsonneringsbaseret segmentering, forankring af flere objekter, detaljeret forståelse af billedområder og visuel perception. 10 Modellen er desuden evalueret på otte opdelinger fra RefCOCO-familien, som bruges til at teste, om en model kan finde eller afgrænse det objekt, der beskrives med ord.
1
Projektet præsenterer også LensBench som en benchmark for segmentering. En omtale af udgivelsen nævner desuden en tilhørende demo, men de tilgængelige oplysninger beskriver ikke demoens funktioner eller LensBenchens størrelse og evalueringsmetode. 2
10
Hvad viser de rapporterede resultater?
Ifølge projektet forbedrede Xiaomi-Lens-0 resultatet for forståelse af sproglige henvisninger med gennemsnitligt 5,6 point sammenlignet med Qwen3.5-4B på tværs af otte RefCOCO-familiesplit. Projektet oplyser også, at modellen gik frem på alle otte benchmarks for detaljeret perception. Det er resultater rapporteret af projektet selv, ikke uafhængige gentagelser af evalueringen. 1
En sekundær omtale angiver desuden en forbedring på 6,8 point på CountQA og skriver, at modellen havde den højeste cIoU for segmentering blandt de sammenlignede systemer. Omtalen giver ikke tilstrækkelige detaljer om de enkelte resultater eller hele sammenligningsgrundlaget, så oplysningerne bør læses som rapporterede resultater – ikke som en fuldstændig rangliste. 2
Tilgængelighed og forbehold
Modelvægtene ligger på Hugging Face, og projektets kode findes på GitHub under navnet SeerRay-Lab. GitHub-repositoriet angiver Apache-2.0-licensen. 1
29 Hugging Face-siden henviser til den tekniske rapport 2610.23279 og viser et eksempel med Transformers’ billed- og tekstpipeline. Eksemplet fastslår dog ikke i sig selv, om den særlige maskefunktion virker med standardopsætningen uden ekstra projektspecifik konfiguration.
29
Mediedækning knytter udgivelsen til Xiaomi, mens model- og koderepositorierne udgives under SeerRay-Lab. De tilgængelige kilder dokumenterer ikke uafhængigt laboratoriets formelle organisatoriske forhold til Xiaomi. 1
2
29
Pixelbaseret forankring kunne eksempelvis være nyttig for en robot, der skal finde den genstand, den skal samle op, for en bilassistent, der fremhæver noget en passager spørger om, eller for en mobilfunktion, der hjælper med at lokalisere en ting på et foto. Det er mulige anvendelser, ikke dokumenterede udrulninger. Kilderne fastslår heller ikke modellens hastighed på enheder, hukommelsesforbrug, strømforbrug eller egnethed til sikkerhedskritisk brug.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Xiaomi-Lens-0 kobler tekstsvar til konkrete pixels i billedet"?
Xiaomi Lens 0 bygger på Qwen3.5 4B og kan kombinere tekstsvar med masker, der viser relevante billedområder.
What are the key points to validate first?
Xiaomi Lens 0 bygger på Qwen3.5 4B og kan kombinere tekstsvar med masker, der viser relevante billedområder. Projektet rapporterer et gennemsnitligt løft på 5,6 point på otte RefCOCO familiesplit sammenlignet med Qwen3.5 4B.
What should I do next in practice?
Modellen, koden og benchmarken LensBench er tilgængelige, men de offentliggjorte oplysninger fastslår ikke modellens hastighed eller egnethed til brug på enheder.