AnswersPublished14 sources
Xiaomi-Lens-0 kan vise hvor i bildet svaret kommer fra
Modellen bygger på Qwen3.5 4B og bruker en lett dekoder til å gjøre egne masketokener om til markerte bildefelt. SeerRay Lab oppgir bedre resultater enn Qwen3.5 4B på åtte RefCOCO relaterte tester, men tallene er ikke uavhengig bekreftet.
Publisert avRedigert med GPT-6 LunaBilder generert med GPT Image 2
Research answer
Key takeaways
- Modellen bygger på Qwen3.5 4B og bruker en lett dekoder til å gjøre egne masketokener om til markerte bildefelt.
- SeerRay Lab oppgir bedre resultater enn Qwen3.5 4B på åtte RefCOCO relaterte tester, men tallene er ikke uavhengig bekreftet.
- Vektene er tilgjengelige på Hugging Face, og prosjektet har publisert kode og informasjon om LensBench.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Xiaomi-Lens-0, the 4-billion-parameter multimodal model open-sourced by Xiaomi’s SeerRay-Lab in October 2026, and how do its officia. Article summary: Xiaomi-Lens-0 is a compact 4-billion-parameter multimodal model built on Qwen3.5-4B that combines textual answers with pixel-level image-region masks, using a shared visual backbone and a lightweight mask decoder. [3] It. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Xiaomi-Lens-0 er en multimodal modell med 4 milliarder parametere som ikke bare kan beskrive et bilde. Den kan også markere hvilke piksler svaret viser til. Modellen bygger på Qwen3.5-4B og bruker en felles visuell grunnmodell sammen med en lett dekoder for å lage masker over deler av bildet. Ifølge prosjektet kan slike visuelle henvisninger komme både i det endelige svaret og underveis i resonneringen. 1
Slik kobler modellen tekst til bildefelt
Modellen trenes med veiledning på pikselnivå. Når den lager et særskilt <|mask|>-token, gjør en lett dekoder tokenet om til en maske som viser et område i bildet. Dermed kan den gi et tekstsvar og samtidig peke på delen av bildet svaret bygger på. 1
SeerRay-Lab omtaler metoden som resonnering forankret i visuelle representasjoner. Det tyder på at bildefeltene kan spille en rolle mens modellen resonnerer, ikke bare bli lagt til som en segmentering til slutt. Den tilgjengelige prosjektbeskrivelsen forklarer imidlertid ikke hele tokenoppsettet eller nøyaktig hvordan masker som lages underveis påvirker de neste resonneringstrinnene. 1
10
Oppgaver, LensBench og demo
SeerRay-Lab oppgir at modellen støtter segmentering basert på referanser og resonnering, forankring av flere objekter, detaljert forståelse av bildefelt og visuell persepsjon. 10 Resultatene for forståelse av referanseuttrykk dekker også åtte deltester fra RefCOCO-familien.
1
Prosjektet lister LensBench som en benchmark for segmentering, sammen med kode, modell, rapport og prosjektside. 10 En omtale av lanseringen nevner også en tilhørende demo, men kildene som er tilgjengelige her beskriver ikke hvilke funksjoner demoen har, hvor omfattende LensBench er eller hvordan benchmarken evalueres.
2
Hva resultatene viser – og ikke viser
Prosjektet rapporterer en gjennomsnittlig forbedring på 5,6 poeng i forståelse av referanseuttrykk sammenlignet med Qwen3.5-4B, målt på åtte deltester i RefCOCO-familien. Det oppgir også bedre skårer på alle de åtte benchmarkene for detaljert visuell persepsjon. Dette er resultater fra prosjektet selv, ikke uavhengige gjentakelser av testene. 1
En sekundær omtale oppgir en forbedring på 6,8 poeng på CountQA og at Xiaomi-Lens-0 hadde høyest cIoU for segmentering blant modellene som ble sammenlignet. Omtalen gir ikke nok informasjon om den nøyaktige referansemodellen, enkeltresultatene eller hele utvalget av sammenlignede systemer. Tallene bør derfor leses som rapporterte resultater, ikke som en fullstendig rangering. 2
Åpen tilgang og praktiske forbehold
Modellvektene ligger på Hugging Face, og SeerRay-Lab har publisert prosjektkoden på GitHub. GitHub-arkivet oppgir Apache-2.0-lisens. 1
29 Hugging Face-siden viser til den tekniske rapporten 2610.23279 og har et eksempel på bruk med Transformers-pipelinen for bilde og tekst. Eksempelet dokumenterer ikke i seg selv at den tilpassede maskekoderen fungerer med en standard pipeline uten ekstra oppsett.
29
Omtale av lanseringen tilskriver utgivelsen Xiaomi, mens kode- og modellarkivene er publisert under navnet SeerRay-Lab. Kildene som er tilgjengelige, fastslår ikke uavhengig den formelle organisatoriske tilknytningen mellom laboratoriet og Xiaomi. 2
1
29
Pikselpresis forankring kan være nyttig i mulige bruksområder som å finne en gjenstand for en robot som skal plukke den opp, å markere noe en passasjer spør om, eller å hjelpe en mobilbruker med å finne en ting i et bilde. Dette er tenkte bruksområder, ikke dokumenterte utrullinger. Kildene sier heller ikke noe sikkert om hastighet på enheten, minnebruk, strømforbruk eller egnethet for sikkerhetskritiske oppgaver.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Xiaomi-Lens-0 kan vise hvor i bildet svaret kommer fra"?
Modellen bygger på Qwen3.5 4B og bruker en lett dekoder til å gjøre egne masketokener om til markerte bildefelt.
What are the key points to validate first?
Modellen bygger på Qwen3.5 4B og bruker en lett dekoder til å gjøre egne masketokener om til markerte bildefelt. SeerRay Lab oppgir bedre resultater enn Qwen3.5 4B på åtte RefCOCO relaterte tester, men tallene er ikke uavhengig bekreftet.
What should I do next in practice?
Vektene er tilgjengelige på Hugging Face, og prosjektet har publisert kode og informasjon om LensBench.