AnswersPublished14 sources
Xiaomi-Lens-0 koppelt antwoorden aan pixels in een afbeelding
Xiaomi Lens 0 is een multimodaal model met 4 miljard parameters, gebaseerd op Qwen3.5 4B. Een lichtgewicht decoder zet elk gegenereerd < mask token om in een masker dat de bedoelde beeldregio markeert.
Gepubliceerd doorBewerkt met GPT-6 LunaAfbeeldingen gegenereerd met GPT Image 2
Research answer
Key takeaways
- Xiaomi Lens 0 is een multimodaal model met 4 miljard parameters, gebaseerd op Qwen3.5 4B.
- Een lichtgewicht decoder zet elk gegenereerd <|mask| token om in een masker dat de bedoelde beeldregio markeert.
- De makers melden gemiddeld 5,6 punten winst op acht RefCOCO familiesplits; de resultaten zijn niet onafhankelijk gereproduceerd.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Xiaomi-Lens-0, the 4-billion-parameter multimodal model open-sourced by Xiaomi’s SeerRay-Lab in October 2026, and how do its officia. Article summary: Xiaomi-Lens-0 is a compact 4-billion-parameter multimodal model built on Qwen3.5-4B that combines textual answers with pixel-level image-region masks, using a shared visual backbone and a lightweight mask decoder. [3] It. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Een beeld-AI kan vaak vertellen wat er op een foto staat. Xiaomi-Lens-0 wil ook laten zien waar het antwoord op is gebaseerd: het kan tekst combineren met een pixelmasker rond de relevante beeldregio. Het model telt 4 miljard parameters en is gebaseerd op Qwen3.5-4B. 1
Van antwoord naar beeldregio
Xiaomi-Lens-0 leert met supervisie op pixelniveau via een gedeelde visuele basis. Wanneer het model een speciaal <|mask|>-token genereert, zet een lichtgewicht decoder dat token om in een masker over de afbeelding. Zo kan het model niet alleen een tekstueel antwoord geven, maar ook de regio aanwijzen waar dat antwoord naar verwijst. Volgens de projectbeschrijving kan dat zowel in het eindantwoord als tijdens het redeneren gebeuren. 1
SeerRay-Lab omschrijft de aanpak als redeneren met visuele latente representaties. De beschikbare projectinformatie legt echter niet precies uit hoe het volledige tokenproces werkt of hoe tussentijdse maskers volgende redeneerstappen beïnvloeden. 1
10
Taken en LensBench
SeerRay-Lab noemt onder meer verwijzings- en redeneersegmentatie, het koppelen van meerdere objecten aan verwijzingen, fijnmazig begrip van beeldregio’s en visuele perceptie als toepassingsgebieden. 10 De gerapporteerde verwijzingsresultaten bestrijken acht splits uit de RefCOCO-familie.
1
Het project vermeldt ook LensBench, een benchmark voor segmentatie, naast code, model, rapport en projectpagina. Een nieuwsbericht meldt daarnaast een demo. De beschikbare bronnen geven geen uitsluitsel over de precieze functies van die demo, de omvang van LensBench of het evaluatieprotocol. 2
10
Wat zeggen de gerapporteerde resultaten?
Volgens de projectmakers scoorde Xiaomi-Lens-0 gemiddeld 5,6 punten hoger dan Qwen3.5-4B op verwijzingsbegrip, gemeten over acht RefCOCO-familiesplits. Ook zouden de scores zijn verbeterd op alle acht benchmarks voor fijnmazige perceptie. Dit zijn resultaten die het project zelf rapporteert, geen onafhankelijk gereproduceerde metingen. 1
Een samenvatting van berichtgeving noemt daarnaast een stijging van 6,8 punten op CountQA en meldt dat Xiaomi-Lens-0 de hoogste segmentation-cIoU behaalde van de vergeleken systemen. De beschikbare samenvatting geeft onvoldoende details over de exacte uitgangswaarde, individuele scores en volledige vergelijkingsgroep. Die claims zijn daarom geen compleet prestatieoverzicht. 2
Beschikbaar, maar met praktische kanttekeningen
De modelgewichten staan op Hugging Face en de code is te vinden op GitHub onder de naam SeerRay-Lab. De GitHub-repository vermeldt de Apache-2.0-licentie. 1
29 De Hugging Face-pagina verwijst naar technisch rapport 2610.23279 en toont een voorbeeld met de Transformers-pipeline voor beeld- en tekstinvoer. Dat voorbeeld bewijst op zichzelf niet dat de aangepaste decoder voor maskers zonder extra projectspecifieke instellingen via een standaardpipeline werkt.
29
Berichtgeving schrijft de release toe aan Xiaomi; de model- en coderepositories staan onder de naam SeerRay-Lab. De beschikbare bronnen bevestigen niet onafhankelijk wat de formele organisatorische relatie tussen SeerRay-Lab en Xiaomi is. 1
2
29
Pixelnauwkeurige beeldverwijzingen zouden bijvoorbeeld van pas kunnen komen bij een robot die een genoemd voorwerp moet oppakken, een assistent in de auto die iets op de omgeving aanwijst of een telefoonfunctie die een gebruiker helpt een object op een foto terug te vinden. Dat zijn mogelijke toepassingen, geen bevestigde inzetten. De bronnen geven geen uitsluitsel over snelheid op apparaten, geheugengebruik, energieverbruik of geschiktheid voor veiligheidskritische toepassingen.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Xiaomi-Lens-0 koppelt antwoorden aan pixels in een afbeelding"?
Xiaomi Lens 0 is een multimodaal model met 4 miljard parameters, gebaseerd op Qwen3.5 4B.
What are the key points to validate first?
Xiaomi Lens 0 is een multimodaal model met 4 miljard parameters, gebaseerd op Qwen3.5 4B. Een lichtgewicht decoder zet elk gegenereerd <|mask| token om in een masker dat de bedoelde beeldregio markeert.
What should I do next in practice?
De makers melden gemiddeld 5,6 punten winst op acht RefCOCO familiesplits; de resultaten zijn niet onafhankelijk gereproduceerd.