AnswersPublished14 sources
Xiaomi-Lens-0 kopplar sina svar till konkreta delar av bilden
Xiaomi Lens 0 är en multimodal modell med 4 miljarder parametrar, byggd på Qwen3.5 4B. En lätt maskavkodare omvandlar särskilda token till pixelmasker som visar vilka bildområden modellen syftar på.
Publicerad avRedigerad med GPT-6 LunaBilder genererade med GPT Image 2
Research answer
Key takeaways
- Xiaomi Lens 0 är en multimodal modell med 4 miljarder parametrar, byggd på Qwen3.5 4B.
- En lätt maskavkodare omvandlar särskilda token till pixelmasker som visar vilka bildområden modellen syftar på.
- Projektet rapporterar bättre resultat på flera referens och perceptionsuppgifter, men resultaten är inte oberoende verifierade.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Xiaomi-Lens-0, the 4-billion-parameter multimodal model open-sourced by Xiaomi’s SeerRay-Lab in October 2026, and how do its officia. Article summary: Xiaomi-Lens-0 is a compact 4-billion-parameter multimodal model built on Qwen3.5-4B that combines textual answers with pixel-level image-region masks, using a shared visual backbone and a lightweight mask decoder. [3] It. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
En AI-modell kan ofta beskriva vad den ser i en bild. Xiaomi-Lens-0 försöker också visa var i bilden svaret hör hemma: den kan koppla text till en mask som markerar relevanta pixlar. Modellen har 4 miljarder parametrar och bygger på Qwen3.5-4B. 1
Så kopplar modellen text till bildområden
Xiaomi-Lens-0 tränas med pixelbaserad återkoppling genom en gemensam visuell grundmodell. När modellen genererar den särskilda tokenen <|mask|> omvandlar en lätt avkodare den till en mask över en del av bilden. På så vis kan ett svar i text kompletteras med en markering av området som stöder det. 1
SeerRay-Lab beskriver upplägget som visuellt grundat resonemang med visuella latenter. Projektbeskrivningen anger alltså att sådana bildreferenser kan förekomma även under resonemanget, inte bara som en avslutande segmentering. Den förklarar däremot inte i detalj hur tokenflödet fungerar eller hur en mellanliggande mask påverkar nästa steg. 1
10
Uppgifter och LensBench
Projektet listar bland annat segmentering utifrån en språklig hänvisning, resonemangsbaserad segmentering, identifiering av flera objekt, förståelse av små bildregioner och visuell perception. 10 Resultaten för språklig objekthänvisning omfattar åtta delmängder i RefCOCO-familjen.
1
Till projektet hör också LensBench, beskrivet som ett benchmark för segmentering. SeerRay-Lab listar dessutom kod, modell, rapport och projektsida; en separat nyhetsrapport nämner även en demo. Källorna ger inte tillräckligt med detaljer för att bedöma benchmarkens omfattning eller utvärderingsmetod, eller exakt vad demon kan göra. 10
2
Resultat – enligt projektet
SeerRay-Lab rapporterar en genomsnittlig förbättring på 5,6 poäng jämfört med Qwen3.5-4B på åtta RefCOCO-relaterade delmängder. Projektet uppger också högre resultat på samtliga åtta benchmarktester för finmaskig perception. Det här är projektets egna redovisade resultat, inte oberoende reproduktioner. 1
En sammanfattning av en sekundär rapport anger dessutom en förbättring på 6,8 poäng på CountQA och att modellen hade högst segmenteringsresultat mätt med cIoU bland systemen som jämfördes. Sammanfattningen redovisar inte alla poäng eller hela jämförelseunderlaget, så resultaten räcker inte för en fullständig rangordning. 2
Tillgång och praktiska frågetecken
Modellvikterna finns på Hugging Face och koden på GitHub under namnet SeerRay-Lab. GitHub-projektet anger licensen Apache-2.0, och modellkortet länkar till den tekniska rapporten 2610.23279. 1
29 Medier har beskrivit släppet som från Xiaomi, men de tillgängliga källorna fastställer inte oberoende SeerRay-Labs formella relation till företaget.
2
1
29
Hugging Face-sidan visar ett exempel med Transformers bild- och textpipeline. Exemplet i sig visar inte om modellens särskilda maskavkodning fungerar med en standardpipeline utan ytterligare projektspecifik konfiguration. 29
Att kunna peka ut bildpixlar kan vara användbart i exempelvis robotik, en bilassistent eller ett visuellt hjälpmedel i mobilen. Det är tänkbara användningsområden, inte bekräftade driftsättningar. Källorna fastställer inte heller hastighet, minnesbehov eller strömförbrukning på enheter, eller om modellen är lämplig för säkerhetskritiska uppgifter.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Xiaomi-Lens-0 kopplar sina svar till konkreta delar av bilden"?
Xiaomi Lens 0 är en multimodal modell med 4 miljarder parametrar, byggd på Qwen3.5 4B.
What are the key points to validate first?
Xiaomi Lens 0 är en multimodal modell med 4 miljarder parametrar, byggd på Qwen3.5 4B. En lätt maskavkodare omvandlar särskilda token till pixelmasker som visar vilka bildområden modellen syftar på.
What should I do next in practice?
Projektet rapporterar bättre resultat på flera referens och perceptionsuppgifter, men resultaten är inte oberoende verifierade.