AnswersPublished14 sources
Xiaomi-Lens-0 yhdistää vastauksen ja sitä tukevat kuvapikselit
Xiaomi Lens 0 on Qwen3.5 4B pohjainen 4 miljardin parametrin malli, joka voi liittää tekstivastaukseen kuvan kohtia osoittavia pikselimaskeja. Projektin mukaan malli voi tuottaa maskeja myös päättelyn aikana.
JulkaisijaMuokattu mallilla GPT-6 LunaKuvat luotu mallilla GPT Image 2
Research answer
Key takeaways
- Xiaomi Lens 0 on Qwen3.5 4B pohjainen 4 miljardin parametrin malli, joka voi liittää tekstivastaukseen kuvan kohtia osoittavia pikselimaskeja.
- Projektin mukaan malli voi tuottaa maskeja myös päättelyn aikana. Sen ilmoitetut tulokset ovat kuitenkin projektin omia arvioita, eivät riippumattomasti toistettuja mittauksia.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Xiaomi-Lens-0, the 4-billion-parameter multimodal model open-sourced by Xiaomi’s SeerRay-Lab in October 2026, and how do its officia. Article summary: Xiaomi-Lens-0 is a compact 4-billion-parameter multimodal model built on Qwen3.5-4B that combines textual answers with pixel-level image-region masks, using a shared visual backbone and a lightweight mask decoder. [3] It. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Kuvia ymmärtävä tekoäly voi kertoa, mitä kuvassa näkyy. Xiaomi-Lens-0:n erikoisuus on, että se voi myös osoittaa, mihin kuvan alueeseen sen vastaus liittyy. Kyseessä on 4 miljardin parametrin multimodaalinen malli, joka perustuu Qwen3.5-4B:hen. 1
Miten malli yhdistää tekstin ja kuvan alueet?
Xiaomi-Lens-0 oppii pikselitason ohjauksen avulla ja käyttää yhteistä visuaalista runkoa. Kun se tuottaa erityisen <|mask|>-tokenin, kevyt dekooderi muuntaa sen kuvan aluetta vastaavaksi maskiksi. Näin tekstivastauksen rinnalle voidaan tuottaa visuaalinen osoitus siitä, mihin vastaus viittaa. Projektin mukaan maski voi tulla vastauksen loppuun tai mukaan päättelyn aikana. 1
SeerRay-Lab kuvaa kokonaisuutta visuaalisia latentteja hyödyntäväksi, perustelluksi päättelyksi. Tämä viittaa siihen, ettei alueiden tunnistaminen ole vain vastauksen lopussa tehtävä erillinen segmentointivaihe. Julkinen kuvaus ei kuitenkaan selitä koko token-protokollaa eikä sitä, miten välivaiheiden maskeja käytetään päättelyn seuraavissa vaiheissa. 1
10
Tehtävät ja LensBench
SeerRay-Lab listaa mallin kykyihin viittaavan kohteen segmentoinnin, päättelyyn liittyvän segmentoinnin, useiden kohteiden paikantamisen, hienojakoisen alueymmärryksen ja visuaalisen havainnoinnin. Mallin viittaavan ilmauksen ymmärtämistä on arvioitu myös kahdeksassa RefCOCO-perheen jaossa. 1
10
Projektin yhteydessä mainitaan LensBench-segmentointitesti sekä demo. Saatavilla olevat lähteet eivät kerro tarkasti demon ominaisuuksia tai LensBenchin kokoa ja arviointitapaa. 2
10
Mitä tuloksista raportoidaan?
Projektin mukaan viittaavan ilmauksen ymmärtämisen tulos oli keskimäärin 5,6 pistettä parempi kuin Qwen3.5-4B:llä kahdeksassa RefCOCO-perheen jaossa. Se ilmoittaa myös tulosten parantuneen kaikissa kahdeksassa hienojakoisen havainnoinnin testissä. Nämä ovat projektin raportoimia tuloksia, eivät riippumattomasti toistettuja arvioita. 1
Toissijaisen raporttikoosteen mukaan CountQA-tulos parani 6,8 pistettä ja mallin segmentoinnin cIoU oli korkein vertailussa mukana olleista järjestelmistä. Koosteesta ei kuitenkaan käy ilmi riittävästi vertailun kaikkia malleja, yksittäisiä tuloksia tai tarkkaa lähtötasoa. Siksi näitä tietoja kannattaa lukea raportoituna tuloksena, ei kattavana paremmuusjärjestyksenä. 2
Saatavuus ja käytännön rajat
Mallin painot ovat saatavilla Hugging Facessa ja projektin koodi GitHubissa SeerRay-Lab-nimellä. GitHub-repositoriossa lisenssiksi ilmoitetaan Apache-2.0. Hugging Face -sivu viittaa tekniseen raporttiin 2610.23279 ja näyttää esimerkin Transformersin kuva-tekstiputken käytöstä. Esimerkki ei yksin osoita, että mallin oma maskien dekoodaus toimisi tavallisella putkella ilman projektikohtaista käyttöönottoa. 1
29
Julkaisua käsittelevä uutisointi liittää mallin Xiaomiin, mutta koodi- ja mallirepositoriot ovat SeerRay-Lab-organisaation nimissä. Käytettävissä olevat lähteet eivät vahvista riippumattomasti SeerRay-Labin muodollista suhdetta Xiaomihin. 1
2
29
Pikselitason paikannuksesta voisi olla hyötyä esimerkiksi robotin poimiessa ohjeessa mainittua esinettä, matkustajan kysyessä autossa näkyvästä kohteesta tai puhelimen käyttäjän etsiessä kuvasta tiettyä asiaa. Nämä ovat mahdollisia käyttötapoja, eivät vahvistettuja käyttöönottoja. Lähteet eivät myöskään osoita mallin nopeutta laitteella, muistinkulutusta, energiankulutusta tai soveltuvuutta turvallisuuskriittiseen käyttöön.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Xiaomi-Lens-0 yhdistää vastauksen ja sitä tukevat kuvapikselit"?
Xiaomi Lens 0 on Qwen3.5 4B pohjainen 4 miljardin parametrin malli, joka voi liittää tekstivastaukseen kuvan kohtia osoittavia pikselimaskeja.
What are the key points to validate first?
Xiaomi Lens 0 on Qwen3.5 4B pohjainen 4 miljardin parametrin malli, joka voi liittää tekstivastaukseen kuvan kohtia osoittavia pikselimaskeja. Projektin mukaan malli voi tuottaa maskeja myös päättelyn aikana. Sen ilmoitetut tulokset ovat kuitenkin projektin omia arvioita, eivät riippumattomasti toistettuja mittauksia.