AnswersPublished14 sources
Xiaomi-Lens-0 nie tylko opisuje obraz — potrafi wskazać jego fragment
Xiaomi Lens 0 bazuje na Qwen3.5 4B i zamienia specjalne tokeny maski w zaznaczone obszary obrazu. Projekt obejmuje m.in.
Opublikowane przezEdytowane za pomocą GPT-6 LunaObrazy wygenerowane za pomocą GPT Image 2
Research answer
Key takeaways
- Xiaomi Lens 0 bazuje na Qwen3.5 4B i zamienia specjalne tokeny maski w zaznaczone obszary obrazu.
- Projekt obejmuje m.in. segmentację, rozumienie wskazanych regionów i benchmark LensBench; wyniki podane przez twórców nie są niezależną replikacją.
- Wagi i kod są dostępne w serwisach Hugging Face i GitHub na licencji Apache 2.0.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Xiaomi-Lens-0, the 4-billion-parameter multimodal model open-sourced by Xiaomi’s SeerRay-Lab in October 2026, and how do its officia. Article summary: Xiaomi-Lens-0 is a compact 4-billion-parameter multimodal model built on Qwen3.5-4B that combines textual answers with pixel-level image-region masks, using a shared visual backbone and a lightweight mask decoder. [3] It. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Xiaomi-Lens-0 to multimodalny model o 4 mld parametrów, zbudowany na bazie Qwen3.5-4B. Jego wyróżnikiem jest nie tylko opisywanie obrazu, ale też wskazywanie, które piksele odpowiadają temu, o czym mówi. Ma więc łączyć tekstową odpowiedź z maską konkretnego fragmentu zdjęcia — zarówno w odpowiedzi końcowej, jak i w trakcie rozumowania. 1
Jak model wskazuje fragmenty obrazu
Xiaomi-Lens-0 uczy się na podstawie nadzoru na poziomie pikseli i korzysta ze wspólnego wizualnego rdzenia. Gdy model generuje specjalny token <|mask|>, lekki dekoder przekształca go w maskę nałożoną na obraz. Dzięki temu odpowiedź tekstowa może być powiązana z regionem, który ją uzasadnia. 1
SeerRay-Lab opisuje podejście jako rozumowanie ugruntowane w wizualnych reprezentacjach, a nie wyłącznie tworzenie segmentacji na samym końcu. Dostępny opis projektu nie wyjaśnia jednak w pełni protokołu tokenów ani tego, jak maski pośrednie wpływają na kolejne kroki rozumowania. 1
10
Zadania, benchmark i demonstracja
Wśród wymienionych możliwości są segmentacja wskazanych obiektów i segmentacja wspierająca rozumowanie, lokalizowanie wielu instancji, szczegółowe rozumienie obszarów oraz percepcja wizualna. 10 Wyniki dotyczące rozumienia wyrażeń wskazujących na obiekt obejmują też osiem podziałów z rodziny RefCOCO.
1
Projekt wymienia LensBench jako benchmark do oceny segmentacji, a także udostępnia kod, model, raport i stronę projektu. 10 Wtórne omówienie informuje również o demonstracji modelu, ale dostępne materiały nie określają jej funkcji ani szczegółów LensBench, takich jak rozmiar zestawu czy protokół oceny.
2
Jakie wyniki podano
Według twórców Xiaomi-Lens-0 uzyskał średnio o 5,6 punktu lepszy wynik niż Qwen3.5-4B w rozumieniu wyrażeń wskazujących na obiekt, liczonym na ośmiu podziałach z rodziny RefCOCO. Projekt informuje też o poprawie wyników we wszystkich ośmiu testach szczegółowej percepcji. To wyniki raportowane przez twórców, a nie niezależnie odtworzone pomiary. 1
Wtórne omówienie podaje ponadto wzrost wyniku CountQA o 6,8 punktu oraz najwyższe cIoU w segmentacji spośród porównywanych systemów. Dostępny opis nie podaje jednak wystarczających szczegółów, by ocenić dokładny punkt odniesienia, wyniki poszczególnych systemów czy pełny skład porównania. Te informacje należy więc traktować jako relację z raportowanych rezultatów, a nie kompletny ranking. 2
Dostępność i ograniczenia
Wagi modelu są dostępne w Hugging Face, a kod — w repozytorium GitHub SeerRay-Lab. Repozytorium GitHub wskazuje licencję Apache-2.0. 1
29 Strona modelu w Hugging Face odsyła do raportu technicznego o numerze 2610.23279 i pokazuje przykład użycia potoku
image-text-to-text w Transformers. Sam przykład nie przesądza, czy niestandardowe dekodowanie masek działa bez dodatkowej konfiguracji projektu. 29
Relacje medialne przypisują wydanie modelu firmie Xiaomi, natomiast repozytoria kodu i modelu są prowadzone pod nazwą SeerRay-Lab. Dostępne źródła nie potwierdzają niezależnie formalnego związku organizacyjnego laboratorium z Xiaomi. 2
1
29
Łączenie języka z precyzyjnym fragmentem obrazu może być przydatne na przykład przy wskazywaniu obiektu dla robota wykonującego zadanie chwytania i odkładania, zaznaczaniu elementu, o który pyta pasażer, albo pomaganiu użytkownikowi telefonu w znalezieniu przedmiotu na zdjęciu. To potencjalne zastosowania, a nie potwierdzone wdrożenia. Dostępne źródła nie określają szybkości działania na urządzeniu, zapotrzebowania na pamięć ani energię czy gotowości do zastosowań krytycznych dla bezpieczeństwa.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Xiaomi-Lens-0 nie tylko opisuje obraz — potrafi wskazać jego fragment"?
Xiaomi Lens 0 bazuje na Qwen3.5 4B i zamienia specjalne tokeny maski w zaznaczone obszary obrazu.
What are the key points to validate first?
Xiaomi Lens 0 bazuje na Qwen3.5 4B i zamienia specjalne tokeny maski w zaznaczone obszary obrazu. Projekt obejmuje m.in. segmentację, rozumienie wskazanych regionów i benchmark LensBench; wyniki podane przez twórców nie są niezależną replikacją.
What should I do next in practice?
Wagi i kod są dostępne w serwisach Hugging Face i GitHub na licencji Apache 2.0.