RéponsesPublié14 sources
Xiaomi-Lens-0 : quand une IA montre la zone de l’image qui justifie sa réponse
Fondé sur Qwen3.5 4B, Xiaomi Lens 0 peut produire du texte et des masques qui désignent les pixels d’une image auxquels il se réfère. Le projet indique que ces repères visuels peuvent apparaître dans une réponse finale ou pendant le raisonnement.
Publié parModifié avec GPT-6 LunaImages générées avec GPT Image 2
Réponse de recherche
Points clés à retenir
- Fondé sur Qwen3.5 4B, Xiaomi Lens 0 peut produire du texte et des masques qui désignent les pixels d’une image auxquels il se réfère.
- Le projet indique que ces repères visuels peuvent apparaître dans une réponse finale ou pendant le raisonnement.
- Les gains annoncés — dont une progression moyenne de 5,6 points sur huit évaluations de la famille RefCOCO — sont des résultats rapportés par le projet, et non des reproductions indépendantes.
Prompt IA
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Xiaomi-Lens-0, the 4-billion-parameter multimodal model open-sourced by Xiaomi’s SeerRay-Lab in October 2026, and how do its officia. Article summary: Xiaomi-Lens-0 is a compact 4-billion-parameter multimodal model built on Qwen3.5-4B that combines textual answers with pixel-level image-region masks, using a shared visual backbone and a lightweight mask decoder. [3] It. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Xiaomi-Lens-0 est un modèle multimodal de 4 milliards de paramètres conçu pour faire plus que décrire une image : il peut aussi désigner la zone précise à laquelle sa réponse se rapporte. Fondé sur Qwen3.5-4B, il associe un socle visuel partagé à un décodeur léger qui transforme des jetons spéciaux en masques couvrant des régions de l’image. Selon le projet, ces repères peuvent apparaître dans la réponse finale ou au cours du raisonnement. 1
Comment le modèle repère les zones d’une image
Xiaomi-Lens-0 est entraîné avec une supervision au niveau des pixels, à partir d’un socle visuel partagé. Lorsqu’il génère un jeton <|mask|>, un décodeur léger le convertit en masque appliqué à l’image. Le modèle peut ainsi répondre par du texte tout en indiquant quelle région étaye sa réponse. 1
SeerRay-Lab présente cette approche comme un raisonnement ancré dans l’image, à l’aide de représentations visuelles latentes. Cela suggère que le repérage des régions peut intervenir pendant le raisonnement, et pas seulement à la fin sous la forme d’un résultat de segmentation. La description disponible ne précise toutefois ni le protocole complet des jetons ni la manière dont les masques intermédiaires influencent les étapes suivantes. 1
10
Tâches prises en charge et LensBench
SeerRay-Lab cite parmi les capacités du projet la segmentation guidée par une description, la segmentation liée au raisonnement, le repérage de plusieurs instances, la compréhension fine de régions et la perception visuelle. 10 Les résultats annoncés sur la compréhension des expressions référentielles portent également sur huit sous-ensembles de la famille RefCOCO.
1
Le projet présente LensBench comme un benchmark de segmentation, aux côtés du code, du modèle, du rapport et de la page du projet. 10 Un article consacré à la sortie mentionne aussi une démo, sans que les sources disponibles détaillent ses fonctionnalités, la taille de LensBench ou son protocole d’évaluation.
2
Ce que montrent les résultats annoncés
Le projet rapporte une amélioration moyenne de 5,6 points par rapport à Qwen3.5-4B pour la compréhension des expressions référentielles, sur huit sous-ensembles de la famille RefCOCO. Il indique également une hausse des scores sur les huit benchmarks de perception fine. Il s’agit de résultats communiqués par le projet, et non de reproductions indépendantes. 1
Un résumé de couverture secondaire fait état d’un gain de 6,8 points sur CountQA et indique que Xiaomi-Lens-0 obtient le meilleur cIoU de segmentation parmi les systèmes comparés. Ce résumé ne fournit pas assez de détails pour évaluer précisément la référence de comparaison, les scores individuels ou l’ensemble des modèles évalués : ces affirmations ne constituent donc pas un classement complet des performances. 2
Disponibilité, licence et limites pratiques
Les poids du modèle sont disponibles sur Hugging Face et le code est publié sur GitHub sous le nom SeerRay-Lab. 1
29 Le dépôt GitHub indique une licence Apache-2.0.
1 La page Hugging Face renvoie au rapport technique 2610.23279 et présente un exemple de pipeline Transformers pour les tâches image-texte. Cet exemple ne suffit pas à établir que le décodage personnalisé des masques fonctionne avec un pipeline standard sans configuration propre au projet.
29
La couverture médiatique attribue la sortie à Xiaomi, tandis que les dépôts du modèle et du code sont publiés sous le nom SeerRay-Lab. Les sources disponibles ne permettent pas d’établir indépendamment la relation organisationnelle officielle entre le laboratoire et Xiaomi. 2
1
29
Le repérage au niveau des pixels pourrait être utile, par exemple, pour identifier un objet dans un système robotisé de prise et de dépose, montrer à un passager l’élément dont il parle ou aider une personne sur téléphone à retrouver un objet dans une photo. Ce sont des usages possibles, pas des déploiements vérifiés. Les sources disponibles ne renseignent pas la vitesse sur appareil, la mémoire requise, la consommation électrique ni l’adéquation du modèle aux contextes critiques pour la sécurité.
Studio Global AI
Continuez vos recherches
Cette page comprend une réponse basée sur la source que vous pouvez continuer dans Studio Global.
Les gens demandent aussi
Quelle est la réponse courte à « Xiaomi-Lens-0 : quand une IA montre la zone de l’image qui justifie sa réponse » ?
Fondé sur Qwen3.5 4B, Xiaomi Lens 0 peut produire du texte et des masques qui désignent les pixels d’une image auxquels il se réfère.
Quels sont les points clés à valider en premier ?
Fondé sur Qwen3.5 4B, Xiaomi Lens 0 peut produire du texte et des masques qui désignent les pixels d’une image auxquels il se réfère. Le projet indique que ces repères visuels peuvent apparaître dans une réponse finale ou pendant le raisonnement.
Que dois-je faire ensuite en pratique ?
Les gains annoncés — dont une progression moyenne de 5,6 points sur huit évaluations de la famille RefCOCO — sont des résultats rapportés par le projet, et non des reproductions indépendantes.