答え公開済み14 ソース
Xiaomi-Lens-0は、画像の画素を根拠に答える
Qwen3.5 4Bを基盤とする4Bモデル。文章で答えながら、画像内の根拠領域をマスクで示せます。 プロジェクトは、推論の最終回答だけでなく、途中でも領域を示せる設計を説明しています。 RefCOCO系8分割での平均5.6ポイント向上などが報告されていますが、これらはプロジェクト側の評価結果です。
公開者GPT-6 Luna で編集GPT Image 2 で画像を生成
研究の答え
重要なポイント
- Qwen3.5 4Bを基盤とする4Bモデル。文章で答えながら、画像内の根拠領域をマスクで示せます。
- プロジェクトは、推論の最終回答だけでなく、途中でも領域を示せる設計を説明しています。
- RefCOCO系8分割での平均5.6ポイント向上などが報告されていますが、これらはプロジェクト側の評価結果です。
AI プロンプト
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Xiaomi-Lens-0, the 4-billion-parameter multimodal model open-sourced by Xiaomi’s SeerRay-Lab in October 2026, and how do its officia. Article summary: Xiaomi-Lens-0 is a compact 4-billion-parameter multimodal model built on Qwen3.5-4B that combines textual answers with pixel-level image-region masks, using a shared visual backbone and a lightweight mask decoder. [3] It. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
画像を見て「これは何？」と答えるAIは珍しくありません。Xiaomi-Lens-0が目指すのは、その一歩先です。回答文に加え、画像のどの部分を根拠にしたのかを、画素単位のマスクで示します。4B（約40億）パラメーターのマルチモーダルモデルで、Qwen3.5-4Bを基盤にしています。1
特徴は、文章と領域の対応づけ
Xiaomi-Lens-0は、共有の視覚バックボーンを通じて画素レベルの教師信号を学習します。モデルが特別な<|mask|>トークンを出力すると、軽量デコーダーがそのトークンを画像上のマスクに変換します。これにより、文章で答えるだけでなく、答えが指す領域も示せる仕組みです。1
プロジェクトの説明では、こうした視覚領域の根拠づけは最終回答だけでなく、推論の途中にも現れます。1
10 ただし、公開されている説明だけでは、トークンの詳しい処理手順や、中間のマスクが後続の推論にどう影響するかまでは分かりません。
対応タスクとLensBench
SeerRay-Labは、参照表現に基づくセグメンテーションや推論セグメンテーション、複数物体のグラウンディング、細かな領域の理解、視覚認識をプロジェクトの能力として挙げています。10 つまり、「画像の中の赤いカップ」のような指示に合う場所を特定することや、複数の対象を見分けることなどが想定されています。
プロジェクトには、セグメンテーション用ベンチマーク「LensBench」も含まれます。10 報道ではデモの公開にも触れられていますが、利用できる情報からはデモの具体的な機能や、LensBenchの規模・評価手順までは確認できません。
2
公表された評価結果は、開発側の報告
プロジェクトによると、RefCOCO系の8つの分割で、参照表現の理解に関する指標がQwen3.5-4Bから平均5.6ポイント向上しました。また、細粒度の視覚認識に関する8つのベンチマークすべてでスコアが改善したとしています。1
別の報道要約では、CountQAが6.8ポイント向上し、比較対象の中でセグメンテーションのcIoUが最も高かったとも紹介されています。2 ただし、同要約からは個別のスコアや比較対象の全容を確認できません。いずれも公表された評価結果であり、独立した再現検証と同じものではない点に留意が必要です。
1
2
公開状況と利用時の注意
モデルの重みはHugging Faceで、コードはGitHubのSeerRay-Lab名義で公開されています。GitHubのリポジトリにはApache-2.0ライセンスが示されています。1
29 Hugging Faceのページは技術レポート「2610.23279」にリンクし、Transformersの画像・テキスト入力パイプラインを使う例も掲載しています。
29 ただし、その例だけでは、専用のマスクデコード機能まで標準のパイプラインで追加設定なく使えるとは確認できません。
報道は公開をXiaomiによるものとして紹介しています。一方、モデルとコードの公開名はSeerRay-Labです。利用できる資料からは、SeerRay-LabとXiaomiの正式な組織上の関係までは独立に確認できません。1
2
29
期待される用途と、まだ分からないこと
画素単位で対象を示せる機能は、ロボットに物を取らせる指示の対象特定、車内で乗員が尋ねた物の強調、スマートフォンで写真中の品物を探す補助などに応用できる可能性があります。これらは想定される用途であり、実際の導入が確認された事例ではありません。
また、モデルの規模が4Bであることだけでは、スマートフォンや車載機器での動作速度、必要メモリー、消費電力、安全性が分かるわけではありません。そうした実運用上の性能や、安全性が重要な用途への適合性は、公開情報からは判断できません。
Studio Global AI
研究を続けてください
このページにはソースに裏付けされた回答が含まれており、Studio Global 内で続行できます。
人々も尋ねます
「Xiaomi-Lens-0は、画像の画素を根拠に答える」の短い答えは何ですか?
Qwen3.5 4Bを基盤とする4Bモデル。文章で答えながら、画像内の根拠領域をマスクで示せます。
最初に検証する重要なポイントは何ですか?
Qwen3.5 4Bを基盤とする4Bモデル。文章で答えながら、画像内の根拠領域をマスクで示せます。 プロジェクトは、推論の最終回答だけでなく、途中でも領域を示せる設計を説明しています。
次の実践では何をすればいいでしょうか？
RefCOCO系8分割での平均5.6ポイント向上などが報告されていますが、これらはプロジェクト側の評価結果です。