AnswersPublished14 sources
Xiaomi-Lens-0: מודל AI שמסמן על התמונה את מה שהוא מתאר
Xiaomi Lens 0 הוא מודל רב־מודאלי בן 4 מיליארד פרמטרים, המבוסס על Qwen3.5 4B, ומחבר תשובות מילוליות למסכות שמסמנות אזורים בתמונה. לפי תיאור הפרויקט, טוקן מסכה מיוחד מפוענח למסכת פיקסלים; העיגון לאזור בתמונה יכול להופיע בתשובה הסופית וגם במהלך ההסקה.
פורסם על ידינערך באמצעות GPT-6 Lunaהתמונות נוצרו באמצעות GPT Image 2
Research answer
Key takeaways
- Xiaomi Lens 0 הוא מודל רב־מודאלי בן 4 מיליארד פרמטרים, המבוסס על Qwen3.5 4B, ומחבר תשובות מילוליות למסכות שמסמנות אזורים בתמונה.
- לפי תיאור הפרויקט, טוקן מסכה מיוחד מפוענח למסכת פיקסלים; העיגון לאזור בתמונה יכול להופיע בתשובה הסופית וגם במהלך ההסקה.
- הפרויקט מדווח על שיפור ממוצע של 5.6 נקודות בשמונה מבחני RefCOCO, אך אלה תוצאות שדווחו על ידי הפרויקט ולא שחזורים עצמאיים.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Xiaomi-Lens-0, the 4-billion-parameter multimodal model open-sourced by Xiaomi’s SeerRay-Lab in October 2026, and how do its officia. Article summary: Xiaomi-Lens-0 is a compact 4-billion-parameter multimodal model built on Qwen3.5-4B that combines textual answers with pixel-level image-region masks, using a shared visual backbone and a lightweight mask decoder. [3] It. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
מודל שמזהה כלב בתמונה יכול לענות "כלב". Xiaomi-Lens-0 שואף להוסיף לתשובה גם סימון חזותי: מסכה שמראה אילו פיקסלים בתמונה קשורים למה שהמודל אמר. לפי תיאור הפרויקט, העיגון הזה יכול להופיע לא רק בתשובה הסופית, אלא גם במהלך תהליך ההסקה. 1
איך המודל מחבר בין מילים לפיקסלים?
Xiaomi-Lens-0 הוא מודל רב־מודאלי בן 4 מיליארד פרמטרים, שנבנה על בסיס Qwen3.5-4B. הוא לומד מפיקוח ברמת הפיקסל באמצעות רכיב חזותי משותף, ומשתמש במפענח קל משקל כדי להפוך כל טוקן <|mask|> שהמודל מפיק למסכה של אזור בתמונה. כך אפשר לקבל גם תשובה בטקסט וגם סימון של האזור שעליו היא מבוססת. 1
SeerRay-Lab מתארים את הגישה כהסקה מבוססת, שמשתמשת במאפיינים חזותיים פנימיים. התיאור מצביע על כך שהקישור בין האזור בתמונה לתוכן עשוי להשתלב במהלך ההסקה, ולא להסתכם ביצירת מסכה בסופה. עם זאת, החומרים הזמינים אינם מפרטים את כללי השימוש בטוקנים או כיצד מסכות ביניים משפיעות על שלבי ההסקה הבאים. 1
10
אילו משימות ומדדים מופיעים בפרויקט?
SeerRay-Lab מציינים יכולות של סגמנטציה לפי תיאור, סגמנטציה לצורכי הסקה, זיהוי של כמה אובייקטים בתמונה, הבנת אזורים ברמת פירוט גבוהה ותפיסה חזותית. 10 תוצאות המודל בתחום ההבנה של ביטויים המתייחסים לאזור בתמונה נבדקו גם בשמונה פיצולים ממשפחת RefCOCO.
1
הפרויקט מציג גם את LensBench, מדד לבחינת סגמנטציה, לצד קוד, מודל, דוח טכני ודף פרויקט. 10 דיווח נוסף מתאר גם הדגמה (דמו), אך המידע הזמין אינו מפרט את מאפייניה, את גודל LensBench או את פרוטוקול ההערכה שלו.
2
מה מראים המספרים — ומה הם לא מראים?
לפי הפרויקט, Xiaomi-Lens-0 השיג שיפור ממוצע של 5.6 נקודות בהבנת הפניות לאזורים בתמונה לעומת Qwen3.5-4B, בשמונה פיצולים ממשפחת RefCOCO. הפרויקט מדווח גם על שיפור בכל שמונת מבחני התפיסה המפורטת שלו. אלה תוצאות שדווחו על ידי מפתחי הפרויקט, ולא שחזורים עצמאיים. 1
סיכום של דיווח משני מציין שיפור של 6.8 נקודות ב-CountQA, וכן את ציון ה-cIoU הגבוה ביותר בסגמנטציה מבין המערכות שנכללו בהשוואה. עם זאת, הסיכום אינו מספק מספיק פרטים על קו הבסיס, הציונים המלאים או קבוצת המודלים שהושוו. לכן כדאי להתייחס לכך כתוצאות שדווחו, ולא כדירוג ביצועים מלא. 2
זמינות, רישיון ומה כדאי לבדוק לפני שימוש
משקולות המודל זמינות ב-Hugging Face, והקוד מפורסם ב-GitHub תחת SeerRay-Lab. מאגר GitHub מציין רישיון Apache-2.0. 1
29 בעמוד Hugging Face מופיע קישור לדוח הטכני 2610.23279, וכן דוגמה לשימוש במודל דרך צינור עיבוד של Transformers למשימות תמונה וטקסט. הדוגמה לבדה אינה מוכיחה שמסלול פענוח המסכות המותאם אישית יפעל ללא הגדרות או רכיבים נוספים של הפרויקט.
29
סיקור חדשותי מייחס את ההשקה ל-Xiaomi, ואילו מאגרי הקוד והמודל מופיעים תחת השם SeerRay-Lab. המקורות הזמינים אינם מבססים באופן עצמאי את הקשר הארגוני הרשמי בין המעבדה ל-Xiaomi. 2
1
29
איפה יכול להיות לזה שימוש?
היכולת לקשר בין תשובה לבין אזור מדויק בתמונה עשויה להתאים, למשל, לרובוט שצריך לזהות חפץ לצורך אחיזה, לעוזר ברכב שמסמן פריט שעליו נשאל, או לכלי בטלפון שמסייע למצוא אובייקט בתמונה. אלה שימושים אפשריים בלבד — לא פריסות שאומתו בפועל.
המקורות הזמינים אינם קובעים מהירות ריצה במכשיר, צריכת זיכרון או חשמל, או התאמה לשימושים בטיחותיים. גם מספר פרמטרים קטן יחסית אינו מספיק בפני עצמו כדי להעיד שהמודל מוכן להרצה בטלפון, ברכב או ברובוט.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Xiaomi-Lens-0: מודל AI שמסמן על התמונה את מה שהוא מתאר"?
Xiaomi Lens 0 הוא מודל רב־מודאלי בן 4 מיליארד פרמטרים, המבוסס על Qwen3.5 4B, ומחבר תשובות מילוליות למסכות שמסמנות אזורים בתמונה.
What are the key points to validate first?
Xiaomi Lens 0 הוא מודל רב־מודאלי בן 4 מיליארד פרמטרים, המבוסס על Qwen3.5 4B, ומחבר תשובות מילוליות למסכות שמסמנות אזורים בתמונה. לפי תיאור הפרויקט, טוקן מסכה מיוחד מפוענח למסכת פיקסלים; העיגון לאזור בתמונה יכול להופיע בתשובה הסופית וגם במהלך ההסקה.
What should I do next in practice?
הפרויקט מדווח על שיפור ממוצע של 5.6 נקודות בשמונה מבחני RefCOCO, אך אלה תוצאות שדווחו על ידי הפרויקט ולא שחזורים עצמאיים.