คำตอบเผยแพร่แล้ว14 แหล่งที่มา
Xiaomi-Lens-0 โมเดล 4B ที่เชื่อมคำตอบกับพิกเซลในภาพ
Xiaomi Lens 0 เป็นโมเดลมัลติโมดัล 4 พันล้านพารามิเตอร์ที่พัฒนาต่อยอดจาก Qwen3.5 4B และสร้างมาสก์ชี้บริเวณในภาพควบคู่กับคำตอบได้ โครงการระบุว่ามาสก์อาจปรากฏได้ทั้งในคำตอบสุดท้ายและระหว่างการให้เหตุผล แต่ยังไม่ได้เปิดเผยรายละเอียดทั้งหมดของวิธีทำงานในขั้นกลาง ผลที่รายงานระบุว่าคะแนนความเข้าใจคำบรรยายอ้างอิงดีขึ้นเฉลี่...
เผยแพร่โดยแก้ไขด้วย GPT-6 Lunaรูปภาพสร้างด้วย GPT Image 2
คำตอบการวิจัย
ประเด็นสำคัญ
- Xiaomi Lens 0 เป็นโมเดลมัลติโมดัล 4 พันล้านพารามิเตอร์ที่พัฒนาต่อยอดจาก Qwen3.5 4B และสร้างมาสก์ชี้บริเวณในภาพควบคู่กับคำตอบได้
- โครงการระบุว่ามาสก์อาจปรากฏได้ทั้งในคำตอบสุดท้ายและระหว่างการให้เหตุผล แต่ยังไม่ได้เปิดเผยรายละเอียดทั้งหมดของวิธีทำงานในขั้นกลาง
- ผลที่รายงานระบุว่าคะแนนความเข้าใจคำบรรยายอ้างอิงดีขึ้นเฉลี่ย 5.6 คะแนนใน 8 ชุดทดสอบ โดยเป็นผลจากโครงการและรายงานที่เกี่ยวข้อง ไม่ใช่การยืนยันซ้ำอย่างอิสระ
AI พรอมต์
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Xiaomi-Lens-0, the 4-billion-parameter multimodal model open-sourced by Xiaomi’s SeerRay-Lab in October 2026, and how do its officia. Article summary: Xiaomi-Lens-0 is a compact 4-billion-parameter multimodal model built on Qwen3.5-4B that combines textual answers with pixel-level image-region masks, using a shared visual backbone and a lightweight mask decoder. [3] It. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
โมเดล AI ที่ตอบคำถามจากภาพมักบอกได้ว่าเห็นอะไร แต่ Xiaomi-Lens-0 ตั้งเป้าไปอีกขั้น: นอกจากตอบเป็นข้อความแล้ว ยังชี้บริเวณในภาพที่เกี่ยวข้องกับคำตอบได้ด้วย โดยสร้างมาสก์ระดับพิกเซลเพื่อระบุตำแหน่งนั้น
Xiaomi-Lens-0 เป็นโมเดลมัลติโมดัลขนาด 4 พันล้านพารามิเตอร์ พัฒนาต่อยอดจาก Qwen3.5-4B และใช้โครงข่ายประมวลผลภาพร่วมกับตัวถอดรหัสมาสก์ขนาดเล็ก 1
จากโทเคนพิเศษสู่มาสก์ในภาพ
โมเดลเรียนรู้จากข้อมูลกำกับระดับพิกเซล เมื่อสร้างโทเคนพิเศษ <|mask|> ตัวถอดรหัสจะเปลี่ยนโทเคนนั้นให้เป็นมาสก์ที่ครอบคลุมบริเวณหนึ่งของภาพ จึงสามารถตอบเป็นข้อความพร้อมชี้ส่วนของภาพที่กำลังพูดถึงได้ 1
SeerRay-Lab อธิบายแนวทางนี้ว่าเป็นการให้เหตุผลที่ยึดโยงกับภาพผ่านตัวแทนภาพ หรือ visual latents โดยระบุว่าการอ้างอิงบริเวณภาพอาจเกิดขึ้นได้ทั้งในคำตอบสุดท้ายและระหว่างการให้เหตุผล 1
10 อย่างไรก็ตาม ข้อมูลที่เผยแพร่ยังไม่ได้แจกแจงกลไกของโทเคนทั้งหมด หรืออธิบายชัดเจนว่ามาสก์ที่สร้างระหว่างทางส่งผลต่อขั้นตอนคิดถัดไปอย่างไร
1
10
งานที่รองรับและ LensBench
โครงการระบุความสามารถด้านการแบ่งส่วนภาพตามคำบรรยายอ้างอิงและการให้เหตุผล การระบุวัตถุหลายชิ้น การทำความเข้าใจบริเวณภาพอย่างละเอียด และการรับรู้ภาพ 10
นอกจากนี้ ยังมีการระบุ LensBench ซึ่งเป็นเบนช์มาร์กสำหรับงานแบ่งส่วนภาพ พร้อมหน้าโครงการ โค้ด โมเดล และรายงาน 10 สื่อที่รายงานการเปิดตัวกล่าวถึงเดโมประกอบด้วย แต่ข้อมูลที่มีไม่ได้ระบุรายละเอียดฟีเจอร์ของเดโม หรือขนาดและวิธีประเมินของ LensBench
2
10
ผลทดสอบที่มีการรายงาน
โครงการระบุว่าคะแนนด้านความเข้าใจคำบรรยายอ้างอิงดีขึ้นเฉลี่ย 5.6 คะแนน เมื่อเทียบกับ Qwen3.5-4B ในชุดทดสอบตระกูล RefCOCO จำนวน 8 ชุด และคะแนนดีขึ้นในเบนช์มาร์กการรับรู้ภาพแบบละเอียดทั้ง 8 ชุด 1
รายงานข่าวอีกฉบับระบุว่า CountQA ดีขึ้น 6.8 คะแนน และ Xiaomi-Lens-0 ได้ค่า cIoU สำหรับการแบ่งส่วนภาพสูงที่สุดในบรรดาระบบที่นำมาเปรียบเทียบ 2 cIoU เป็นตัวชี้วัดความทับซ้อนระหว่างบริเวณที่โมเดลทำนายกับบริเวณอ้างอิง อย่างไรก็ดี ข้อมูลสรุปดังกล่าวไม่ได้ให้รายละเอียดเพียงพอเกี่ยวกับค่ารายชุด ค่าตั้งต้น หรือระบบทั้งหมดที่ใช้เปรียบเทียบ จึงควรมองตัวเลขเหล่านี้เป็นผลที่มีการรายงาน ไม่ใช่การจัดอันดับประสิทธิภาพที่ตรวจสอบได้ครบถ้วน
2
แหล่งดาวน์โหลดและข้อควรรู้
น้ำหนักโมเดลเผยแพร่บน Hugging Face ส่วนโค้ดอยู่บน GitHub ในนาม SeerRay-Lab และคลัง GitHub ระบุใบอนุญาต Apache-2.0 1
29 หน้า Hugging Face เชื่อมโยงโมเดลกับรายงานทางเทคนิคหมายเลข 2610.23279 พร้อมแสดงตัวอย่างการใช้งานผ่าน image-text-to-text pipeline ของ Transformers
29 แต่ตัวอย่างนั้นเพียงอย่างเดียวไม่ได้ยืนยันว่าการถอดรหัสมาสก์แบบเฉพาะของโครงการจะทำงานได้โดยไม่ต้องตั้งค่าเพิ่มเติม
29
สื่อที่รายงานข่าวระบุว่าการเปิดตัวเป็นผลงานของ Xiaomi ขณะที่คลังโค้ดและโมเดลเผยแพร่ภายใต้ชื่อ SeerRay-Lab แต่ข้อมูลที่มีไม่ได้ยืนยันความสัมพันธ์เชิงองค์กรระหว่างสองชื่อนี้อย่างเป็นอิสระ 1
2
29
การชี้ตำแหน่งวัตถุในภาพอาจนำไปประยุกต์ใช้ได้ เช่น ช่วยระบุชิ้นส่วนสำหรับหุ่นยนต์หยิบจับ ชี้วัตถุที่ผู้โดยสารถามถึง หรือช่วยผู้ใช้โทรศัพท์ค้นหาสิ่งของในภาพ ทั้งหมดนี้เป็นเพียงตัวอย่างการใช้งานที่เป็นไปได้ ไม่ใช่การใช้งานจริงที่ได้รับการยืนยัน และแหล่งข้อมูลที่มีไม่ได้ระบุความเร็ว การใช้หน่วยความจำ การใช้พลังงาน หรือความพร้อมสำหรับงานที่มีความเสี่ยงด้านความปลอดภัย
Studio Global AI
ทำการวิจัยต่อ
หน้านี้รวมคำตอบที่ได้รับการสนับสนุนจากแหล่งที่มาซึ่งคุณสามารถดำเนินการต่อภายใน Studio Global
คนยังถาม
คำตอบสั้น ๆ สำหรับ "Xiaomi-Lens-0 โมเดล 4B ที่เชื่อมคำตอบกับพิกเซลในภาพ" คืออะไร
Xiaomi Lens 0 เป็นโมเดลมัลติโมดัล 4 พันล้านพารามิเตอร์ที่พัฒนาต่อยอดจาก Qwen3.5 4B และสร้างมาสก์ชี้บริเวณในภาพควบคู่กับคำตอบได้
ประเด็นสำคัญที่ต้องตรวจสอบก่อนคืออะไร?
Xiaomi Lens 0 เป็นโมเดลมัลติโมดัล 4 พันล้านพารามิเตอร์ที่พัฒนาต่อยอดจาก Qwen3.5 4B และสร้างมาสก์ชี้บริเวณในภาพควบคู่กับคำตอบได้ โครงการระบุว่ามาสก์อาจปรากฏได้ทั้งในคำตอบสุดท้ายและระหว่างการให้เหตุผล แต่ยังไม่ได้เปิดเผยรายละเอียดทั้งหมดของวิธีทำงานในขั้นกลาง
ฉันควรทำอย่างไรต่อไปในทางปฏิบัติ?
ผลที่รายงานระบุว่าคะแนนความเข้าใจคำบรรยายอ้างอิงดีขึ้นเฉลี่ย 5.6 คะแนนใน 8 ชุดทดสอบ โดยเป็นผลจากโครงการและรายงานที่เกี่ยวข้อง ไม่ใช่การยืนยันซ้ำอย่างอิสระ