คำตอบเผยแพร่แล้ว17 แหล่งที่มา
EchoPolicy-0 ของ MagicLab นำ MolmoSpaces ส่วน MagicBrain ทำคะแนน Pick ได้ 94.4%
MagicLab รายงานว่า EchoPolicy 0 ได้อันดับหนึ่งบน MolmoSpaces Combined ด้วยคะแนนเฉลี่ยแบบให้น้ำหนักเท่ากัน 75.4% จาก 4 งาน ส่วน MagicBrain รุ่น 3.4 พันล้านพารามิเตอร์ได้อันดับสี่ที่ 72.4% และทำคะแนนงาน Pick ได้ 94.4% MolmoSpaces เป็นเกณฑ์ทดสอบ AI แบบ embodied หรือ AI ที่เชื่อมการรับรู้กับการลงมือทำ ครอบคลุมสภาพแวดล้อ...
เผยแพร่โดยแก้ไขด้วย GPT-6 Lunaรูปภาพสร้างด้วย GPT Image 2
คำตอบการวิจัย
ประเด็นสำคัญ
- MagicLab รายงานว่า EchoPolicy 0 ได้อันดับหนึ่งบน MolmoSpaces Combined ด้วยคะแนนเฉลี่ยแบบให้น้ำหนักเท่ากัน 75.4% จาก 4 งาน ส่วน MagicBrain รุ่น 3.4 พันล้านพารามิเตอร์ได้อันดับสี่ที่ 72.4% และทำคะแนนงาน Pick ได้ 94.4%
- MolmoSpaces เป็นเกณฑ์ทดสอบ AI แบบ embodied หรือ AI ที่เชื่อมการรับรู้กับการลงมือทำ ครอบคลุมสภาพแวดล้อมในอาคารกว่า 230,000 แบบและวัตถุราว 130,000 รายการ แต่ผลทดสอบไม่ได้ยืนยันประสิทธิภาพในการใช้งานจริงด้วยตัวมันเอง
AI พรอมต์
openai.comCreate a landscape editorial hero image for this Studio Global article: As reported on October 14, 2026, how did MagicLab’s EchoPolicy-0 and its in-house 3.4-billion-parameter MagicBrain perform on AI2’s MolmoSpa. Article summary: MagicLab reported EchoPolicy-0 first on AI2’s MolmoSpaces Combined leaderboard at a 75.4% equal-weighted success rate, while its 3.4-billion-parameter MagicBrain reportedly ranked fourth at 72.4%, including 94.4% on Pick. Topic tags: general, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fa
MagicLab ระบุว่า EchoPolicy-0 ซึ่งเป็นเฟรมเวิร์กสำหรับให้หุ่นยนต์ทำงานหยิบจับ ได้อันดับหนึ่งบนกระดาน MolmoSpaces Combined ของ AI2 ด้วยอัตราความสำเร็จเฉลี่ย 75.4% จาก 4 งาน ส่วน MagicBrain เฟรมเวิร์กขนาด 3.4 พันล้านพารามิเตอร์ของบริษัท ได้อันดับสี่ที่ 72.4% และทำคะแนนงาน Pick หรือการหยิบวัตถุได้ 94.4%1
18 คะแนนเหล่านี้เป็นผลในเกณฑ์ทดสอบ ไม่ใช่หลักฐานยืนยันว่าระบบจะทำงานได้ดีเท่ากันเมื่อนำไปใช้ในโลกจริง
ผลคะแนนของทั้งสองระบบ
ค่าเฉลี่ย 75.4% ของ EchoPolicy-0 มาจากงานใน MolmoSpaces v1 ทั้งสี่ประเภท ได้แก่ Pick, Pick and Place, Open และ Close โดย MagicLab ระบุว่าระบบได้อันดับหนึ่งในกระดาน Combined1 Pandaily ตรวจทานข้อมูลกระดานคะแนนที่เผยแพร่โดย AI2 แล้วคำนวณค่าเฉลี่ยได้ประมาณ 75.5% ใกล้เคียงกับตัวเลขของบริษัท ความต่างเล็กน้อยมาจากการรายงานหรือการปัดเศษค่าเฉลี่ย จึงใช้ตัวเลข 75.4% ตามที่ MagicLab รายงาน
41
MagicBrain ได้อันดับสี่ในกลุ่ม Combined ด้วยคะแนนเฉลี่ย 72.4% ส่วน 94.4% เป็นคะแนนเฉพาะงาน Pick ไม่ใช่คะแนนเฉลี่ยรวมของระบบ18
| ระบบ | ผลคะแนน Combined ที่รายงาน | รายละเอียด |
|---|---|---|
| EchoPolicy-0 | 75.4% — อันดับ 1 | ค่าเฉลี่ยให้น้ำหนักเท่ากันจากงาน Pick, Pick and Place, Open และ Close |
| MagicBrain | 72.4% — อันดับ 4 | ทำคะแนนงาน Pick ได้ 94.4% |
MolmoSpaces วัดอะไร
MolmoSpaces เป็นเกณฑ์ทดสอบ AI2 หรือ Allen Institute for AI สำหรับ AI แบบ embodied ซึ่งประเมินความสามารถของระบบในการทำงานตามคำสั่งภายในฉากที่กำหนด โดยมีสภาพแวดล้อมในอาคารกว่า 230,000 แบบและสินทรัพย์วัตถุราว 130,000 รายการ1 ตัวเลขเหล่านี้อธิบายขนาดของชุดสภาพแวดล้อมและวัตถุในเบนช์มาร์ก ไม่ใช่จำนวนรอบทดสอบของผลคะแนนที่กล่าวถึง
การจัดอันดับสรุปผลจากงานจัดการวัตถุ 4 ประเภทของ MolmoSpaces v1 จึงช่วยเปรียบเทียบระบบต่าง ๆ ภายใต้เงื่อนไขร่วมกันได้ แต่ไม่ได้บอกเพียงลำพังว่าหุ่นยนต์จะทำงานได้สม่ำเสมอแค่ไหนในสถานที่ทำงานจริง หรือเมื่อต้องเจอสภาพแวดล้อมที่แตกต่างออกไป
EchoPolicy-0 เชื่อมการมองเห็นกับการลงมือทำ
MagicLab อธิบายว่า EchoPolicy-0 รวมโมเดลภาษาที่เข้าใจภาพ เครื่องมือจัดการวัตถุโดยอาศัยข้อมูลเชิงเรขาคณิต และนโยบายการกระทำทั่วไปไว้ในเฟรมเวิร์กเดียว กระบวนการเชื่อมการสังเกตฉากและทำความเข้าใจคำสั่งเข้ากับการเลือกและลงมือทำ ก่อนตรวจสอบผลลัพธ์18
แนวทางนี้ยังใช้การประเมินด้วยภาพเพื่อเลือกการกระทำจากตัวเลือกหลายแบบ โดยโมเดลการกระทำเสนอทางเลือก แล้วระบบใช้ความเข้าใจต่อเป้าหมายมาช่วยเลือกวิธีที่เหมาะสม เอกสารการประเมินกล่าวถึงการตรวจสอบด้วยภาพ ซึ่งช่วยพิจารณาว่าควรทำงานต่อ ลองใหม่ หรือเปลี่ยนไปใช้แนวทางสำรอง18
20 กล่าวอีกอย่างคือ ระบบไม่ได้สั่งให้หุ่นยนต์เคลื่อนไหวเพียงครั้งเดียวแล้วจบ แต่มีขั้นตอนรับรู้และตรวจผลหลังลงมือทำ
MagicBrain เน้นเลือกเป้าหมายให้ถูก
MagicBrain ใช้แนวทางอีกแบบหนึ่ง โดยอาศัยคำแนะนำด้านภาพในบริบทเพื่อช่วยระบุว่าวัตถุใดเกี่ยวข้องกับคำสั่ง จากนั้นข้อมูลการระบุเป้าหมายจะช่วยชี้นำการเคลื่อนไหวของโมเดลการกระทำ เป็นการแยกโจทย์ว่า “ต้องจัดการกับอะไร” ออกจาก “ควรเคลื่อนไหวอย่างไร”19
33
จากการวิเคราะห์กรณีที่นำมาศึกษา MagicLab ระบุว่าการเลือกวัตถุเป้าหมายผิดเป็นสาเหตุที่พบบ่อยของการหยิบพลาด มากกว่าการเคลื่อนไหวที่ไม่มั่นคง30 นี่เป็นปัญหาเรื่องการจับคู่คำสั่งกับวัตถุในภาพ เพราะแม้หุ่นยนต์จะหยิบได้มั่นคง แต่ก็ถือว่าทำงานไม่สำเร็จหากเลือกผิดชิ้น อย่างไรก็ตาม ข้อสังเกตนี้อ้างถึงกรณีที่บริษัทศึกษา ไม่ใช่ข้อสรุปว่าความผิดพลาดในการหยิบของหุ่นยนต์ทุกกรณีเกิดจากสาเหตุเดียวกัน
คะแนนบอกอะไร และยังไม่บอกอะไร
ทั้งสองระบบสะท้อนความพยายามเชื่อมความเข้าใจคำสั่ง การเลือกเป้าหมายจากภาพ และการลงมือทำเข้าด้วยกัน MagicLab Studio ระบุว่ามองสถาปัตยกรรมแบบแบ่งชั้นเป็นแนวทางที่ต้องการ และมองการทำตามคำสั่งเป็นความท้าทายสำหรับงานทั่วไป33
คะแนนที่รายงานแสดงให้เห็นว่าระบบทำได้อย่างไรในงานทดสอบของ MolmoSpaces แต่ยังไม่ควรตีความว่าเป็นหลักฐานยืนยันความน่าเชื่อถือในโลกจริงหรือความพร้อมเชิงพาณิชย์ เพราะผลในเบนช์มาร์กเพียงอย่างเดียวไม่ได้บอกว่าระบบจะถ่ายโอนความสามารถไปยังสภาพแวดล้อมทางกายภาพหรือรูปแบบการใช้งานอื่นได้ดีเพียงใด
Studio Global AI
ทำการวิจัยต่อ
หน้านี้รวมคำตอบที่ได้รับการสนับสนุนจากแหล่งที่มาซึ่งคุณสามารถดำเนินการต่อภายใน Studio Global
คนยังถาม
คำตอบสั้น ๆ สำหรับ "EchoPolicy-0 ของ MagicLab นำ MolmoSpaces ส่วน MagicBrain ทำคะแนน Pick ได้ 94.4%" คืออะไร
MagicLab รายงานว่า EchoPolicy 0 ได้อันดับหนึ่งบน MolmoSpaces Combined ด้วยคะแนนเฉลี่ยแบบให้น้ำหนักเท่ากัน 75.4% จาก 4 งาน ส่วน MagicBrain รุ่น 3.4 พันล้านพารามิเตอร์ได้อันดับสี่ที่ 72.4% และทำคะแนนงาน Pick ได้ 94.4%
ประเด็นสำคัญที่ต้องตรวจสอบก่อนคืออะไร?
MagicLab รายงานว่า EchoPolicy 0 ได้อันดับหนึ่งบน MolmoSpaces Combined ด้วยคะแนนเฉลี่ยแบบให้น้ำหนักเท่ากัน 75.4% จาก 4 งาน ส่วน MagicBrain รุ่น 3.4 พันล้านพารามิเตอร์ได้อันดับสี่ที่ 72.4% และทำคะแนนงาน Pick ได้ 94.4% MolmoSpaces เป็นเกณฑ์ทดสอบ AI แบบ embodied หรือ AI ที่เชื่อมการรับรู้กับการลงมือทำ ครอบคลุมสภาพแวดล้อมในอาคารกว่า 230,000 แบบและวัตถุราว 130,000 รายการ แต่ผลทดสอบไม่ได้ยืนยันประสิทธิภาพในการใช้งานจริงด้วยตัวมันเอง