คำตอบเผยแพร่แล้ว16 แหล่งที่มา
เมื่อวิดีโอ 29 วินาทีอาจกลายเป็น “พรอมต์” สำหรับการสอนหุ่นยนต์
HOST รายงานว่าสามารถเรียนรู้ทักษะการจัดการวัตถุจากวิดีโอมนุษย์ความยาวเฉลี่ย 29 วินาที และทำงานสำเร็จ 62% เทียบกับ 38% ของวิธีฐานที่ใช้การสาธิตจากหุ่นยนต์ราว 50 ครั้งและไฟน์จูนประมาณ 4 ชั่วโมง แทนที่จะลอกเลียนการเคลื่อนไหวของมนุษย์หรืออัปเดตน้ำหนักโมเดล HOST คาดการณ์ผลลัพธ์ของงานจากมุมมองของหุ่นยนต์เอง ก่อนสร้างคำสั่...
เผยแพร่โดยแก้ไขด้วย GPT-5.6 Lunaรูปภาพสร้างด้วย GPT Image 1.5
คำตอบการวิจัย
ประเด็นสำคัญ
- HOST รายงานว่าสามารถเรียนรู้ทักษะการจัดการวัตถุจากวิดีโอมนุษย์ความยาวเฉลี่ย 29 วินาที และทำงานสำเร็จ 62% เทียบกับ 38% ของวิธีฐานที่ใช้การสาธิตจากหุ่นยนต์ราว 50 ครั้งและไฟน์จูนประมาณ 4 ชั่วโมง
- แทนที่จะลอกเลียนการเคลื่อนไหวของมนุษย์หรืออัปเดตน้ำหนักโมเดล HOST คาดการณ์ผลลัพธ์ของงานจากมุมมองของหุ่นยนต์เอง ก่อนสร้างคำสั่งให้หุ่นยนต์ทำงานจนบรรลุเป้าหมายนั้น
- แนวทางนี้อาจผลักดัน Embodied AI ไปสู่โมเดลทักษะที่เรียนรู้กว้าง ๆ ล่วงหน้าและปรับตัวขณะอนุมาน ลดการควบคุมหุ่นยนต์จากระยะไกลและการฝึกใหม่เฉพาะงานที่มีต้นทุนสูง
AI พรอมต์
openai.comCreate a landscape editorial hero image for this Studio Global article: How does X Square Robot’s open-sourced HOST framework change embodied-AI training by enabling a humanoid robot to watch a 29-second human de. Article summary: HOST’s important shift is from task-specific retraining to inference-time skill acquisition: rather than gathering a new teleoperation dataset and updating model weights, the robot conditions on one human video, translat. Topic tags: general, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
แนวคิดสำคัญของ HOST หรือ Human-to-robot One-Shot Skill AcquisiTion ไม่ใช่การที่หุ่นยนต์สามารถทำงานบ้านได้อย่างสมบูรณ์แล้ว แต่คือการเปลี่ยนวิธีมอง “ทักษะใหม่” ของหุ่นยนต์
แทนที่จะเริ่มโครงการฝึกโมเดลใหม่ทุกครั้งที่พบงานใหม่ นักวิจัยให้หุ่นยนต์ดูวิดีโอมนุษย์สาธิตเพียงครั้งเดียว จากนั้นระบบจะตีความเป้าหมายในกรอบการมองเห็นและร่างกายของหุ่นยนต์เอง แล้วลองลงมือทำโดยไม่อัปเดตน้ำหนักของโมเดลพื้นฐาน 18
34
ในการทดสอบที่มีการรายงาน วิดีโอสาธิตความยาว 29 วินาทีทำให้ระบบมีอัตราความสำเร็จเฉลี่ย 62% ขณะที่การเปรียบเทียบกับระบบ Pi-0.5 รายงานผลสำเร็จ 38% หลังใช้ข้อมูลสาธิตจากหุ่นยนต์ประมาณ 50 ครั้งและไฟน์จูนราว 4 ชั่วโมง อย่างไรก็ตาม ตัวเลขเหล่านี้มาจากการทดลองของผู้เขียนงานวิจัย จึงยังไม่ควรตีความว่าเป็นความน่าเชื่อถือระดับพร้อมใช้งานจริง 18
34
จากการฝึกใหม่ทุกงาน สู่การปรับตัวขณะใช้งาน
กระบวนการเลียนแบบการทำงานแบบดั้งเดิมมักต้องเก็บข้อมูลสาธิตชุดใหม่สำหรับแต่ละงาน แล้วนำข้อมูลไปปรับปรุงหรือไฟน์จูนโมเดล วิธีดังกล่าวใช้เวลาควบคุมหุ่นยนต์จากระยะไกล ต้องกันเครื่องจักรไว้สำหรับการเก็บข้อมูล และอาจทำให้พฤติกรรมที่หุ่นยนต์เคยทำได้เสื่อมลงเมื่อเรียนรู้ทักษะใหม่
HOST ย้ายจุดที่เกิดการปรับตัวออกจากการฝึกโมเดล น้ำหนักของโมเดลที่ผ่านการฝึกล่วงหน้ายังคงเดิม ขณะที่วิดีโอสาธิตทำหน้าที่เป็นบริบทเฉพาะงานซึ่งป้อนให้ระบบในเวลาที่กำลังอนุมาน แนวคิดนี้ใกล้เคียงกับ in-context learning หรือการเรียนรู้จากบริบท มากกว่าการเพิ่มพฤติกรรมใหม่เข้าไปในโมเดลอย่างถาวรด้วยการอัปเดตพารามิเตอร์ งานวิจัยด้านการเรียนรู้ของหุ่นยนต์ก่อนหน้านี้ก็สำรวจความเป็นไปได้ที่โมเดลจะปรับพฤติกรรมจากบริบทของลำดับการสังเกตและการกระทำโดยไม่เปลี่ยนน้ำหนักเช่นกัน 20
ในทางปฏิบัติ นี่อาจลดระยะห่างระหว่าง “ดูสิ่งที่ต้องทำ” กับ “ลองทำตาม” ได้มาก แต่ไม่ได้หมายความว่าหุ่นยนต์เรียนรู้กฎฟิสิกส์ทั้งหมดจากศูนย์ภายใน 29 วินาที คำอธิบายที่แม่นยำกว่าคือ หุ่นยนต์มีพื้นฐานทักษะที่เรียนรู้มาอย่างกว้างขวางอยู่แล้ว และใช้วิดีโอหนึ่งคลิปเพื่อเลือก จับคู่กับสภาพแวดล้อมจริง และลงมือทำงานใหม่
ทำไม HOST จึงไม่ใช่การลอกท่าทางมนุษย์ตรง ๆ
มนุษย์กับหุ่นยนต์มีตำแหน่งกล้อง รูปร่างมือ ข้อต่อ ระยะเอื้อม และความเร็วในการเคลื่อนไหวต่างกัน การถ่ายโอนภาพหรือเส้นทางการเคลื่อนไหวของข้อต่อแบบตรง ๆ จึงมีโอกาสทำงานผิดพลาดสูง
HOST ใช้กระบวนการคาดการณ์แบบต่อเนื่องที่ยึดมุมมองของหุ่นยนต์เป็นหลัก ระบบจะประเมินว่าการสาธิตดำเนินมาถึงขั้นตอนไหน จากนั้นคาดการณ์ว่าความคืบหน้าในขั้นต่อไปควรปรากฏอย่างไรเมื่อมองผ่านกล้องของหุ่นยนต์ และจึงสร้างคำสั่งการเคลื่อนไหวจากภาพหรือสถานะที่คาดการณ์ไว้ 18
ส่วนประกอบที่มีการรายงานของ HOST ทำหน้าที่ต่างกัน ดังนี้
- การมองเห็น: ตีความงานที่มนุษย์สาธิตและผลลัพธ์ที่ต้องการในกรอบการรับรู้ซึ่งมีหุ่นยนต์เป็นศูนย์กลาง
- การสร้างคำสั่งการกระทำ: แปลงผลลัพธ์ที่คาดการณ์ให้เป็นพฤติกรรมที่หุ่นยนต์สามารถปฏิบัติได้
- Dynamic Time Warping หรือ DTW: ช่วยจัดแนวช่วงต่าง ๆ ของงาน เมื่อมนุษย์กับหุ่นยนต์ทำขั้นตอนเดียวกันด้วยความเร็วไม่เท่ากัน
จุดนี้มีความสำคัญ เพราะหุ่นยนต์ไม่จำเป็นต้องเลียนแบบกลไกการเคลื่อนไหวของมนุษย์ทุกจังหวะ แต่ต้องเข้าใจลำดับการเปลี่ยนแปลงของสถานะที่มีความหมาย แล้วหาวิธีของตัวเองเพื่อทำให้เกิดผลลัพธ์เดียวกัน
รากฐานจากการจำลองและวิทยาศาสตร์การรู้คิด
การออกแบบของ HOST สอดคล้องกับมุมมองเรื่องการเลียนแบบแบบมุ่งเป้าหมาย กล่าวคือ ผู้สังเกตไม่ได้มองการสาธิตเป็นเส้นทางการเคลื่อนไหวที่ต้องเล่นซ้ำทีละเฟรม แต่พยายามเข้าใจว่าการกระทำนั้นต้องการบรรลุอะไร แล้วเลือกแผนการเคลื่อนไหวที่เหมาะกับร่างกายของตนเอง
การจำลองและการฝึกล่วงหน้าขนาดใหญ่สามารถช่วยให้โมเดลเรียนรู้ความหลากหลายทั่วไปก่อนนำไปใช้จริง ส่วนวิดีโอสั้นจากโลกจริงจะเติมข้อมูลเฉพาะงานที่หุ่นยนต์ยังขาดในขณะนั้น การแบ่งหน้าที่เช่นนี้ชี้ไปสู่สูตรฝึก Embodied AI แบบหนึ่ง คือเรียนรู้พื้นฐานทางกายภาพและพฤติกรรมให้กว้างแบบออฟไลน์ แล้วปรับเฉพาะงานอย่างรวดเร็วผ่านบริบทขณะอนุมาน
แนวทางดังกล่าวสอดคล้องกับทิศทางที่ให้ความสำคัญกับชุดข้อมูลหุ่นยนต์แบบเปิดและโมเดลพื้นฐานที่ฝึกจากหุ่นยนต์หลายรูปแบบ โดยประสบการณ์จากแพลตฟอร์มหนึ่งสามารถถ่ายโอนไปช่วยอีกแพลตฟอร์มได้ 25
เหตุใดการเปิดซอร์ส HOST จึงมีความหมาย
การที่ X Square Robot เปิดเผยกรอบงานทำให้นักวิจัยและนักพัฒนาภายนอกสามารถตรวจสอบ ทำซ้ำ และทดสอบแนวทางนี้ได้ง่ายขึ้น การใช้งานแบบเปิดจะช่วยให้เห็นว่า การถ่ายโอนจากวิดีโอไปสู่คำสั่งการกระทำยังคงทำงานได้ดีเพียงใดเมื่อเปลี่ยนกล้อง แขนกล สภาพแวดล้อม และประเภทงาน แทนที่จะจำกัดข้ออ้างไว้กับการสาธิตแบบปิดชุดเดียว
บริษัทยังเปิดเผยโค้ดและเครื่องมือสำหรับระบบโมเดล Embodied AI ในตระกูล WALL ซึ่งครอบคลุมการฝึก การอนุมาน การเตรียมข้อมูล และการประเมินผล 26
27 ดังนั้น สำหรับ X Square Robot การเปิดซอร์สจึงอาจมีสองเป้าหมายพร้อมกัน นั่นคือเร่งการทดลองจากภายนอก และสร้างความคุ้นเคยกับโมเดลและฮาร์ดแวร์ของบริษัท
แน่นอนว่า การเปิดซอร์สไม่ได้ยืนยันความถูกต้องของผลทดสอบ HOST ด้วยตัวมันเอง แต่ช่วยทำให้สมมติฐานหลักตรวจสอบได้มากขึ้น นั่นคือ ความสามารถที่หุ่นยนต์เรียนรู้ไว้ล่วงหน้าอาจปรับเข้ากับงานจัดการวัตถุใหม่ผ่านการสาธิตขนาดสั้น แทนการไฟน์จูนซ้ำสำหรับทุกงาน
ตัวเลข 62% บอกอะไร และยังบอกอะไรไม่ได้
อัตราความสำเร็จ 62% ถือเป็นผลการทดลองที่น่าสนใจ โดยเฉพาะเมื่อพิจารณาควบคู่กับการลดจำนวนการสาธิตและเวลาในการฝึกตามที่รายงาน แต่ตัวเลขนี้ไม่เท่ากับการทำงานอัตโนมัติที่ไว้ใจได้ หุ่นยนต์ยังล้มเหลวเกือบ 2 ครั้งจากทุก 5 ครั้งในการประเมินดังกล่าว
ผลลัพธ์นี้ยังไม่ได้ยืนยันว่าระบบจะทำงานได้มั่นคงในทุกเงื่อนไขที่หุ่นยนต์ในบ้านต้องเผชิญ จำเป็นต้องมีการทดสอบเพิ่มเติมในกรณีที่แสงเปลี่ยน สิ่งของวางระเกะระกะ รูปลักษณ์ของวัตถุไม่คุ้นเคย พลวัตขณะสัมผัสแตกต่างกัน หุ่นยนต์ต้องกู้คืนจากความผิดพลาด มีข้อจำกัดด้านความปลอดภัย งานมีหลายขั้นตอนต่อเนื่อง หรือใช้กับหุ่นยนต์คนละโครงสร้าง นอกจากนี้ การประเมินโดยหน่วยงานอิสระก็สำคัญ เพราะงานดังกล่าวเป็นพรีพรินต์วิจัย และการเปรียบเทียบจำกัดอยู่ในเงื่อนไขของชุดทดสอบนั้น 18
34
ข้อสรุปที่น่าเชื่อถือจึงแคบกว่า แต่มีประโยชน์มากกว่าคำกล่าวว่า “หุ่นยนต์ฮิวแมนนอยด์เรียนรู้งานบ้านจากวิดีโอเดียวได้แล้ว” HOST ชี้ไปยังระบบ Embodied AI ที่ฝึกพื้นฐานให้กว้าง ปรับตัวจากการสาธิตของมนุษย์ได้รวดเร็ว และไม่ต้องอัปเดตน้ำหนักโมเดลทุกครั้งที่พบงานใหม่ หากผลลัพธ์นี้ขยายไปไกลกว่าการทดสอบของผู้พัฒนาได้ การเรียนรู้ทักษะขณะอนุมานอาจกลายเป็นทางเลือกสำคัญแทนวงจรการควบคุมหุ่นยนต์จากระยะไกล การเก็บชุดข้อมูล และการไฟน์จูนซ้ำที่มีต้นทุนสูง
Studio Global AI
ทำการวิจัยต่อ
หน้านี้รวมคำตอบที่ได้รับการสนับสนุนจากแหล่งที่มาซึ่งคุณสามารถดำเนินการต่อภายใน Studio Global
คนยังถาม
คำตอบสั้น ๆ สำหรับ "เมื่อวิดีโอ 29 วินาทีอาจกลายเป็น “พรอมต์” สำหรับการสอนหุ่นยนต์" คืออะไร
HOST รายงานว่าสามารถเรียนรู้ทักษะการจัดการวัตถุจากวิดีโอมนุษย์ความยาวเฉลี่ย 29 วินาที และทำงานสำเร็จ 62% เทียบกับ 38% ของวิธีฐานที่ใช้การสาธิตจากหุ่นยนต์ราว 50 ครั้งและไฟน์จูนประมาณ 4 ชั่วโมง
ประเด็นสำคัญที่ต้องตรวจสอบก่อนคืออะไร?
HOST รายงานว่าสามารถเรียนรู้ทักษะการจัดการวัตถุจากวิดีโอมนุษย์ความยาวเฉลี่ย 29 วินาที และทำงานสำเร็จ 62% เทียบกับ 38% ของวิธีฐานที่ใช้การสาธิตจากหุ่นยนต์ราว 50 ครั้งและไฟน์จูนประมาณ 4 ชั่วโมง แทนที่จะลอกเลียนการเคลื่อนไหวของมนุษย์หรืออัปเดตน้ำหนักโมเดล HOST คาดการณ์ผลลัพธ์ของงานจากมุมมองของหุ่นยนต์เอง ก่อนสร้างคำสั่งให้หุ่นยนต์ทำงานจนบรรลุเป้าหมายนั้น
ฉันควรทำอย่างไรต่อไปในทางปฏิบัติ?
แนวทางนี้อาจผลักดัน Embodied AI ไปสู่โมเดลทักษะที่เรียนรู้กว้าง ๆ ล่วงหน้าและปรับตัวขณะอนุมาน ลดการควบคุมหุ่นยนต์จากระยะไกลและการฝึกใหม่เฉพาะงานที่มีต้นทุนสูง
แหล่งที่มา
arxiv.orgHOST: Robots Acquire Manipulation Skills in Seconds from ...
letsdatascience.comHOST Paper Reports Robot Skill Learning from One Video in 29 Seconds
robotics-transformer-x.github.ioOpen X-Embodiment: Robotic Learning Datasets and RT-X Models
github.comREADME.md - X-Square-Robot/wall-x