คำตอบเผยแพร่แล้ว19 แหล่งที่มา
GE-Act 2.0 ของ AgiBot: ข้อมูล 30,000 ชั่วโมงทำให้หุ่นยนต์เก่งขึ้นแค่ไหน
AgiBot รายงานว่า เมื่อเพิ่มข้อมูลฝึกแบบ embodied จาก 300 เป็น 30,000 ชั่วโมง อัตราสำเร็จของการทดสอบหุ่นยนต์จริงแบบ zero shot เพิ่มจาก 17.1% เป็น 44.1% บน G1 OP และจาก 13.4% เป็น 31.1% บน G2 90D. โมเดลเริ่มฝึกจากค่าสุ่มบนข้อมูลการหยิบจับและปฏิสัมพันธ์จริง แทนการนำโมเดลวิดีโอจากเว็บมาปรับใช้ โดยผสานการวางแผนภาพของสถาน...
เผยแพร่โดยแก้ไขด้วย GPT-5.6 Terraรูปภาพสร้างด้วย GPT Image 2
คำตอบการวิจัย
ประเด็นสำคัญ
- AgiBot รายงานว่า เมื่อเพิ่มข้อมูลฝึกแบบ embodied จาก 300 เป็น 30,000 ชั่วโมง อัตราสำเร็จของการทดสอบหุ่นยนต์จริงแบบ zero shot เพิ่มจาก 17.1% เป็น 44.1% บน G1 OP และจาก 13.4% เป็น 31.1% บน G2 90D.
- โมเดลเริ่มฝึกจากค่าสุ่มบนข้อมูลการหยิบจับและปฏิสัมพันธ์จริง แทนการนำโมเดลวิดีโอจากเว็บมาปรับใช้ โดยผสานการวางแผนภาพของสถานะอนาคตเข้ากับโมเดลแปลงสถานะเป็นคำสั่งการเคลื่อนไหว.
- ข้อค้นพบสำคัญคือชุดข้อมูลขนาดใหญ่ไม่ได้เพียงเพิ่มความแม่นยำของงานเดิม แต่ทำให้งานละเอียดอย่างพับผ้าขนหนูและซ้อนแก้วเริ่มสำเร็จได้ อย่างไรก็ดี ผลยังจำกัดอยู่ในหุ่นยนต์ 2 แบบและชุดงานทดสอบของการศึกษา.
AI พรอมต์
openai.comCreate a landscape editorial hero image for this Studio Global article: What is AgiBot’s GE-Act 2.0 native world-action model, and how do its random-initialization training approach, 100-fold embodied-data scalin. Article summary: GE-Act 2.0 is AgiBot’s “native” world–action model: its visual representation, future-state generation, and action-prediction components are trained from random initialization on manipulation data, rather than adapting a. Topic tags: general, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
GE-Act 2.0 คือความพยายามของ AgiBot ในการสร้าง โมเดลโลก–การกระทำ (world–action model) สำหรับหุ่นยนต์โดยตรง แทนที่จะนำโมเดลวิดีโอทั่วไปซึ่งฝึกจากข้อมูลบนเว็บมาใช้ต่อ ส่วนที่เรียนรู้ได้ทั้งด้านภาพ การคาดการณ์สถานะอนาคต และการทำนายการกระทำของโมเดลนี้เริ่มจากค่าสุ่ม แล้วฝึกด้วยข้อมูลการหยิบจับและปฏิสัมพันธ์ทางกายภาพ
ประเด็นสำคัญของงานจึงไม่ใช่แค่ว่า “ข้อมูลมากขึ้นแล้วแม่นขึ้น” แต่เป็นข้อสังเกตว่า เมื่อเพิ่มข้อมูลฝึกจาก 300 ชั่วโมงเป็น 30,000 ชั่วโมง งานการใช้มือที่ละเอียดซึ่งเคยทำไม่สำเร็จ เริ่มทำได้ในการทดสอบของ AgiBot 17
อย่างไรก็ดี ควรอ่านผลลัพธ์นี้อย่างระมัดระวัง เพราะเป็นผลที่ AgiBot รายงานภายใต้โปรโตคอลทดสอบของตนเอง ครอบคลุมหุ่นยนต์ 2 รูปแบบและงานย่อย 100 งาน ไม่ได้แปลว่า GE-Act 2.0 จะทำงานได้เองในบ้าน โรงงาน หรือบนฮาร์ดแวร์หุ่นยนต์ทุกชนิด
โมเดลที่ “เห็นอนาคตที่ควรเป็น” แล้วสั่งให้หุ่นยนต์ไปถึงจุดนั้น
โมเดลโลก–การกระทำเชื่อมสามสิ่งเข้าด้วยกัน ได้แก่ การรับรู้สิ่งแวดล้อม การคาดการณ์ผลลัพธ์ และการควบคุม ตัวอย่างเช่น หากได้รับคำสั่งภาษาว่าให้วางวัตถุในตำแหน่งหนึ่ง ระบบต้องเข้าใจสภาพปัจจุบันของฉาก คาดว่าภาพของสถานะที่ทำงานสำเร็จควรเป็นอย่างไร แล้วส่งคำสั่งมอเตอร์เพื่อไปสู่สถานะนั้น
GE-Act 2.0 แบ่งงานดังกล่าวเป็น 3 ส่วนที่รายงานไว้:
- Control-oriented autoencoder (CoAE): บีบอัดข้อมูลภาพ แต่เก็บสารสนเทศที่เกี่ยวข้องกับคำสั่งและการควบคุมแขนหรือมือหุ่นยนต์ไว้
- Single-step visual planner (SVP): สร้างภาพของสถานะอนาคตที่มีประโยชน์ในขั้นตอนเดียวแบบแยกอนุพันธ์ได้ แทนการจำลองวิดีโอเป็นลำดับยาว
- Inverse-dynamics model (IDM): อนุมานคำสั่งการเคลื่อนไหวที่หุ่นยนต์ปฏิบัติได้ จากสถานะปัจจุบันและสถานะอนาคตที่วางแผนไว้
17
AgiBot เรียกวิธีฝึกของตนว่า Knowledge-Aligned Selective Optimization (KASO) ซึ่งบทความอธิบายว่าใช้ประสานส่วนวางแผนภาพกับส่วนเรียนรู้การกระทำ โดยเปิดให้แต่ละส่วนพรีเทรนบนข้อมูลที่เสริมกันได้ 17
ทีมวิจัยยังรายงานเวลาอนุมานคำสั่งแบบเป็นชุด (action chunk) ที่ 104 มิลลิวินาทีบน RTX 5090 เพียงตัวเดียว ตัวเลขนี้สำคัญเพราะนโยบายควบคุมหุ่นยนต์ต้องสังเกตและตอบสนองซ้ำ ๆ การสร้างแผนภาพที่ดูสมจริงอย่างเดียวไม่พอ หากออกคำสั่งควบคุมถัดไปช้าเกินไป 5
“ฝึกจากศูนย์” หมายถึงอะไร
ระบบเรียนรู้หุ่นยนต์จำนวนมากได้ประโยชน์จากโมเดลที่ผ่านการฝึกบนภาพหรือวิดีโอเว็บจำนวนมหาศาลมาก่อน แต่ GE-Act 2.0 เริ่มต้นส่วนกำเนิดภาพและส่วนทำนายการกระทำจากค่าสุ่ม แล้วฝึกบนข้อมูลการหยิบจับโดยตรง 17
จุดนี้ทำให้การทดลองเรื่องการขยายขนาดข้อมูลมีความเฉพาะเจาะจงขึ้น นักวิจัยกำลังทดสอบว่า ข้อมูลแบบ embodied หรือข้อมูลที่ผูกกับการกระทำและปฏิสัมพันธ์ในโลกกายภาพมากขึ้น จะช่วยให้ความสามารถด้านการหยิบจับของหุ่นยนต์ดีขึ้นอย่างเป็นระบบหรือไม่ แทนที่จะวัดประโยชน์จากโมเดลพื้นฐานวิดีโอเว็บที่มีมาก่อนแล้ว
สูตรข้อมูลที่รายงานว่าสามารถใช้ได้มีหลายชนิด ทั้งเส้นทางการสั่งหุ่นยนต์จากระยะไกล วิดีโอมุมมองบุคคลที่หนึ่งของมนุษย์ ข้อมูลการทดลองเดินระบบที่ไม่มีป้ายกำกับ และข้อมูลการทำงานล้มเหลว ประเด็นนี้มีความหมาย เพราะการเก็บเดโมหุ่นยนต์มีต้นทุนสูง หากวิธีฝึกเรียนรู้จากข้อมูลปฏิสัมพันธ์ที่ไม่สมบูรณ์หรือมีป้ายกำกับเพียงบางส่วนได้ การเก็บข้อมูลก็อาจทำได้จริงมากขึ้น 6
20
การทดลองขยายข้อมูล 100 เท่า
AgiBot ฝึกโมเดลด้วยข้อมูลการหยิบจับ 4 ระดับคือ 300, 1,200, 5,000 และ 30,000 ชั่วโมง ดังนั้นการเปรียบเทียบปลายทางจึงมีขนาดข้อมูลต่างกัน 100 เท่า 4
17
การประเมินหลักเป็นการทดสอบหุ่นยนต์จริงแบบ zero-shot หมายถึงนำโมเดลไปทำงานที่ไม่ได้ปรับจูนเฉพาะงานนั้น โดยมีเงื่อนไขดังนี้:
- งานหยิบจับย่อย 100 งาน
- ทักษะ 20 กลุ่ม
- ฉาก พื้นหลัง สภาพแสง และตัวอย่างวัตถุที่ไม่คุ้นเคย
- หุ่นยนต์ 2 รูปแบบ ได้แก่ ฮิวแมนนอยด์ G1-OP และหุ่นยนต์เคลื่อนที่พร้อมแขนกล G2-90D
- ไม่มีการ fine-tune เฉพาะงาน ไม่มีเดโมสำหรับงานประเมิน และไม่มีการเปลี่ยนโมเดลระหว่างทดสอบ
4
ภายใต้โปรโตคอลนี้ อัตราสำเร็จรวมที่รายงานเพิ่มขึ้นตามขนาดข้อมูล:
| รูปแบบหุ่นยนต์ | อัตราสำเร็จที่ 300 ชั่วโมง | อัตราสำเร็จที่ 30,000 ชั่วโมง |
|---|---|---|
| G1-OP | 17.1% | 44.1% |
| G2-90D | 13.4% | 31.1% |
ตัวเลขทั้งหมดเป็นผลที่รายงานในงานศึกษา GE-Act 2.0 3
17
ข้อสรุปโดยตรงที่สุดคือ สำหรับโมเดลและชุดงานนี้ ข้อมูล embodied ที่มากขึ้นมีความสัมพันธ์กับอัตราสำเร็จแบบ zero-shot ที่สูงขึ้นอย่างมาก เส้นแนวโน้มที่รายงานระหว่าง 5,000 ถึง 30,000 ชั่วโมงยังไม่เห็นการอิ่มตัวชัดเจน ซึ่งผู้เขียนตีความว่ายังอาจได้ประโยชน์จากการขยายข้อมูลต่อไป 5
เหตุใดปรากฏการณ์ “light-up” จึงน่าสนใจ
อัตราสำเร็จเฉลี่ยที่สูงขึ้นอาจหมายถึงหุ่นยนต์แค่ทำงานที่เคยทำได้อยู่แล้วให้เสถียรกว่าเดิม แต่ AgiBot เสนอว่าช่วงโมเดลและข้อมูลขนาดใหญ่มีสิ่งที่มากกว่านั้น นั่นคือจำนวนงานที่เริ่มมีอัตราสำเร็จมากกว่าศูนย์เพิ่มขึ้น
สำหรับ G1-OP จำนวนงานย่อยที่สำเร็จเพิ่มจาก 39 เป็น 76 งานจากทั้งหมด 100 งาน เมื่อข้อมูลฝึกเพิ่มจาก 300 เป็น 30,000 ชั่วโมง 4
ตัวอย่างที่ระบุไว้ ได้แก่:
นี่คือที่มาของคำว่า “light-up” ในบทความ กล่าวคือ ในการทดลองที่รายงาน การขยายข้อมูลไม่ได้ช่วยแค่ให้งานที่ทำได้แล้วทำได้ดีขึ้น แต่ทำให้ทักษะละเอียดบางชนิดเริ่มเป็นไปได้ในสถานการณ์ zero-shot หลังจากล้มเหลวในขนาดข้อมูลที่เล็กกว่า
แต่ไม่ควรตีความคำว่า “light-up” ว่าเป็นหลักฐานของปัญญาประดิษฐ์ทั่วไปที่เกิดขึ้นอย่างฉับพลัน มันคือคำอธิบายการครอบคลุมงานที่สังเกตได้บนเบนช์มาร์กจำกัดชุดหนึ่ง ยังเป็นคำถามเปิดว่าแนวโน้มเดียวกันจะเกิดกับวัตถุที่หลากหลายกว่า งานที่ต้องทำต่อเนื่องนานกว่า สถานการณ์ที่ความปลอดภัยสำคัญ หรือหุ่นยนต์รูปแบบใหม่หรือไม่
ผลของ G2-90D บอกอะไรเรื่องการถ่ายโอนข้ามฮาร์ดแวร์
G2-90D เป็นหลักฐานด้านการถ่ายโอนข้ามรูปร่างหุ่นยนต์ (cross-embodiment transfer) ในการศึกษา AgiBot รายงานว่าหุ่นยนต์เคลื่อนที่ติดล้อนี้มีข้อมูลคิดเป็นไม่ถึง 2% ของข้อมูลฝึกร่วมทั้งหมด แต่อัตราสำเร็จรวมเพิ่มขึ้น 17.7 จุดเปอร์เซ็นต์ระหว่างเงื่อนไขข้อมูลขนาดเล็กกับขนาดใหญ่ 3
17
ผลนี้ชี้ว่าโครงสร้างด้านภาพและการกระทำบางส่วนที่เรียนรู้มาอาจแชร์ข้ามร่างกายหุ่นยนต์ต่างชนิดได้ เป็นสัญญาณที่มีประโยชน์ต่ออนาคตที่นโยบายควบคุมไม่ต้องสร้างใหม่ทั้งหมดสำหรับเครื่องทุกแบบ
แต่ผลนี้ ไม่ได้ ยืนยันว่ามีความฉลาดหุ่นยนต์ที่ไม่ขึ้นกับฮาร์ดแวร์ หลักฐานยังจำกัดอยู่ที่หุ่นยนต์ 2 รูปแบบและชุดงานของการศึกษา อีกทั้ง G2-90D ก็มีข้อมูลอยู่ในการฝึกร่วม จึงไม่ใช่การพิสูจน์ว่าถ่ายโอนได้สู่หุ่นยนต์ใหม่โดยไม่มีข้อมูลของหุ่นยนต์นั้นเลย
GE-Act เกี่ยวข้องกับ GE-Sim อย่างไร
GE-Act เป็นส่วนหนึ่งของแพลตฟอร์ม Genie Envisioner (GE) ของ AgiBot ซึ่งอธิบายว่าเป็นกรอบร่วมที่รวมการเรียนรู้นโยบายหุ่นยนต์ การประเมิน และการจำลอง ไว้ในระบบกำเนิดวิดีโอเดียวกัน 18
ในกรอบนี้ GE-Act เป็นส่วนที่เน้นการกระทำ ขณะที่ GE-Sim เป็นส่วนจำลองโลกสำหรับสร้างการจำลองเหตุการณ์แบบมีเงื่อนไขตามการกระทำ เพื่อใช้ประเมินและพัฒนา 18
19
ความต่างนี้สำคัญ เพราะผลพาดหัวของ GE-Act 2.0 มาจากการทดสอบแบบ zero-shot บนหุ่นยนต์จริง GE-Sim อาจเป็นโครงสร้างพื้นฐานที่เกี่ยวข้องในแพลตฟอร์มเดียวกัน แต่ไม่ใช่ฐานของข้ออ้างหลักที่ว่าโมเดลทำงานหยิบจับในโลกจริงตามรายงานได้โดยไม่ fine-tune เฉพาะงานหรือรับเดโมระหว่างประเมิน
คะแนนจากการ fine-tune เป็นอีกผลลัพธ์หนึ่ง
AgiBot ยังรายงานผลหลัง fine-tune บนเบนช์มาร์กเชิงการจำลอง โดย GE-Act 2.0 มีอัตราสำเร็จ 60.52% ในการทดสอบสภาพแวดล้อมที่ไม่เคยเห็นของ RoboTwin และได้ 0.770 ในการทำตามคำสั่งของ GenieSim ซึ่งรายงานว่าสูงกว่าผลของ π0.5 และ GR00T N1.7 ที่นำมาเปรียบเทียบ 20
ผลเหล่านี้มีประโยชน์ต่อการวัดความสามารถในการปรับตัวและผลงานบนเบนช์มาร์ก แต่ตอบคำถามคนละข้อกับการทดสอบหุ่นยนต์จริงแบบ zero-shot คะแนนหลัง fine-tune ไม่ควรถูกใช้เป็นหลักฐานว่าความสามารถเดียวกันเกิดขึ้นโดยไม่มีการปรับให้เข้ากับงาน
สรุป: เป็นสัญญาณบวกของการขยายข้อมูล embodied แต่ยังไม่ใช่หุ่นยนต์ทั่วไป
GE-Act 2.0 น่าสนใจเพราะทดสอบคำถามพื้นฐานแต่สำคัญของ embodied AI ว่า โมเดลโลก–การกระทำที่ฝึกจากข้อมูลการหยิบจับโดยตรง จะดีขึ้นอย่างคาดการณ์ได้หรือไม่เมื่อข้อมูลเพิ่มขึ้น
ในการทดลองที่ AgiBot รายงาน คำตอบคือดีขึ้น การขยายชุดฝึกจาก 300 เป็น 30,000 ชั่วโมงสอดคล้องกับอัตราสำเร็จ zero-shot ที่เพิ่มขึ้นมากทั้งบน G1-OP และ G2-90D มีงานที่ครอบคลุมมากขึ้น และทักษะละเอียดอย่างการพับผ้าขนหนูหรือซ้อนแก้วเริ่มปรากฏในเงื่อนไขข้อมูลขนาดใหญ่ 3
4
17
ข้อสรุปที่เหมาะสมจึงแคบกว่าคำสัญญาทางการตลาดเรื่องหุ่นยนต์อเนกประสงค์: GE-Act 2.0 เป็นหลักฐานว่า การขยายข้อมูลการหยิบจับแบบ embodied สามารถสร้างความสามารถใหม่ที่วัดได้ในการประเมินหุ่นยนต์จริงภายใต้เงื่อนไขควบคุมได้ ส่วนการทำซ้ำโดยอิสระ การทดสอบกับฮาร์ดแวร์ที่กว้างขึ้น รวมถึงการประเมินงานระยะยาวและความปลอดภัยที่เข้มงวดกว่า ยังจำเป็นก่อนจะมองว่าเป็นคำตอบทั่วไปสำหรับการทำงานอัตโนมัติของหุ่นยนต์.
Studio Global AI
ทำการวิจัยต่อ
หน้านี้รวมคำตอบที่ได้รับการสนับสนุนจากแหล่งที่มาซึ่งคุณสามารถดำเนินการต่อภายใน Studio Global
คนยังถาม
คำตอบสั้น ๆ สำหรับ "GE-Act 2.0 ของ AgiBot: ข้อมูล 30,000 ชั่วโมงทำให้หุ่นยนต์เก่งขึ้นแค่ไหน" คืออะไร
AgiBot รายงานว่า เมื่อเพิ่มข้อมูลฝึกแบบ embodied จาก 300 เป็น 30,000 ชั่วโมง อัตราสำเร็จของการทดสอบหุ่นยนต์จริงแบบ zero shot เพิ่มจาก 17.1% เป็น 44.1% บน G1 OP และจาก 13.4% เป็น 31.1% บน G2 90D.
ประเด็นสำคัญที่ต้องตรวจสอบก่อนคืออะไร?
AgiBot รายงานว่า เมื่อเพิ่มข้อมูลฝึกแบบ embodied จาก 300 เป็น 30,000 ชั่วโมง อัตราสำเร็จของการทดสอบหุ่นยนต์จริงแบบ zero shot เพิ่มจาก 17.1% เป็น 44.1% บน G1 OP และจาก 13.4% เป็น 31.1% บน G2 90D. โมเดลเริ่มฝึกจากค่าสุ่มบนข้อมูลการหยิบจับและปฏิสัมพันธ์จริง แทนการนำโมเดลวิดีโอจากเว็บมาปรับใช้ โดยผสานการวางแผนภาพของสถานะอนาคตเข้ากับโมเดลแปลงสถานะเป็นคำสั่งการเคลื่อนไหว.
ฉันควรทำอย่างไรต่อไปในทางปฏิบัติ?
ข้อค้นพบสำคัญคือชุดข้อมูลขนาดใหญ่ไม่ได้เพียงเพิ่มความแม่นยำของงานเดิม แต่ทำให้งานละเอียดอย่างพับผ้าขนหนูและซ้อนแก้วเริ่มสำเร็จได้ อย่างไรก็ดี ผลยังจำกัดอยู่ในหุ่นยนต์ 2 แบบและชุดงานทดสอบของการศึกษา.