คำตอบเผยแพร่แล้ว25 แหล่งที่มา
WITA-Omni ของ AgiBot ทำคะแนน 85.21 ใน Daily-Omni ได้อย่างไร
AgiBot รายงานว่า WITA Omni Preview ได้คะแนนเฉลี่ย 85.21% ใน Daily Omni และได้อันดับหนึ่งหรือร่วมอันดับหนึ่ง 6 จาก 8 ตัวชี้วัด Daily Omni ทดสอบการตอบคำถามจากภาพและเสียงที่ต้องจับคู่เหตุการณ์ข้ามสื่อ รวมถึงเข้าใจว่าเหตุการณ์ใดเกิดก่อน หลัง หรือพร้อมกัน สถาปัตยกรรม Thinker–Talker–Actor ถูกอธิบายว่าใช้ประสานการให้เหตุผล...
เผยแพร่โดยแก้ไขด้วย GPT-5.6 Terraรูปภาพสร้างด้วย GPT Image 2
คำตอบการวิจัย
ประเด็นสำคัญ
- AgiBot รายงานว่า WITA Omni Preview ได้คะแนนเฉลี่ย 85.21% ใน Daily Omni และได้อันดับหนึ่งหรือร่วมอันดับหนึ่ง 6 จาก 8 ตัวชี้วัด
- Daily Omni ทดสอบการตอบคำถามจากภาพและเสียงที่ต้องจับคู่เหตุการณ์ข้ามสื่อ รวมถึงเข้าใจว่าเหตุการณ์ใดเกิดก่อน หลัง หรือพร้อมกัน
- สถาปัตยกรรม Thinker–Talker–Actor ถูกอธิบายว่าใช้ประสานการให้เหตุผล การพูดแบบสตรีม และท่าทางหรือการแสดงออกบนเส้นเวลาเดียวกัน แต่ยังไม่มีตัวเลขอิสระยืนยันว่าลดความหน่วงได้มากเพียงใด
AI พรอมต์
openai.comCreate a landscape editorial hero image for this Studio Global article: How did AgiBot’s WITA-Omni Preview full-modal model achieve a leading 85.21 score and six first-place results out of eight indicators on the. Article summary: AgiBot’s result is best understood as a strong benchmark outcome enabled by native audio-video temporal reasoning, not as independently proven evidence of superior real-world robot intelligence. Daily-Omni is designed to. Topic tags: general, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
AgiBot ระบุว่า WITA-Omni Preview ทำคะแนนเฉลี่ย 85.21% บน Daily-Omni ซึ่งเป็นเบนช์มาร์กการให้เหตุผลจากภาพและเสียง โดยนำระบบที่ถูกประเมินจาก Qwen, Gemini, Doubao และ NVIDIA และได้อันดับหนึ่งหรือร่วมอันดับหนึ่งใน 6 จาก 8 ตัวชี้วัด 1
18
23
คำอธิบายที่สมเหตุสมผลที่สุดไม่ใช่แค่โมเดลมีขนาดใหญ่ แต่เป็นเพราะแนวทางออกแบบและการฝึกที่บริษัทอธิบายไว้ตรงกับสิ่งที่ Daily-Omni วัดพอดี: การเชื่อมโยง สิ่งที่เห็น สิ่งที่ได้ยิน และเวลาที่เหตุการณ์เกิดขึ้น
อย่างไรก็ดี ผลทดสอบนี้เป็นสัญญาณบวกต่อ AI แบบมัลติโหมด ไม่ใช่หลักฐานเพียงพอว่าหุ่นยนต์ซึ่งใช้โมเดลดังกล่าวจะทำงานได้อย่างน่าเชื่อถือในสถานการณ์ทางสังคมหรือกายภาพที่เปิดกว้างและคาดเดายาก
Daily-Omni วัดอะไร
Daily-Omni เป็นเบนช์มาร์กการตอบคำถามจากภาพและเสียงที่เน้น การให้เหตุผลข้ามสื่อตามแนวเวลา ชุดข้อมูลประกอบด้วยวิดีโอชีวิตประจำวัน 684 คลิป และคำถามแบบปรนัย 1,197 ข้อ ครอบคลุมงานหลัก 6 ประเภท 17
27
โจทย์ไม่ได้หยุดแค่บอกว่าในภาพมีอะไร หรือถอดคำพูดจากเสียงได้หรือไม่ โมเดลต้องระบุว่าเหตุการณ์ภาพใดเกิดสอดคล้องกับเสียงใด เหตุการณ์ใดมาก่อนหรือมาหลัง และนำหลักฐานจากทั้งสองช่องทางมาตอบคำถาม ตารางสาธารณะของเบนช์มาร์กมีหัวข้อ เช่น การจัดแนวภาพ-เสียง การเปรียบเทียบ ความเข้าใจบริบท ลำดับเหตุการณ์ การอนุมาน การให้เหตุผล และชุดวิดีโอความยาว 30 กับ 60 วินาที 20
23
ตัวอย่างเช่น โมเดลอาจต้องแยกให้ได้ว่าการกระทำที่หน้าตาคล้ายกันมีเสียงต่างกัน หรือเสียงหนึ่งเกิดก่อน ระหว่าง หรือหลังการกระทำที่เห็นบนจอ
เหตุใดแนวทางของ WITA-Omni จึงเข้ากับโจทย์นี้
AgiBot อธิบายว่า WITA-Omni Preview เป็นโมเดลมัลติโหมดแบบ “embodied-native” ที่สร้างมาเพื่อเข้าใจข้อความ ภาพ เสียง และวิดีโอร่วมกัน 5
9 จุดนี้สอดคล้องโดยตรงกับ Daily-Omni ซึ่งให้รางวัลแก่โมเดลที่รักษาความสัมพันธ์ระหว่างสื่อหลายประเภทและลำดับเวลา แทนที่จะประมวลผลเสียงกับวิดีโอเป็นข้อมูลแยกขาดจากกัน
17
20
ผลที่รายงานว่าทำได้ดีเป็นพิเศษ ได้แก่ การจัดแนวภาพ-เสียง การเปรียบเทียบ ลำดับเหตุการณ์ และชุดวิดีโอ 30/60 วินาที 1
18 ทั้งหมดคือหมวดที่การมีตัวแทนความเข้าใจร่วมกันว่า เกิดอะไรขึ้น ได้ยินอะไร และเกิดเมื่อไร น่าจะช่วยได้มาก
AgiBot และรายงานเกี่ยวกับโมเดลยังระบุถึงการฝึกด้วยข้อมูลมัลติโหมดแบบเปิดและข้อมูลกรรมสิทธิ์ระดับหลายสิบล้านชั่วโมง รวมถึงข้อมูลที่พยายามรักษาจังหวะตามธรรมชาติระหว่างคำพูด ภาพ การเคลื่อนไหว และสีหน้า 5
6
9 แต่ข้อมูลสาธารณะยังไม่เปิดเผยขนาดโมเดล ส่วนผสมข้อมูลฝึกทั้งหมด การทดสอบแยกผลของแต่ละองค์ประกอบ การตั้งค่าขณะอนุมาน หรือรายละเอียดที่ทำซ้ำการประเมินได้อย่างอิสระ จึงยังสรุปไม่ได้ว่าทางเลือกทางเทคนิคข้อใดเป็นสาเหตุโดยตรงของคะแนน 85.21 ผลอธิบายนี้จึงควรมองว่า “เป็นไปได้” ไม่ใช่ “พิสูจน์แล้ว”
Thinker–Talker–Actor: แยกบทบาท แต่ทำงานคู่ขนาน
AgiBot อธิบาย WITA-Omni ด้วยสถาปัตยกรรม Thinker–Talker–Actor ซึ่งต่อยอดแนวคิดการให้เหตุผลและการพูดไปสู่ผลลัพธ์ทางกายภาพและการแสดงออก 5
12
- Thinker ทำหน้าที่อนุมานข้ามข้อความ ภาพ เสียง และวิดีโอ เพื่อรักษาความเข้าใจฉากและบริบทการปฏิสัมพันธ์
15
- Talker สร้างภาษาในรูปแบบเสียงพูดแบบสตรีม จึงไม่จำเป็นต้องรอให้คำตอบสมบูรณ์ทั้งประโยคก่อนเริ่มตอบ
8
9
- Actor ดูแลการเคลื่อนไหวและผลลัพธ์เชิงการแสดงออก เช่น ท่าทางและสีหน้า
5
เป้าหมายที่รายงานคือการทำให้คำพูด การกระทำ และการแสดงออกประสานกันบนเส้นเวลาเดียว แทนการผลิตทีละขั้นอย่างแยกส่วน 12
เส้นเวลาเดียวช่วยให้ปฏิสัมพันธ์ดูตอบสนองขึ้นอย่างไร
ระบบหุ่นยนต์แบบดั้งเดิมมักทำงานเรียงลำดับ: ส่วนรับรู้ตีความสิ่งแวดล้อม จากนั้นระบบภาษาสร้างคำตอบ ระบบวางแผนเลือกการกระทำ แล้วชั้นควบคุมหรือแอนิเมชันจึงเริ่มปฏิบัติ แต่ละจุดส่งต่องานอาจเพิ่มเวลารอ และทำให้คำพูด ท่าทาง หรือการเคลื่อนที่ดูไม่สัมพันธ์กัน
แนวทาง Thinker–Talker–Actor แบบขนานตั้งใจลดพฤติกรรม “หยุดรอเป็นทอด ๆ” นี้ ระหว่างที่ระบบยังตีความคำพูด ท่าทาง และสภาพแวดล้อมของผู้ใช้ ก็อาจเริ่มตอบรับด้วยคำพูดสั้น ๆ พร้อมกำหนดการแสดงออกทางกายภาพที่เข้ากันได้ ในทางหลักการ วิธีนี้ช่วยให้การผลัดกันพูดดูเป็นธรรมชาติขึ้น และทำให้สิ่งที่หุ่นยนต์พูดสอดคล้องกับการเคลื่อนไหวมากขึ้น
อย่างไรก็ตาม นี่เป็นเหตุผลเชิงสถาปัตยกรรม แหล่งข้อมูลที่มีอธิบายการซิงโครไนซ์ผลลัพธ์ แต่ยังไม่มีตัวเลขวัดการลดความหน่วงแบบครบวงจรที่ตรวจสอบได้อย่างอิสระ 12
WITA-Omni อยู่ตรงไหนในชุดเทคโนโลยีของ AgiBot
WITA-Omni เป็นเพียงชั้นหนึ่งของแนวทาง embodied AI ของ AgiBot ส่วน GE-Sim 2.0 (Genie Envisioner-Sim 2.0) เป็นตัวจำลองโลกแบบวิดีโอวงปิดสำหรับงานหยิบจับของหุ่นยนต์ โดยรับเฟรมประวัติจากหลายมุมมองและเส้นทางการกระทำ แล้วสร้างภาพจำลองอนาคตจากหลายมุมมองให้สอดคล้องกับพฤติกรรมที่กำหนด โครงการระบุว่าได้ฝึกซ้ำด้วยข้อมูลหุ่นยนต์ในโลกจริงขนาดใหญ่ ซึ่งรวมถึงการควบคุมทางไกล ปฏิสัมพันธ์ที่มีการสัมผัสมาก และการนำโพลิซีไปใช้บนหุ่นยนต์ 11
หากมองเป็นภาพรวม ทั้งสามส่วนมีบทบาทต่างกัน:
- การจำลองโลก: GE-Sim 2.0 ใช้จำลองผลลัพธ์ที่อาจเกิดจากการกระทำ เพื่อประเมินและพัฒนาโพลิซีแบบวงปิด
11
- การปฏิสัมพันธ์แบบมัลติโหมด: WITA-Omni ตีความบริบทภาพ-เสียง ให้เหตุผล พูด และประสานพฤติกรรมเชิงการแสดงออก
12
- ร่างกายของหุ่นยนต์: ฮาร์ดแวร์จัดหาเซ็นเซอร์และตัวกระทำที่จำเป็นต่อการรับรู้และลงมือทำในโลกจริง
AgiBot ยังระบุว่า GE-Sim 2.0 นำบนเบนช์มาร์ก WorldArena แต่การจัดอันดับนี้เป็นคำกล่าวอ้างของบริษัทในเอกสารที่มีอยู่ และควรประเมินแยกจากผล Daily-Omni 4
36
คะแนน 85.21 ยืนยันอะไร และยังยืนยันไม่ได้อะไร
ผล Daily-Omni เป็นหลักฐานที่มีประโยชน์ว่า WITA-Omni ทำได้ดีในงานให้เหตุผลภาพ-เสียงตามลำดับเวลาประเภทหนึ่ง ความสามารถในการเชื่อมโยงคำพูด เสียงแวดล้อม การกระทำที่มองเห็น และจังหวะเวลา มีความเกี่ยวข้องกับการปฏิสัมพันธ์ระหว่างมนุษย์กับหุ่นยนต์อย่างชัดเจน 17
27
แต่คะแนนเบนช์มาร์กเพียงอย่างเดียวไม่ได้พิสูจน์ว่าระบบพร้อมใช้งานจริงอย่างไว้ใจได้ เพราะไม่ได้วัดการควบคุมที่ปลอดภัย ความทนทานของงานหยิบจับ การฟื้นตัวจากความผิดพลาด การวางแผนระยะยาว ความเหมาะสมทางสังคมข้ามวัฒนธรรม หรือความน่าเชื่อถือเมื่อเจอสถานการณ์ที่ไม่คุ้นเคย
ข้อสรุปที่แม่นยำที่สุดจึงมีขอบเขตชัดเจน: การนำที่รายงานของ WITA-Omni สอดคล้องกับโมเดลที่ออกแบบมาให้เข้าใจและแสดงออกแบบมัลติโหมดอย่างซิงโครไนซ์ แต่การเปลี่ยนความได้เปรียบนี้ให้เป็นหุ่นยนต์ที่น่าเชื่อถือในพื้นที่สังคมที่คาดเดายาก ยังต้องมีหลักฐานมากกว่าคะแนน Daily-Omni.
Studio Global AI
ทำการวิจัยต่อ
หน้านี้รวมคำตอบที่ได้รับการสนับสนุนจากแหล่งที่มาซึ่งคุณสามารถดำเนินการต่อภายใน Studio Global
คนยังถาม
คำตอบสั้น ๆ สำหรับ "WITA-Omni ของ AgiBot ทำคะแนน 85.21 ใน Daily-Omni ได้อย่างไร" คืออะไร
AgiBot รายงานว่า WITA Omni Preview ได้คะแนนเฉลี่ย 85.21% ใน Daily Omni และได้อันดับหนึ่งหรือร่วมอันดับหนึ่ง 6 จาก 8 ตัวชี้วัด
ประเด็นสำคัญที่ต้องตรวจสอบก่อนคืออะไร?
AgiBot รายงานว่า WITA Omni Preview ได้คะแนนเฉลี่ย 85.21% ใน Daily Omni และได้อันดับหนึ่งหรือร่วมอันดับหนึ่ง 6 จาก 8 ตัวชี้วัด Daily Omni ทดสอบการตอบคำถามจากภาพและเสียงที่ต้องจับคู่เหตุการณ์ข้ามสื่อ รวมถึงเข้าใจว่าเหตุการณ์ใดเกิดก่อน หลัง หรือพร้อมกัน
ฉันควรทำอย่างไรต่อไปในทางปฏิบัติ?
สถาปัตยกรรม Thinker–Talker–Actor ถูกอธิบายว่าใช้ประสานการให้เหตุผล การพูดแบบสตรีม และท่าทางหรือการแสดงออกบนเส้นเวลาเดียวกัน แต่ยังไม่มีตัวเลขอิสระยืนยันว่าลดความหน่วงได้มากเพียงใด
แหล่งที่มา
roboticsandautomationnews.comAGIBOT's foundation model tops benchmark test for audio- ...
finance.yahoo.comAGIBOT's WITA-Omni Preview Tops Daily-Omni Audio ...
lliar-liar.github.ioDaily-Omni: Towards Audio-Visual Reasoning with Temporal ...
arxiv.orgDaily-Omni: Towards Audio-Visual Reasoning with Temporal ... - arXiv