AgiBot מדווחת כי WITA-Omni Preview השיג דיוק ממוצע של 85.21% במדד ההנמקה האודיו-ויזואלית Daily-Omni, והוביל בשישה מתוך שמונת המדדים המדווחים מול מערכות שנבחנו של Qwen, Gemini, Doubao ו-NVIDIA. 
1
18
23 ההסבר הסביר ביותר אינו בהכרח שמדובר במודל גדול יותר, אלא שהעיצוב והאימון המתוארים שלו תואמים היטב למה שהמבחן בודק: קישור בין צלילים, אירועים חזותיים והתזמון ביניהם.
זהו צעד משמעותי עבור בינה מלאכותית רב-אופנית, אך הוא אינו מוכיח כשלעצמו שרובוט המבוסס על המודל יהיה אמין במגוון רחב של סביבות חברתיות או פיזיות פתוחות.
מה בדיוק בודק Daily-Omni
Daily-Omni הוא מדד שאלות-ותשובות אודיו-ויזואלי שנועד להעריך הנמקה רב-אופנית עם יישור זמנים. מערך הנתונים כולל 684 סרטונים מחיי היום-יום ו-1,197 שאלות אמריקאיות בשישה סוגי משימות. 
17
27
הקושי המרכזי אינו רק לזהות חפץ בפריים או לתמלל דיבור. המודל צריך לקבוע אילו אירועים חזותיים וקוליים התרחשו יחד, להסיק את סדרם ולהשתמש בראיות משני הערוצים כדי לענות. טבלת המדד כוללת התאמת אודיו-וידאו, השוואה, הבנת הקשר, רצף אירועים, הסקה, הנמקה, וכן תתי-מבחנים לסרטונים של 30 ו-60 שניות. 2023
במילים פשוטות: תשובה נכונה עשויה לדרוש להבחין בין שתי פעולות שנראות דומות אך נשמעות אחרת, או לזהות אם צליל התרחש לפני פעולה נראית, במהלכה או אחריה.
מדוע הגישה של WITA-Omni מתאימה למבחן
AgiBot מתארת את WITA-Omni Preview כמודל רב-אופני, "ילידי-התגלמות", שמיועד להבנה משותפת של טקסט, תמונה, קול ווידאו. 
5
9 הדגש הזה חופף ישירות לתכנון של Daily-Omni: המדד מתגמל מודלים ששומרים על הקשרים בין ערוצי המידע ולאורך זמן, במקום להתייחס לקול ולווידאו כקלטים נפרדים. 1720
לפי התוצאות שדווחו, המודל בלט במיוחד בהתאמת אודיו-וידאו, בהשוואה, ברצף אירועים ובסרטונים בני 30 ו-60 שניות. 118 אלה בדיוק הקטגוריות שבהן ייצוג משותף של מה קרה, מה נשמע ומתי זה קרה אמור לסייע.
AgiBot ופרסומים על המודל מצביעים גם על אימון בעשרות מיליוני שעות של נתונים רב-אופניים פתוחים וקנייניים, ובכלל זה נתונים שנועדו לשמר את התזמון הטבעי בין דיבור, דימוי, תנועה והבעה. 5
69 עם זאת, המידע הציבורי אינו כולל את גודל המודל, תמהיל האימון המלא, מחקרי אבלציה, הגדרות ההסקה או פרטי הערכה שניתן לשחזר באופן עצמאי. לכן אפשר לראות בקשר הסיבתי בין בחירה טכנית מסוימת לציון 85.21 הסבר סביר — לא הוכחה.
Thinker–Talker–Actor: מודל מקביל לאינטראקציה גופנית
AgiBot מתארת את WITA-Omni באמצעות ארכיטקטורת Thinker–Talker–Actor: הרחבה של דפוס ההנמקה והדיבור המוכר גם לפלט פיזי והבעתי. 5
12
- Thinker: מבצע הסקה רב-אופנית מטקסט, תמונות, קול ווידאו, ושומר על פרשנות של הסצנה והאינטראקציה.
15
- Talker: מפיק שפה כדיבור זורם, בלי להמתין בהכרח להשלמת התשובה כולה.
89
- Actor: מטפל בתנועות פיזיות ובפלטים הבעתיים, לרבות מחוות והבעות פנים. 58
מטרת העיצוב המדווחת היא סנכרון: דיבור, פעולה והבעה מתואמים על ציר זמן אחד, במקום להיווצר כשלבים מנותקים. 12
איך ציר זמן משותף עשוי להפחית תחושת השהיה
מערכת רובוטית רגילה יכולה לפעול באופן טורי: תפיסה מייצרת פירוש, מערכת שפה מחוללת תגובה, מתכנן בוחר פעולה, ולבסוף שכבת הנפשה או בקרה מבצעת אותה. כל העברת מידע כזו עשויה להוסיף המתנה — ולגרום לכך שמילות הרובוט, המחוות והתנועה שלו ייראו מנותקים.
סידור מקביל של Thinker–Talker–Actor נועד לצמצם חלק מהתנהגות ה"עצור והמתן" הזו. בזמן שהמודל ממשיך לפרש את דברי האדם, תנועותיו והסביבה, הוא יכול להתחיל בהכרה מילולית ולתזמן הבעה גופנית תואמת. עקרונית, הדבר עשוי לאפשר חילופי תורות טבעיים יותר ותיאום טוב יותר בין מה שהרובוט אומר לאופן שבו הוא נע.
זהו יתרון ארכיטקטוני, לא תוצאה שנמדדה באופן עצמאי: המקורות הזמינים מתארים פלטים מסונכרנים, אך אינם מספקים מדידה של הפחתת השהיה מקצה לקצה. 12
המקום של GE-Sim 2.0 והחומרה הרובוטית
WITA-Omni הוא שכבה אחת בהצעת ה-AI הגופני הרחבה של AgiBot. GE-Sim 2.0 (Genie Envisioner-Sim 2.0) הוא סימולטור עולם וידאו בלולאה סגורה למניפולציה רובוטית. בהינתן פריימים היסטוריים מריבוי זוויות ומסלול פעולה, הוא מייצר המשכים עתידיים מריבוי זוויות התואמים להתנהגות הרובוט שהוגדרה; הפרויקט מציין כי אומן מחדש על נתוני רובוטים מהעולם האמיתי, הכוללים טלאופרציה, מגע מורכב ופריסת מדיניות על רובוט. 
11
מבחינה רעיונית, לשלושת הרכיבים תפקידים נפרדים:
- סימולציית עולם: GE-Sim 2.0 יכול לדמות תוצאות אפשריות של פעולות לצורכי הערכה ועבודה על מדיניות בלולאה סגורה. 11
- אינטראקציה רב-אופנית: WITA-Omni יכול לפרש הקשר אודיו-ויזואלי, להסיק ממנו, לדבר ולתאם התנהגות הבעתית. 512
- התגלמות פיזית: חומרת הרובוט מספקת את החיישנים והמפעילים הדרושים לתפיסה ולפעולה בעולם.
AgiBot גם טענה כי GE-Sim 2.0 מוביל במדד WorldArena, אך דירוג זה הוא טענת חברה בחומרים הזמינים כאן ויש לבחון אותו בנפרד מתוצאת Daily-Omni. 
4
36
מה ציון 85.21 כן מוכיח — ומה לא
תוצאת Daily-Omni היא ראיה שימושית לכך ש-WITA-Omni מתפקד היטב בסוג מוגדר של משימות הנמקה זמניות על קול ווידאו. מכיוון שאינטראקציית אדם-רובוט מחייבת קישור בין דיבור, קולות סביבתיים, פעולות נראות ותזמון, היכולות הללו רלוונטיות ל-AI גופני. 1727
אבל ציון במדד אינו מוכיח פריסה אמינה בעולם. הוא אינו מודד כשלעצמו בקרה בטוחה, עמידות במניפולציה, התאוששות משגיאות, תכנון לטווח ארוך, התאמה חברתית בין תרבויות או אמינות בתנאים לא מוכרים.
המסקנה המדויקת יותר היא זו: ההובלה המדווחת של WITA-Omni עולה בקנה אחד עם מודל שתוכנן להבנה ולהבעה רב-אופניות מסונכרנות. כדי להפוך יתרון כזה לרובוטים אמינים במרחבים חברתיים לא מובנים, נדרשות ראיות שמעבר ל-Daily-Omni.
