המודל VPP2 של Robotera משלב חיזוי של התפתחות סצנה בווידאו עם יצירת פעולות לרובוט. לפי נתוני החברה, הוא השיג בלוח הסימולציה של RoboDojo הצלחה ממוצעת של 32.26% וציון ממוצע של 39.26, והוביל בקטגוריות הכללה, דיוק וזיכרון. בניסוי נפרד על רובוט אמיתי דווחה הצלחה של 58.5% ללא התאמה נוספת למשימות ALOHA. אלה תוצאות מעניינות, אך הן אינן מוכיחות שהמודל כבר נפרס בהיקף מסחרי רחב.
2
6
מה בודק RoboDojo
RoboDojo הוא מבחן שבמרכזו מעבדת MMLab של אוניברסיטת הונג קונג, בשיתוף פעולה עם מוסדות אקדמיים. הוא בוחן מניפולציה רובוטית ב־42 משימות של זרועות רובוטיות דו־ידיות. המשימות בודקות הכללה, דיוק, ביצוע רצפים ארוכים, זיכרון והבנת הוראות באוצר מילים פתוח. המדד כולל גם שיעור הצלחה וגם ציון ממוצע, ולכן הוא מתאר יותר מאשר רק אם המשימה הושלמה או לא.
5
6
לפי התוצאות ש־Robotera דיווחה עליהן, VPP2 הוביל בלוח הסימולציה עם 32.26% הצלחה ממוצעת ו־39.26 נקודות בממוצע, ודורג ראשון בקטגוריות הכללה, דיוק וזיכרון. חשוב לדייק: זהו דירוג בלוח הסימולציה, ולא טענה להובלה בכל סוגי ההערכה של RoboDojo. ללוח הסימולציה וללוח העולם האמיתי יש דירוגים נפרדים.
2
6
בהשוואה מדווחת לאחר אימון נוסף, GPT-6-Astra השיג 22.48% הצלחה וציון ממוצע של 28.97. כלומר, באותה השוואה VPP2 הקדים אותו ב־9.78 נקודות אחוז בשיעור ההצלחה וב־10.29 נקודות בציון הממוצע. יש לקרוא את הנתונים בהקשר של ההערכה המסוימת, ולא כדירוג מוחלט לכל משימות הרובוטיקה.
6
יש גם הסתייגות לגבי הטענה ל״מקום הראשון״. היסטוריית לוח התוצאות של RoboDojo מציגה תוצאה קודמת של Simate-beta, ואחריה את התוצאה של VPP2, שנרשמה ב־8 באוקטובר. דירוג מתאר לוח מסוים במועד מסוים — הוא אינו קביעה קבועה לגבי כל גרסה, תנאי בדיקה או ביצועים בעולם האמיתי.
12
מה פירוש הטענה ״בלי נתונים נוספים״
Robotera מסרה כי השיגה את תוצאת המבחן בלי נתונים נוספים ובלי שיפור עצמי באמצעות למידת חיזוק מבוססת־סוכן. אין פירוש הדבר ש־VPP2 אומן בלי תהליך אימון רחב בווידאו: תיאור השיטה מציין שהמודל מבוסס על Wan2.1-I2V-14B שעבר אימון מוקדם, ושאימון הווידאו נמשך באמצעות סרטונים מגוונים של מניפולציה רובוטית, פעילות אנושית וסרטונים כלליים.
25
9
11
ההבחנה חשובה: הטענה על היעדר נתונים נוספים מתייחסת לתוצאה המדווחת ולתוספות של שיפור עצמי מבוסס־סוכן; השיטה המתוארת עדיין משתמשת במאגר סרטונים שנבחר לצורך פיתוח יכולת החיזוי של המודל.
9
11
קודם לחזות, אחר כך לפעול
העיקרון המרכזי ב־VPP2 הוא לפתח תחילה את חיזוי הווידאו, לייעל אותו, ורק אז להוסיף יצירת פעולות. הרעיון הוא שהמודל ישתמש בתמונות של העתיד האפשרי כדי לכוון את תנועת הרובוט, תוך ניסיון למנוע מאימון הפעולות לפגוע ביכולת ההכללה שנלמדה בשלב הווידאו.
9
11
- ללמוד לחזות פעולות. בשלב הראשון ממשיכים לאמן את Wan2.1-I2V-14B על סרטונים של מניפולציה רובוטית, פעילות אנושית וסרטונים כלליים. הסרטונים מתוארים בפירוט ומאורגנים סביב אירועים משמעותיים, כדי לסייע למודל לחזות פעולות במשימות שונות.
9
11
- לדחוס את החיזוי למתכנן. בשלב הבא מאמנים את המודל לחזות לטווח קבוע של שמונה שניות, ומשתמשים בזיקוק עקביות כדי לצמצם יצירה רב־שלבית למתכנן חזותי שפועל בצעד אחד. זמן ההשהיה המדווח לחיזוי וידאו הוא כ־0.12 שניות.
11
18
- לייצר פעולות על סמך העתיד החזוי. בשלב האחרון מוסיפים Action DiT, רכיב ליצירת פעולות בעל 0.9 מיליארד פרמטרים, ומחברים אותו למודל הווידאו באמצעות ארכיטקטורת Mixture-of-Transformers. בתהליך האימון המתואר, מקפיאים בתחילה את בסיס מודל הווידאו ומשתמשים בהתאמת LoRA לרכיב הפעולות, במטרה לשמר את הייצוגים החזותיים שנלמדו.
4
11
זמן יצירת הפעולות המדווח הוא כ־0.1 שניות למקטע פעולה של שתי שניות, נוסף על כ־0.12 שניות לחיזוי הווידאו. אלה זמני ניסוי שדווחו, ולא הבטחה למהירות זהה בכל חומרה או מערכת.
11
21
ניסויים ברובוט אמיתי וב־LIBERO
בניסוי על רובוט ALOHA אמיתי בעל שתי זרועות, VPP2 השיג לפי הדיווח 58.5% הצלחה ממוצעת ללא התאמה נוספת, על פני 10 סוגי משימות. לשם השוואה, Physical Intelligence’s pi0.5 השיג 40% — פער של 18.5 נקודות אחוז באותה הערכה. תוצאות אלה נפרדות מדירוג הסימולציה של RoboDojo ואין להשוות ביניהן ישירות כאילו היו אותו מבחן.
2
6
במאגר הפרויקט מדווחים גם 45.00% ב־LIBERO-Pro ו־63.93% בפרוטוקול LIBERO-OOD מותאם. ההסתייגות לגבי הפרוטוקול חשובה כשמשווים את נתון ה־OOD לתוצאות שהושגו בתנאי בדיקה אחרים.
17
קוד פתוח אינו הוכחה לפריסה
מאגר GitHub הרשמי של VPP2 מתעד את המימוש ואת תהליך השחרור. לפי הודעות השחרור, משקולות מודל הווידאו זמינות מ־10 באוקטובר, וקוד אימון וידאו המותנה בהיסטוריית RoboDojo הוכרז ב־12 באוקטובר. כלומר, השחרור נעשה בשלבים ולא בהכרח היה שלם במועד אחד.
3
22
המידע הזמין תומך בקיומם של ביצועי מבחן מדווחים, ניסויים ברובוט אמיתי וזמינות בקוד פתוח. הוא אינו מוכיח ש־VPP2 עצמו פועל בהיקף רחב בפריסות לוגיסטיות מסחריות. גם אם פריסות של החברה יאומתו בנפרד, הדבר לבדו לא יראה שהמערכות האלה משתמשות דווקא במודל הזה.