HyWorldVLA של BYD מחבר בין פרטי התמונה ליעילות חישובית בנהיגה אוטונומית

BYD הציגה את HyWorldVLA, מודל Vision-Language-Action ‏(VLA) לנהיגה אוטונומית המבוסס על "מודל עולם" היברידי. הרעיון המרכזי הוא להחזיק שתי תמונות משלימות של הכביש: חיזוי עשיר בפרטים ברמת פיקסל, לצד ייצוג לטנטי — ייצוג דחוס שהמודל לומד — שמאפשר חיזוי ותכנון יעילים יותר. 1

הבעיה: פירוט רב מול עלות חישובית

חיזוי של פריימים עתידיים ברמת פיקסל יכול לשמר פרטים חזותיים רבים בסצנה, אבל הוא יקר מבחינה חישובית. מודל הפועל במרחב לטנטי, לעומת זאת, מבצע חיזוי על ייצוגים דחוסים; לכן הוא מעשי יותר להרצה, אך עלול לאבד מידע חשוב להחלטות נהיגה. 1

HyWorldVLA מנסה לא לבחור רק באחת משתי הגישות. במהלך האימון הוא משתמש בפיקוח פיקסלים כדי לשמור את הייצוג הלטנטי קשור לסצנה החזותית בפועל. בשלב ההפעלה, לעומת זאת, הוא חוזה רק תכונות לטנטיות ומעביר אותן למומחה פעולה שמפיק מסלולי נסיעה. 17

שלושת שלבי האימון

1. אימון וידאו VAE בהנחיית שפה

בשלב הראשון, מקודד אוטומטי הסתברותי לווידאו — Video VAE — דוחס רצפי וידאו של נהיגה לתכונות לטנטיות. השפה משמשת הקשר סמנטי בזמן אימון המדחס. 25

המטרה אינה רק להקטין את נפח המידע בווידאו: המרחב הלטנטי אמור לשמר את המידע הנחוץ לחיזוי העתיד ולבסוף גם לנהיגה.

2. אימון מוקדם של מודל העולם ההיברידי

לאחר מכן, תמונות, פעולות, רכיבי שפה ותכונות לטנטיות מאוחדים לטוקנים בדידים לצורך חיזוי אוטורגרסיבי. בשלב זה המודל חוזה את הלטנטים של הווידאו העתידי, ובמקביל משחזר פריימים עתידיים. 12

זוהי מהות הפיקוח הכפול:

• חיזוי ושחזור ברמת פיקסל שומרים על עיגון חזותי מפורט.
• חיזוי ייצוגים לטנטיים מעודד אות קומפקטי המתאים יותר לתכנון קדימה.

במילים פשוטות, אובדן הפיקסלים משמש מגבלה שמונעת מהמודל הלטנטי לדחוס את הסצנה יותר מדי ולאבד פרטים קריטיים. 17

3. כוונון משותף עם מומחה פעולה

בשלב האחרון מודל העולם עובר אופטימיזציה יחד עם מודל ייעודי לפעולות ולמסלולי נסיעה. בזמן ההפעלה המערכת חוזה תכונות לטנטיות במקום לייצר פריימים מלאים ברמת פיקסל; התכונות מועברות למומחה הפעולה, שמפיק את מסלול הנהיגה. 1

החלוקה הזו חשובה ליעילות: הפיקוח המדויק ברמת פיקסל מעצב את הייצוג בזמן האימון, בלי לכפות את אותה עלות חישובית בזמן החיזוי המקוון.

מה הראו ניסויי ההסרה

ב-NAVSIM v1, HyWorldVLA דיווח על 90.59 PDMS — תוצאה שהמאמר והדיווחים הנלווים תיארו כמובילה בין התוצאות הציבוריות באותה עת. 17

ניסויי ההסרה מצביעים על כך שהשילוב אינו רק צירוף של רכיבים:

• ללא חיזוי ברמת פיקסל, ציון ה-PDMS ירד מ-90.59 ל-87.50. 7
• ללא עיבוד במרחב לטנטי, הוא ירד ל-89.91. 7
• ללא הנחיית השפה במודול הלטנטי, הציון ירד ל-90.35. 20

התוצאות תומכות בטענת החוקרים שפיקוח הפיקסלים והחיזוי הלטנטי פותרים חלקים שונים של הבעיה: הראשון שומר על נאמנות לסצנה, והשני מספק ייצוג חסכוני יותר לחיזוי פעולות.

למה איזון משקלי האובדן חשוב

המאמר בוחן שני משקלים: λ1 עבור אובדן חיזוי טוקני הווידאו, ו-λ2 עבור עקביות הייצוג הלטנטי. 20

כאשר λ2 נשמר על 0.1, העלאת λ1 מ-0.1 ל-0.5 שיפרה את ה-PDMS מ-90.48 ל-90.59. כשהערך של λ1 עלה ל-1.0, הציון ירד ל-89.83. 20

כאשר λ1 נשמר על 0.5, העלאת λ2 מעבר ל-0.1 פגעה בביצועים: ב-0.2 ה-PDMS היה 90.47, והעלאה נוספת המשיכה את מגמת הירידה. 20 המסקנה אינה שיותר פיקוח תמיד טוב יותר. המודל זקוק למספיק אילוצים ברמת פיקסל ובמרחב הלטנטי כדי לשמר מידע שימושי, אך לא לכאלה שיהפכו את הייצוג לנוקשה מדי.

מה מודד PDMS ב-NAVSIM v1

PDMS הוא מדד משולב לאיכות נהיגה בסביבת NAVSIM. הוא כולל רכיבים כגון הימנעות מהתנגשויות שהרכב אחראי להן, עמידה בתחום הנסיעה המותר, זמן עד להתנגשות אפשרית, נוחות התנועה והתקדמות הרכב במסלול. 2

לכן, הציון 90.59 אינו מדד פשוט לזיהוי תמונה: הוא משקף את ביצועי תכנון הנהיגה במסגרת אותו בנצ'מרק. עם זאת, זו עדיין הערכה בסביבה מדומה, ולא אישור עצמאי לבטיחות או לביצועים בתנועה אמיתית.

מה זה אומר על אסטרטגיית ה-AI של BYD

העבודה משויכת למכון המחקר Automotive New Technology Research Institute של BYD, והיא עדות פומבית להשקעה במחקר פנימי של מודלי יסוד לנהיגה אוטונומית. 1 הדיווחים על זיקה של הקבוצה למומחיות רובוטיקה מהמכון הטכנולוגי של חרבין מעניינים, אך הראיות הראשוניות הזמינות אינן מספיקות כדי לקבוע את הרקע האקדמי של כל חוקר. 5

מול יצרניות כמו NIO, XPeng ו-Li Auto, HyWorldVLA מעניק ל-BYD הישג מחקרי פומבי ומדיד בתחום VLA ומודלי עולם. זה מעיד על יכולת מחקרית — אך לא מוכיח של-BYD כבר יש יתרון מבוסס בנהיגה אוטונומית בעולם האמיתי.

היקף הייצור והפריסה של כלי רכב מבית BYD עשוי להפוך ליתרון רק אם החברה תצליח להמיר את תוצאת המחקר למוצר בטוח, מאומת ויעיל לפריסה. המבחן המשמעותי הבא אינו עוד ציון בנצ'מרק, אלא מעבר אמין מהמודל ומהסימולציה לתפקוד על הכביש.