מחקר חדש משווה בין עמודי שדרה של מודלי עולם: RNN, טרנספורמרים ו-S4

המחקר "Facing Off World Model Backbones: RNNs, Transformers, and S4" (Deng, Park, Ahn, 2023) בוחן איזה עמוד שדרה של מודל רצפים הוא היעיל ביותר עבור מודלי עולם לטנטיים (Latent World Models) בלמידת חיזוק מבוססת-מודל (Model-Based Reinforcement Learning). המחקר מציג את S4WM, המיישם שכבות Structured State Space Sequence (S4) לדמיון חזותי לטנטי במימד גבוה.

עבודה קשורה

• מודלי עולם לטנטיים / למידת חיזוק מבוססת-מודל. הבסיס הקרוב ביותר הם סוכני דינמיקה לטנטית כמו PlaNet, Dreamer, DreamerV2 ו-DreamerV3. סוכנים אלה לומדים ייצוגי מצב סטוכסטיים קומפקטיים ומנבאים מסלולים עתידיים לטנטיים לצורך אופטימיזציית מדיניות. המחקר ממקם מודלים רקורסיביים בסגנון RSSM - במיוחד Dreamer - כמשפחת הבסיס הדומיננטית.

• רשתות עצביות רקורסיביות (RNN). מודלי דינמיקה מבוססי RNN, LSTM ו-GRU מספקים עדכוני מצב רקורסיביים בזמן אמת ומהווים את עמוד השדרה המרכזי במודלי עולם חזותיים. המגבלה העיקרית שלהם היא אימון רצפי לאורך זמן, המפחית מקביליות זמנית ומקשה על מודלים של הקשרים ארוכים מאוד.

• מודלי עולם מבוססי טרנספורמר. מודלי דינמיקה מבוססי טרנספורמר, כולל TransDreamer, מחליפים את הרקורסיה במנגנון קשב עצמי (Self-Attention), המאפשר אימון מקבילי וגישה ישירה להיסטוריות ארוכות. עם זאת, עלות הקשב הריבועית הסטנדרטית באורך הרצף הופכת סימולציות ארוכות ומודלים חזותיים של הקשר ארוך ליקרים מבחינה חישובית.

• מודלים מובנים של מרחב מצב (Structured State-Space Models - S4). S4 הוא מודל רצפים מובנה של מרחב מצב, שתוכנן במיוחד לתלות ארוכת טווח. הוא משלב פרשנות רקורסיבית של מרחב מצב עם צורה קונבולוציונית המאפשרת אימון רצפים מקבילי. המחקר טוען כי תכונה זו הופכת את S4 לאמצע מבטיח: הסקה רקורסיבית בזמן ליניארי לצד אימון מקבילי.

• הייחוד של S4WM. בניגוד לשימוש ב-S4 למשימות רצפים קונבנציונליות, S4WM משלב אותו בתוך מודל עולם חזותי לטנטי, הכולל קידוד/פענוח תמונה ודינמיקה לטנטית סטוכסטית. לאחר מכן הוא מוערך מול מודלי RNN וטרנספורמר תחת מסגרת אחידה של מודלי עולם. התרומה המוצהרת היא מודל העולם הראשון המבוסס על S4 המייצר רצפי תמונה במימד גבוה באמצעות דמיון לטנטי.

הצהרת מיצוב תמציתית לסקירת ספרות:

מודלי עולם קודמים השתמשו בעיקר בדינמיקה לטנטית רקורסיבית או בטרנספורמרים. מודלים מבוססי RNN יעילים בהסקה אך מתאמנים באופן רצפי, בעוד שמודלי עולם מבוססי טרנספורמר מאפשרים אימון מקבילי אך סובלים מעלות חישובית ריבועית. S4WM בוחן שכבות מובנות של מרחב מצב כחלופה שנועדה לשמר אימון מקבילי תוך תמיכה במודלים יעילים של דינמיקה לטווח ארוך.