מחקר חדש משווה בין עמודי שדרה של מודלי עולם: RNN, טרנספורמרים ו-S4

המחקר "Facing Off World Model Backbones: RNNs, Transformers, and S4" (Deng, Park, Ahn, 2023) בוחן איזה עמוד שדרה של מודל רצפים הוא היעיל ביותר עבור מודלי עולם לטנטיים (Latent World Models) בלמידת חיזוק מבוססת-מודל (Model-Based Reinforcement Learning). המחקר מציג את S4WM, המיישם שכבות Structured State Space Sequence (S4) לדמיון חזותי לטנטי במימד גבוה.

עבודה קשורה

• מודלי עולם לטנטיים / למידת חיזוק מבוססת-מודל. הבסיס הקרוב ביותר הם סוכני דינמיקה לטנטית כמו PlaNet, Dreamer, DreamerV2 ו-DreamerV3. סוכנים אלה לומדים ייצוגי מצב סטוכסטיים קומפקטיים ומנבאים מסלולים עתידיים לטנטיים לצורך אופטימיזציית מדיניות. המחקר ממקם מודלים רקורסיביים בסגנון RSSM - במיוחד Dreamer - כמשפחת הבסיס הדומיננטית.

• רשתות עצביות רקורסיביות (RNN). מודלי דינמיקה מבוססי RNN, LSTM ו-GRU מספקים עדכוני מצב רקורסיביים בזמן אמת ומהווים את עמוד השדרה המרכזי במודלי עולם חזותיים. המגבלה העיקרית שלהם היא אימון רצפי לאורך זמן, המפחית מקביליות זמנית ומקשה על מודלים של הקשרים ארוכים מאוד.