打崩頭爭做AI世界模型骨幹：RNN、Transformer定S4最勁？

一篇2023年由Deng、Park同Ahn發表嘅論文「Facing Off World Model Backbones: RNNs, Transformers, and S4」，專門研究喺模型為本強化學習（model-based RL）入面，邊款序列模型骨幹最適合用嚟做潛在世界模型。佢哋提出咗S4WM，將Structured State Space Sequence（S4）層應用喺高維度視覺潛在想像上面。

相關研究

• 潛在世界模型 / 模型為本強化學習。最接近嘅基礎係PlaNet、Dreamer、DreamerV2同DreamerV3呢啲潛在動態模型。佢哋學識緊湊嘅隨機狀態表示，然後預測潛在未來軌跡嚟優化策略。論文將循環RSSM風格模型——尤其係Dreamer——定位為最主要嘅基準模型家族。

• 循環神經網絡（RNN）。RNN、LSTM同GRU呢類動態模型提供逐個時間步嘅狀態更新，一直係視覺世界模型嘅核心。佢哋最大嘅問題係訓練要逐個時間步順序進行，唔能夠平行處理，所以處理超長上下文會好困難。