相關研究：RNN、Transformer 與 S4 的世界模型骨幹對決

論文〈Facing Off World Model Backbones: RNNs, Transformers, and S4〉（Deng, Park, and Ahn, 2023）旨在探討在模型基礎強化學習（model-based reinforcement learning）中，哪一種序列模型骨幹最適合用於潛在世界模型。該研究提出了 S4WM，首次將結構化狀態空間序列（Structured State Space Sequence, S4）層應用於高維度視覺潛在想像。

相關研究

• 潛在世界模型 / 模型基礎強化學習：最相近的基礎研究是 PlaNet、Dreamer、DreamerV2 與 DreamerV3 等潛在動力學代理。這些模型學習緊湊的隨機狀態表徵，並預測潛在的未來軌跡，以進行策略最佳化。該論文將遞迴式的 RSSM 風格模型（尤其是 Dreamer）定位為主要的基準家族。

• 遞迴神經網路：RNN、LSTM 和 GRU 等動力學模型提供線上遞迴狀態更新，一直是視覺世界模型的核心。其主要限制在於必須依時間順序進行訓練，降低了時間維度的並行性，且難以建模極長的脈絡。

• Transformer 世界模型：以 Transformer 為基礎的動力學模型（例如 TransDreamer）使用自注意力機制取代遞迴，可進行並行訓練，並直接存取長序列歷史。但其標準的自注意力計算成本隨序列長度呈二次方成長，使得長序列想像與長脈絡視覺建模在計算上相當昂貴。

• 結構化狀態空間模型：S4 是一種專為長程依賴性設計的結構化狀態空間序列模型。它結合了遞迴狀態空間的解釋方式與可並行訓練的卷積形式。論文認為 S4 是一個具有潛力的折衷方案：具備線性時間的遞迴推論能力，同時又能進行可並行化的訓練。

• S4WM 的獨特之處：S4WM 並未將 S4 應用於傳統的序列基準測試，而是將其整合進一個潛在視覺世界模型中，包含影像編碼/解碼與隨機潛在動力學，並在統一的世界模型框架下，與 RNN 和 Transformer 骨幹進行比較。該研究的貢獻在於首次提出基於 S4 的世界模型，能透過潛在想像生成高維度影像序列。