世界模型骨干网络对决：RNN、Transformer 与 S4——相关研究综述

《Facing Off World Model Backbones: RNNs, Transformers, and S4》（Deng， Park， and Ahn, 2023）是一项系统研究，旨在探讨哪种序列模型骨干（backbone）最适合作为基于模型强化学习（model-based RL）中的潜在世界模型（latent world model）。该工作提出了 S4WM，首次将结构化状态空间序列（Structed State Space Sequence, S4）层应用于高维视觉潜在想象任务中。

相关研究工作

• 潜在世界模型 / 基于模型的强化学习。 最直接的基础是潜在动力学智能体，例如 PlaNet、Dreamer、DreamerV2 和 DreamerV3。这些方法学习紧凑的随机状态表示，并预测潜在的未来轨迹以指导策略优化。本文将循环结构的 RSSM 风格模型——尤其是 Dreamer——视为主流基准家族。

• 循环神经网络（RNN）。 RNN、LSTM 和 GRU 等动力学模型以在线循环方式更新状态，一直处于视觉世界建模的核心位置。其主要限制在于训练时必须按照时间步顺序执行，因此缺乏时间维度的并行性，对极长序列建模较为吃力。

• Transformer 世界模型。 基于 Transformer 的动力学模型（如 TransDreamer）用自注意力机制替代循环结构，支持并行训练并能直接访问整个历史信息。但其标准注意力机制的时间复杂度与序列长度成二次方关系，这使得长序列想象滚动和长上下文视觉建模的计算开销很大。

• 结构化状态空间序列模型（S4）。 S4 是一种专为长程依赖设计的结构化状态空间序列模型。它兼具循环状态空间解释和卷积形式，后者允许序列训练并行化。论文认为 S4 是一个有希望的中间方案：推理时保持线性时间，训练时可并行。

• S4WM 的创新点。 与将 S4 用于常规序列基准不同，S4WM 将其整合进一个潜在视觉世界模型，包括图像编码/解码和随机潜在动力学，并在同一世界建模框架下与 RNN 和 Transformer 骨干进行公平比较。研究声称这是首个基于 S4 并能通过潜在想象生成高维图像序列的世界模型。