世界モデルのバックボーン対決：RNN、Transformer、そしてS4

「Facing Off World Model Backbones: RNNs, Transformers, and S4」（Deng, Park, Ahn, 2023）は、モデルベース強化学習（MBRL）において、潜在世界モデルに最も効果的な系列モデルバックボーンを研究した論文です。この研究では、構造化状態空間系列（S4）層を高次元視覚潜在想像に適用したS4WMを導入しています。

関連研究

• 潜在世界モデル／モデルベース強化学習
  最も近い基盤となるのは、PlaNet、Dreamer、DreamerV2、DreamerV3などの潜在力学エージェントです。これらはコンパクトな確率的状態表現を学習し、政策最適化のために潜在的な未来軌跡を予測します。論文では、再帰型RSSMスタイルのモデル、特にDreamerを主要なベースラインファミリーとして位置づけています。

• 再帰型ニューラルネットワーク（RNN）
  RNN、LSTM、GRUを用いた力学モデルは、オンラインでの再帰的状態更新を提供し、視覚世界モデリングの中心的な役割を果たしてきました。しかし、時間方向の逐次学習が必要なため、時間的な並列性が低下し、非常に長いコンテキストのモデリングが困難になるという制約があります。