世界モデルのバックボーン対決：RNN、Transformer、そしてS4

「Facing Off World Model Backbones: RNNs, Transformers, and S4」（Deng, Park, Ahn, 2023）は、モデルベース強化学習（MBRL）において、潜在世界モデルに最も効果的な系列モデルバックボーンを研究した論文です。この研究では、構造化状態空間系列（S4）層を高次元視覚潜在想像に適用したS4WMを導入しています。

関連研究

• 潜在世界モデル／モデルベース強化学習
  最も近い基盤となるのは、PlaNet、Dreamer、DreamerV2、DreamerV3などの潜在力学エージェントです。これらはコンパクトな確率的状態表現を学習し、政策最適化のために潜在的な未来軌跡を予測します。論文では、再帰型RSSMスタイルのモデル、特にDreamerを主要なベースラインファミリーとして位置づけています。

• 再帰型ニューラルネットワーク（RNN）
  RNN、LSTM、GRUを用いた力学モデルは、オンラインでの再帰的状態更新を提供し、視覚世界モデリングの中心的な役割を果たしてきました。しかし、時間方向の逐次学習が必要なため、時間的な並列性が低下し、非常に長いコンテキストのモデリングが困難になるという制約があります。

• Transformer世界モデル
  TransDreamerなど、Transformerベースの力学モデルは、再帰を自己注意に置き換えることで並列学習を可能にし、長い履歴への直接アクセスを実現します。ただし、系列長に対して二次的な注意コストがかかるため、長い想像上のロールアウトや長文脈の視覚モデリングには計算コストが高くなります。

• 構造化状態空間モデル（S4）
  S4は、長距離依存関係のために設計された構造化状態空間系列モデルであり、再帰的状態空間解釈と、並列系列学習を可能にする畳み込み形式を組み合わせています。論文では、S4が線形時間の再帰的推論と並列化可能な学習という、両方の利点を備えた有望な中間点であると主張しています。

• S4WMの独自性
  従来のS4を系列ベンチマークに適用するのではなく、S4WMはS4を潜在視覚世界モデルに組み込み、画像エンコード/デコードと確率的潜在力学を統合し、共通の世界モデリングフレームワークのもとでRNNおよびTransformerバックボーンと比較評価しています。この研究の明確な貢献は、潜在想像を介して高次元画像系列を生成する初のS4ベース世界モデルを提案した点にあります。

文献レビューのための簡潔なポジショニングステートメントは以下の通りです：

従来の世界モデルは主に再帰的潜在力学またはTransformerを用いてきました。RNNベースのモデルは推論効率が良いものの逐次学習が必要であり、Transformer世界モデルは学習を並列化できるものの時間的な二次コストがかかります。S4WMは、並列学習を維持しつつ効率的な長期地平線力学モデリングを実現する代替バックボーンとして、構造化状態空間層を探求しています。