打崩頭爭做AI世界模型骨幹：RNN、Transformer定S4最勁？

一篇2023年由Deng、Park同Ahn發表嘅論文「Facing Off World Model Backbones: RNNs, Transformers, and S4」，專門研究喺模型為本強化學習（model-based RL）入面，邊款序列模型骨幹最適合用嚟做潛在世界模型。佢哋提出咗S4WM，將Structured State Space Sequence（S4）層應用喺高維度視覺潛在想像上面。

相關研究

• 潛在世界模型 / 模型為本強化學習。最接近嘅基礎係PlaNet、Dreamer、DreamerV2同DreamerV3呢啲潛在動態模型。佢哋學識緊湊嘅隨機狀態表示，然後預測潛在未來軌跡嚟優化策略。論文將循環RSSM風格模型——尤其係Dreamer——定位為最主要嘅基準模型家族。

• 循環神經網絡（RNN）。RNN、LSTM同GRU呢類動態模型提供逐個時間步嘅狀態更新，一直係視覺世界模型嘅核心。佢哋最大嘅問題係訓練要逐個時間步順序進行，唔能夠平行處理，所以處理超長上下文會好困難。

• Transformer世界模型。Transformer式動態模型（例如TransDreamer）用自注意力機制代替循環，做到平行訓練同直接存取長歷史。但標準嘅二次方注意力開銷（同序列長度成平方關係）令到長時間想像同長上下文視覺建模嘅運算成本好高。

• 結構化狀態空間模型（S4）。S4係專為長距離依賴而設計嘅結構化狀態空間序列模型，佢結合咗循環狀態空間嘅解釋同卷積形式，可以做到平行序列訓練。論文認為S4係一個好有潛力嘅中間方案：推理時係線性時間（快過二次方），訓練又可以平行。

• S4WM嘅獨特之處。唔似其他人將S4用喺傳統序列基準任務，S4WM將S4嵌入到潛在視覺世界模型入面，包含圖像編碼/解碼同隨機潛在動態，然後喺同一世界模型框架下同RNN同Transformer競爭。佢哋聲稱呢個係第一個用S4做世界模型、可以透過潛在想像生成高維度圖像序列嘅方法。

文獻回顧入面可以咁樣一句總結佢嘅定位：

之前嘅世界模型主要用循環潛在動態或者Transformer。RNN模型推理好快但訓練要順序進行，Transformer世界模型訓練可平行但時間成本係二次方。S4WM嘗試用結構化狀態空間層做替代骨幹，目標係保留平行訓練嘅同時，支援高效嘅長時域動態建模。