Transformer 世界模型:以 Transformer 為基礎的動力學模型(例如 TransDreamer)使用自注意力機制取代遞迴,可進行並行訓練,並直接存取長序列歷史。但其標準的自注意力計算成本隨序列長度呈二次方成長,使得長序列想像與長脈絡視覺建模在計算上相當昂貴。
結構化狀態空間模型:S4 是一種專為長程依賴性設計的結構化狀態空間序列模型。它結合了遞迴狀態空間的解釋方式與可並行訓練的卷積形式。論文認為 S4 是一個具有潛力的折衷方案:具備線性時間的遞迴推論能力,同時又能進行可並行化的訓練。
S4WM 的獨特之處:S4WM 並未將 S4 應用於傳統的序列基準測試,而是將其整合進一個潛在視覺世界模型中,包含影像編碼/解碼與隨機潛在動力學,並在統一的世界模型框架下,與 RNN 和 Transformer 骨幹進行比較。該研究的貢獻在於首次提出基於 S4 的世界模型,能透過潛在想像生成高維度影像序列。
過往的世界模型主要使用遞迴潛在動力學或 Transformer。基於 RNN 的模型推論效率高,但訓練過程為順序進行;而 Transformer 世界模型雖可並行訓練,但其時間維度成本為二次方。S4WM 探索了結構化狀態空間層作為替代骨幹的可能性,旨在保留並行訓練優勢的同時,支援高效能的長程動力學建模。