Perbandingan Tulang Belakang Model Dunia: RNN, Transformer, dan S4

“Facing Off World Model Backbones: RNNs, Transformers, and S4” (Deng, Park, dan Ahn, 2023) mengkaji tulang belakang model jujukan yang paling berkesan untuk model dunia pendam dalam pembelajaran pengukuhan berasaskan model. Ia memperkenalkan S4WM, yang menggunakan lapisan Structured State Space Sequence (S4) untuk imaginasi pendam visual berdimensi tinggi.

Kerja Berkaitan

• Model dunia pendam / pembelajaran pengukuhan berasaskan model. Asas yang paling hampir ialah agen dinamik pendam seperti PlaNet, Dreamer, DreamerV2, dan DreamerV3, yang mempelajari perwakilan keadaan stokastik yang padat dan meramalkan trajektori masa depan pendam untuk pengoptimuman dasar. Kertas kerja ini meletakkan model gaya RSSM berulang—terutamanya Dreamer—sebagai keluarga garis dasar yang dominan.

• Rangkaian neural berulang. Model dinamik RNN, LSTM, dan GRU menyediakan kemas kini keadaan berulang dalam talian dan menjadi teras kepada pemodelan dunia visual. Had utama mereka ialah latihan jujukan dari semasa ke semasa, yang mengurangkan keselarian temporal dan boleh menyukarkan pemodelan konteks yang sangat panjang.

• Model dunia Transformer. Model dinamik berasaskan Transformer, termasuk TransDreamer, menggantikan pengulangan dengan perhatian kendiri, membolehkan latihan selari dan akses terus kepada sejarah panjang. Kos perhatian kuadratik standard dalam panjang jujukan menjadikan rollout khayalan panjang dan pemodelan visual konteks panjang mahal dari segi pengiraan.