Le duel des architectures de modèles du monde : RNN contre Transformer contre S4

L'étude « Facing Off World Model Backbones: RNNs, Transformers, and S4 » (Deng, Park et Ahn, 2023) examine quelle architecture de modèle séquentiel est la plus efficace pour les modèles du monde latents en apprentissage par renforcement basé modèle. Elle introduit S4WM, qui applique des couches Structured State Space Sequence (S4) à l'imagination latente visuelle haute dimension.

Travaux connexes

• Modèles du monde latents / RL basé modèle. Les fondations les plus proches sont les agents à dynamique latente comme PlaNet, Dreamer, DreamerV2 et DreamerV3, qui apprennent des représentations d'état stochastiques compactes et prédisent des trajectoires futures latentes pour optimiser une politique. L'article positionne les modèles récurrents de type RSSM — en particulier Dreamer — comme la famille de référence dominante.

• Réseaux de neurones récurrents. Les modèles de dynamique RNN, LSTM et GRU fournissent des mises à jour d'état récurrentes en ligne et ont été centraux pour la modélisation visuelle du monde. Leur principale limitation est l'apprentissage séquentiel dans le temps, ce qui réduit le parallélisme temporel et peut rendre la modélisation de contextes très longs plus difficile.

• Modèles du monde Transformer. Les modèles de dynamique basés sur Transformer, y compris TransDreamer, remplacent la récurrence par l'auto-attention, permettant un apprentissage parallèle et un accès direct à de longs historiques. Leur coût d'attention quadratique standard en longueur de séquence rend les déroulés imaginés longs et la modélisation visuelle de longs contextes coûteuse en calcul.