World Models em Confronto: RNNs, Transformers e S4 na Mira da Pesquisa em IA

O artigo “Facing Off World Model Backbones: RNNs, Transformers, and S4” (Deng, Park e Ahn, 2023) investiga qual arquitetura de modelo de sequência é mais eficaz como espinha dorsal de world models latentes em aprendizado por reforço baseado em modelos (model-based reinforcement learning, MBRL). Os autores apresentam o S4WM, que aplica camadas Structured State Space Sequence (S4) à imaginação visual latente de alta dimensão.

Trabalhos Relacionados

• World Models Latentes e MBRL. As bases mais próximas são agentes de dinâmica latente como PlaNet, Dreamer, DreamerV2 e DreamerV3, que aprendem representações estocásticas compactas de estado e preveem trajetórias futuras latentes para otimização de políticas. O artigo posiciona os modelos recorrentes do tipo RSSM — com destaque para o Dreamer — como a família de base dominante.

• Redes Neurais Recorrentes (RNNs). Modelos de dinâmica baseados em RNN, LSTM e GRU realizam atualizações recorrentes de estado online e são centrais para a modelagem visual do mundo. Sua principal limitação é o treinamento sequencial ao longo do tempo, o que reduz o paralelismo temporal e dificulta a modelagem de contextos muito longos.

• World Models Baseados em Transformers. Modelos como o TransDreamer substituem a recorrência por autoatenção (self-attention), permitindo treinamento paralelo e acesso direto a longos históricos. Porém, o custo quadrático da atenção em relação ao comprimento da sequência torna caras as rollouts imaginadas longas e a modelagem visual de contextos extensos.