RNNs vs Transformers vs S4: ¿cuál es la columna vertebral ideal para los modelos del mundo en inteligencia artificial?

“Facing Off World Model Backbones: RNNs, Transformers, and S4” (Deng, Park y Ahn, 2023) estudia qué arquitectura de modelo de secuencias es más efectiva para modelos del mundo latentes en aprendizaje por refuerzo basado en modelos (MBRL, por sus siglas en inglés). Introduce S4WM, que aplica capas de Secuencia de Estados de Espacio Estructurado (S4) a la imaginación latente visual de alta dimensión.

Trabajo relacionado

• Modelos del mundo latentes / aprendizaje por refuerzo basado en modelos. Los fundamentos más cercanos son agentes con dinámicas latentes como PlaNet, Dreamer, DreamerV2 y DreamerV3, que aprenden representaciones de estado estocásticas compactas y predicen trayectorias futuras latentes para optimizar políticas. El artículo posiciona los modelos recurrentes tipo RSSM —especialmente Dreamer— como la familia de referencia dominante.

• Redes neuronales recurrentes. Los modelos de dinámicas basados en RNN, LSTM y GRU proporcionan actualizaciones de estado recurrentes en línea y han sido fundamentales en el modelado visual del mundo. Su principal limitación es el entrenamiento secuencial a lo largo del tiempo, lo que reduce el paralelismo temporal y puede dificultar el modelado de contextos muy largos.

• Modelos del mundo basados en Transformers. Los modelos de dinámicas basados en Transformers, incluido TransDreamer, reemplazan la recurrencia con autoatención, lo que permite entrenamiento paralelo y acceso directo a historias largas. Sin embargo, su costo de atención cuadrático en longitud de secuencia hace que las imaginaciones largas y el modelado visual de contextos extensos sean computacionalmente costosos.