Modele świata bez przeszłości: RNN, Transformer i S4 w nowym świetle

„Facing Off World Model Backbones: RNNs, Transformers, and S4” (Deng, Park i Ahn, 2023) to badanie, które sprawdza, który typ modelu sekwencyjnego najlepiej sprawdza się jako fundament latentnych modeli świata w uczeniu ze wzmocnieniem opartym na modelu (model-based reinforcement learning). Wprowadza ono S4WM – model wykorzystujący warstwy Structured State Space Sequence (S4) do wysokowymiarowej wizualnej latentnej wyobraźni.

Pokrewne prace

• Latentne modele świata / modelowe uczenie ze wzmocnieniem (MBRL). Najbliższe fundamenty to agenci latentnej dynamiki, tacy jak PlaNet, Dreamer, DreamerV2 i DreamerV3, którzy uczą się zwartych stochastycznych reprezentacji stanu i przewidują latentne trajektorie przyszłości w celu optymalizacji polityki. Praca pozycjonuje rekurencyjne modele RSSM – zwłaszcza Dreamer – jako dominującą rodzinę bazową.

• Rekurencyjne sieci neuronowe (RNN). Modele dynamiki oparte na RNN, LSTM i GRU zapewniają rekurencyjne aktualizacje stanu online i odgrywają kluczową rolę w wizualnym modelowaniu świata. Ich głównym ograniczeniem jest sekwencyjne uczenie w czasie, co zmniejsza możliwość równoległości czasowej i utrudnia modelowanie bardzo długich kontekstów.

• Modele świata oparte na Transformerze. Modele dynamiki oparte na Transformerze, w tym TransDreamer, zastępują rekurencję mechanizmem samouwagi, umożliwiając równoległe uczenie i bezpośredni dostęp do długich historii historii. Ich standardowy koszt kwadratowy w długości sekwencji sprawia, że długie wyobrażone trajektorie i wizualne modelowanie długiego kontekstu są kosztowne obliczeniowo.