S4WM: Die neue Rückgrat-Technologie für KI-Weltmodelle

„Facing Off World Model Backbones: RNNs, Transformers, and S4“ (Deng, Park und Ahn, 2023) untersucht, welches Sequenzmodell-Rückgrat für latente Weltmodelle im modellbasierten Reinforcement Learning am effektivsten ist. Es stellt S4WM vor, das Strukturierte Zustandsraum-Sequenzschichten (S4) auf hochdimensionale visuelle latente Imagination anwendet.

Verwandte Arbeiten

• Latente Weltmodelle / modellbasiertes RL. Die nächsten Grundlagen sind Agenten mit latenter Dynamik wie PlaNet, Dreamer, DreamerV2 und DreamerV3, die kompakte stochastische Zustandsrepräsentationen lernen und latente Zukunftsbahnen für die Policy-Optimierung vorhersagen. Die Studie positioniert rekurrente RSSM-artige Modelle – insbesondere Dreamer – als dominante Baseline-Familie.

• Rekurrente neuronale Netze. RNN-, LSTM- und GRU-Dynamikmodelle liefern Online-rekurrente Zustandsaktualisierungen und waren zentral für visuelles Weltmodellieren. Ihre Hauptgrenze ist das sequenzielle Training über die Zeit, was temporale Parallelität reduziert und die Modellierung sehr langer Kontexte erschwert.

• Transformer-Weltmodelle. Transformer-basierte Dynamikmodelle, einschließlich TransDreamer, ersetzen Rekurrenz durch Self-Attention und ermöglichen so paralleles Training und direkten Zugriff auf lange Verläufe. Ihre standardmäßigen quadratischen Aufmerksamkeitskosten in der Sequenzlänge machen lange imaginierte Rollouts und visuelle Modellierung mit langen Kontexten rechenintensiv.

• S4 ist ein strukturiertes Zustandsraum-Sequenzmodell, das für langreichweitige Abhängigkeiten entwickelt wurde. Es kombiniert eine rekurrente Zustandsraum-Interpretation mit einer konvolutionalen Form, die sequenzielles paralleles Training ermöglicht. Die Studie argumentiert, dass dies S4 zu einem vielversprechenden Mittelweg macht: lineare rekurrente Inferenz und parallelisierbares Training.