Rekurrente neuronale Netze. RNN-, LSTM- und GRU-Dynamikmodelle liefern Online-rekurrente Zustandsaktualisierungen und waren zentral für visuelles Weltmodellieren. Ihre Hauptgrenze ist das sequenzielle Training über die Zeit, was temporale Parallelität reduziert und die Modellierung sehr langer Kontexte erschwert.
Transformer-Weltmodelle. Transformer-basierte Dynamikmodelle, einschließlich TransDreamer, ersetzen Rekurrenz durch Self-Attention und ermöglichen so paralleles Training und direkten Zugriff auf lange Verläufe. Ihre standardmäßigen quadratischen Aufmerksamkeitskosten in der Sequenzlänge machen lange imaginierte Rollouts und visuelle Modellierung mit langen Kontexten rechenintensiv.
Strukturierte Zustandsraum-Modelle. S4 ist ein strukturiertes Zustandsraum-Sequenzmodell, das für langreichweitige Abhängigkeiten entwickelt wurde. Es kombiniert eine rekurrente Zustandsraum-Interpretation mit einer konvolutionalen Form, die sequenzielles paralleles Training ermöglicht. Die Studie argumentiert, dass dies S4 zu einem vielversprechenden Mittelweg macht: lineare rekurrente Inferenz und parallelisierbares Training.
S4WMs Besonderheit. Statt S4 für konventionelle Sequenz-Benchmarks zu verwenden, integriert S4WM es in ein latentes visuelles Weltmodell mit Bildkodierung/-dekodierung und stochastischer latenter Dynamik. Anschließend wird es mit RNN- und Transformer-Rückgraten unter einem gemeinsamen Weltmodell-Rahmenwerk verglichen. Der genannte Beitrag ist das erste S4-basierte Weltmodell zur Generierung hochdimensionaler Bildsequenzen durch latente Imagination.
Eine präzise Positionierung für eine Literaturübersicht:
Frühere Weltmodelle verwendeten hauptsächlich rekurrente latente Dynamiken oder Transformer. RNN-basierte Modelle sind bei der Inferenz effizient, trainieren aber sequenziell, während Transformer-Weltmodelle das Training parallelisieren, dafür aber quadratische zeitliche Kosten haben. S4WM erforscht strukturierte Zustandsraum-Schichten als alternatives Rückgrat, das paralleles Training beibehält und gleichzeitig effiziente Langzeit-Dynamikmodellierung unterstützt.