Sammenligning av ryggradsmodeller for verdensmodeller: RNN, Transformers og S4

“Facing Off World Model Backbones: RNNs, Transformers, and S4” (Deng, Park, and Ahn, 2023) studerer hvilken sekvensmodell som er mest effektiv for latente verdensmodeller i modellbasert forsterkende læring. Den introduserer S4WM, som anvender Structured State Space Sequence (S4)-lag for høy-dimensjonal visuell latent forestillingsevne.

Relatert arbeid

• Latente verdensmodeller / modellbasert forsterkende læring. De nærmeste fundamentene er latente dynamikkagenter som PlaNet, Dreamer, DreamerV2 og DreamerV3, som lærer kompakte stokastiske tilstandsrepresentasjoner og predikerer latente fremtidige baner for policyoptimalisering. Artikkelen posisjonerer tilbakevendende RSSM-stilmodeller—spesielt Dreamer—som den dominerende baselinefamilien.

• Tilbakevendende nevrale nettverk. RNN-, LSTM- og GRU-dynamikkmodeller gir online tilbakevendende tilstandsoppdateringer og har vært sentrale for visuell verdensmodellering. Deres hovedbegrensning er sekvensiell trening over tid, noe som reduserer temporal parallellisme og kan gjøre modellering av svært lange kontekster vanskeligere.

• Transformer-baserte verdensmodeller. Transformer-baserte dynamikkmodeller, inkludert TransDreamer, erstatter tilbakevendende mekanismer med selvattensjon, noe som muliggjør parallell trening og direkte tilgang til lange historier. Deres standard kvadratiske attensjonskostnad i sekvenslengde gjør lange forestilte utrullinger og langkontekst visuell modellering kostbart.

• S4 er en strukturert tilstandsromsekvensmodell designet for langdistanseavhengigheter, som kombinerer en tilbakevendende tilstandsromtolkning med en konvolusjonell form som tillater parallell sekvenstrening. Artikkelen argumenterer for at dette gjør S4 til et lovende mellomground: lineær-tid tilbakevendende inferens og paralleliserbar trening.