Ny AI-model S4WM overhaler både RNN og Transformer i verdensmodeller

Artiklen “Facing Off World Model Backbones: RNNs, Transformers, and S4” (Deng, Park og Ahn, 2023) undersøger, hvilken sekvensmodel-rygrad der er mest effektiv til latente verdensmodeller inden for modelbaseret forstærkningslæring. Den introducerer S4WM, som anvender Structured State Space Sequence (S4)-lag til højdimensionel visuel latent forestillingsevne.

Relateret arbejde

• Latente verdensmodeller / modelbaseret RL. De nærmeste fundamenter er latente dynamik-agenter som PlaNet, Dreamer, DreamerV2 og DreamerV3, der lærer kompakte stokastiske tilstandsrepræsentationer og forudsiger latente fremtidige baner til politikoptimering. Artiklen placerer tilbagevendende RSSM-lignende modeller – især Dreamer – som den dominerende baselinefamilie.

• Tilbagevendende neurale netværk. RNN-, LSTM- og GRU-dynamikmodeller leverer online tilbagevendende tilstandsopdateringer og har været centrale for visuel verdensmodellering. Deres største begrænsning er sekventiel træning over tid, hvilket reducerer temporal parallelitet og kan gøre modellering af meget lange kontekster vanskelig.

• Transformer-baserede verdensmodeller. Transformer-baserede dynamikmodeller, herunder TransDreamer, erstatter tilbagevendelse med self-attention, hvilket muliggør parallel træning og direkte adgang til lange historikker. Deres standard kvadratiske opmærksomhedsomkostning i sekvenslængde gør lange forestillede rulninger og langkontekstuel visuel modellering beregningstung.

• S4 er en struktureret tilstandsrum-sekvensmodel designet til langtrækkende afhængigheder, der kombinerer en tilbagevendende tilstandsrum-fortolkning med en konvolutionel form, der tillader parallel sekvenstræning. Artiklen argumenterer for, at dette gør S4 til en lovende mellemting: lineær inferens under kørsel og paralleliserbar træning.