Sammenligning av ryggradsmodeller for verdensmodeller: RNN, Transformers og S4

Transformer-baserte verdensmodeller. Transformer-baserte dynamikkmodeller, inkludert TransDreamer, erstatter tilbakevendende mekanismer med selvattensjon, noe som muliggjør parallell trening og direkte tilgang til lange historier. Deres standard kvadratiske attensjonskostnad i sekvenslengde gjør lange forestilte utrullinger og langkontekst visuell modellering kostbart.

Strukturerte tilstandsrommodeller. S4 er en strukturert tilstandsromsekvensmodell designet for langdistanseavhengigheter, som kombinerer en tilbakevendende tilstandsromtolkning med en konvolusjonell form som tillater parallell sekvenstrening. Artikkelen argumenterer for at dette gjør S4 til et lovende mellomground: lineær-tid tilbakevendende inferens og paralleliserbar trening.

S4WMs særtrekk. I stedet for å bruke S4 for konvensjonelle sekvensbenchmarks, inkorporerer S4WM det i en latent visuell verdensmodell, med bildekoding/-avkoding og stokastisk latent dynamikk, og evaluerer det deretter mot RNN- og Transformer-ryggrader under et felles verdensmodelleringsrammeverk. Det oppgitte bidraget er den første S4-baserte verdensmodellen for å generere høy-dimensjonale bildesekvenser via latent forestillingsevne.