Maailmanmallien selkäranka vertailussa: RNN:t, Transformers ja S4

Takaisinkytketyt neuroverkot. RNN-, LSTM- ja GRU-dynamiikkamallit tarjoavat online-toistuvia tilapäivityksiä, ja ne ovat olleet keskeisiä visuaalisessa maailmanmallinnuksessa. Niiden päärajoitus on peräkkäinen koulutus ajan yli, mikä vähentää ajallista rinnakkaisuutta ja voi tehdä pitkien kontekstien mallintamisesta vaikeaa.

Transformer-maailmanmallit. Transformer-pohjaiset dynamiikkamallit, kuten TransDreamer, korvaavat toiston itsehuomiolla, mikä mahdollistaa rinnakkaiskoulutuksen ja suoran pääsyn pitkiin historiaan. Niiden standardi neliöllinen huomiokustannus sekvenssipituudessa tekee pitkistä kuvitelluista liikeradoista ja pitkäkontekstisesta visuaalisesta mallinnuksesta laskennallisesti kallista.

Rakenteiset tilaspace-mallit. S4 on rakenteinen tilaspace-sekvenssimalli, joka on suunniteltu pitkän kantaman riippuvuuksiin. Se yhdistää toistuvan tilaspace-tulkinnan konvoluutiomuotoon, joka mahdollistaa rinnakkaisen sekvenssikoulutuksen. Tutkimus väittää, että tämä tekee S4:stä lupaavan keskitien: lineaarisen aikavaativuuden päättely ja rinnakkaistettava koulutus.

S4WM:n eroavaisuus. Sen sijaan, että S4:ää käytettäisiin tavanomaisissa sekvenssivertailuissa, S4WM sisällyttää sen latenttiin visuaaliseen maailmanmalliin, jossa on kuvan koodaus/dekoodaus ja stokastinen latentti dynamiikka. Tämän jälkeen sitä verrataan RNN- ja Transformer-selkärankoihin yhteisessä maailmanmallinnuskehyksessä. Ilmoitettu kontribuutio on ensimmäinen S4-pohjainen maailmanmalli, joka pystyy tuottamaan korkeadimensioisia kuvasarjoja latentin imaginoinnin kautta.