Ny AI-model S4WM overhaler både RNN og Transformer i verdensmodeller

Transformer-baserede verdensmodeller. Transformer-baserede dynamikmodeller, herunder TransDreamer, erstatter tilbagevendelse med self-attention, hvilket muliggør parallel træning og direkte adgang til lange historikker. Deres standard kvadratiske opmærksomhedsomkostning i sekvenslængde gør lange forestillede rulninger og langkontekstuel visuel modellering beregningstung.

Strukturerede tilstandsrum-modeller. S4 er en struktureret tilstandsrum-sekvensmodel designet til langtrækkende afhængigheder, der kombinerer en tilbagevendende tilstandsrum-fortolkning med en konvolutionel form, der tillader parallel sekvenstræning. Artiklen argumenterer for, at dette gør S4 til en lovende mellemting: lineær inferens under kørsel og paralleliserbar træning.

S4WM’s særpræg. I stedet for at bruge S4 til konventionelle sekvensbenchmarks inkorporerer S4WM det i en latent visuel verdensmodel med billedkodning/-afkodning og stokastisk latent dynamik og evaluerer det derefter mod RNN- og Transformer-rygrad i en fælles verdensmodelleringsramme. Det angivne bidrag er den første S4-baserede verdensmodel til at generere højdimensionelle billedsekvenser via latent forestilling.