Dünya Modeli Omurgaları Karşı Karşıya: RNN’ler, Transformer’lar ve S4

Yinelenen sinir ağları (RNN'ler). RNN, LSTM ve GRU dinamik modelleri, çevrimiçi yinelenen durum güncellemeleri sağlar ve görsel dünya modellemesinde merkezi bir rol oynamıştır. Temel sınırlamaları, zaman içinde sıralı eğitim gerektirmeleridir; bu da zamansal paralelliği azaltır ve çok uzun bağlamları modellemeyi zorlaştırır.

Transformer dünya modelleri. TransDreamer gibi Transformer tabanlı dinamik modeller, yinelemeyi öz-dikkat (self-attention) ile değiştirerek paralel eğitim ve uzun geçmişe doğrudan erişim sağlar. Ancak standart karesel dikkat maliyeti, uzun hayali yuvarlamalar ve uzun bağlamlı görsel modelleme için hesaplama açısından pahalıdır.

Yapılandırılmış durum-uzayı modelleri (S4). S4, uzun menzilli bağımlılıklar için tasarlanmış yapılandırılmış bir durum-uzayı dizi modelidir. Yinelenen bir durum-uzayı yorumunu, paralel dizi eğitimine izin veren evrişimli bir formla birleştirir. Makale, bunun S4'ü umut verici bir orta yol haline getirdiğini savunuyor: doğrusal-zamanlı yinelenen çıkarım ve paralelleştirilebilir eğitim.

S4WM’in farkı. S4WM, S4'ü geleneksel dizi kıyaslamaları için kullanmak yerine, onu görsel kodlama/kod çözme ve stokastik gizli dinamiklerle birlikte gizli bir görsel dünya modeline dahil ediyor ve ardından ortak bir dünya modelleme çerçevesinde RNN ve Transformer omurgalarına karşı değerlendiriyor. Belirtilen katkı, gizli hayal gücü yoluyla yüksek boyutlu görüntü dizileri üretebilen ilk S4 tabanlı dünya modeli olmasıdır.