Dünya Modeli Omurgaları Karşı Karşıya: RNN’ler, Transformer’lar ve S4

“Facing Off World Model Backbones: RNNs, Transformers, and S4” (Deng, Park ve Ahn, 2023) başlıklı çalışma, model tabanlı pekiştirmeli öğrenmede (MBRL) gizli dünya modelleri için hangi dizi modeli omurgasının en etkili olduğunu araştırıyor. Makale, S4WM’i tanıtarak Yapılandırılmış Durum Uzayı Dizisi (S4) katmanlarını yüksek boyutlu görsel gizli hayal gücüne uyguluyor.

İlgili Çalışmalar

• Gizli dünya modelleri / model tabanlı pekiştirmeli öğrenme. En yakın temeller, PlaNet, Dreamer, DreamerV2 ve DreamerV3 gibi gizli dinamik ajanlarıdır. Bu ajanlar, kompakt stokastik durum temsilleri öğrenir ve politika optimizasyonu için gizli gelecek yörüngelerini tahmin eder. Makale, özellikle Dreamer ailesindeki yinelenen RSSM tarzı modelleri baskın taban çizgisi olarak konumlandırıyor.

• Yinelenen sinir ağları (RNN'ler). RNN, LSTM ve GRU dinamik modelleri, çevrimiçi yinelenen durum güncellemeleri sağlar ve görsel dünya modellemesinde merkezi bir rol oynamıştır. Temel sınırlamaları, zaman içinde sıralı eğitim gerektirmeleridir; bu da zamansal paralelliği azaltır ve çok uzun bağlamları modellemeyi zorlaştırır.

• Transformer dünya modelleri. TransDreamer gibi Transformer tabanlı dinamik modeller, yinelemeyi öz-dikkat (self-attention) ile değiştirerek paralel eğitim ve uzun geçmişe doğrudan erişim sağlar. Ancak standart karesel dikkat maliyeti, uzun hayali yuvarlamalar ve uzun bağlamlı görsel modelleme için hesaplama açısından pahalıdır.

• Yapılandırılmış durum-uzayı modelleri (S4). S4, uzun menzilli bağımlılıklar için tasarlanmış yapılandırılmış bir durum-uzayı dizi modelidir. Yinelenen bir durum-uzayı yorumunu, paralel dizi eğitimine izin veren evrişimli bir formla birleştirir. Makale, bunun S4'ü umut verici bir orta yol haline getirdiğini savunuyor: doğrusal-zamanlı yinelenen çıkarım ve paralelleştirilebilir eğitim.

• S4WM’in farkı. S4WM, S4'ü geleneksel dizi kıyaslamaları için kullanmak yerine, onu görsel kodlama/kod çözme ve stokastik gizli dinamiklerle birlikte gizli bir görsel dünya modeline dahil ediyor ve ardından ortak bir dünya modelleme çerçevesinde RNN ve Transformer omurgalarına karşı değerlendiriyor. Belirtilen katkı, gizli hayal gücü yoluyla yüksek boyutlu görüntü dizileri üretebilen ilk S4 tabanlı dünya modeli olmasıdır.

Bir literatür taraması için kısa bir konumlandırma ifadesi:

Önceki dünya modelleri çoğunlukla yinelenen gizli dinamikler veya Transformer'lar kullanmıştır. RNN tabanlı modeller çıkarımda verimli ancak sıralı eğitim gerektirirken, Transformer dünya modelleri eğitimi paralelleştirir ancak karesel zamansal maliyete sahiptir. S4WM, paralel eğitimi korurken verimli uzun ufuklu dinamik modellemeyi desteklemeyi amaçlayan alternatif bir omurga olarak yapılandırılmış durum-uzayı katmanlarını araştırıyor.