Perbandingan Tulang Punggung World Model: RNN, Transformer, dan S4

S4 adalah model state-space terstruktur yang dirancang untuk menangani ketergantungan jangka panjang. S4 menggabungkan interpretasi state-space rekuren (mirip RNN) dengan bentuk konvolusional yang memungkinkan pelatihan paralel (mirip Transformer). Inilah yang membuat S4 disebut sebagai "jalan tengah" yang menjanjikan: inferensi rekuren dengan kompleksitas linear, namun tetap dapat dilatih secara paralel.

Posisi S4WM dalam Literatur

World model sebelumnya umumnya menggunakan dinamika laten rekuren atau Transformer. Model berbasis RNN efisien saat inferensi tetapi lambat saat pelatihan, sementara world model berbasis Transformer memungkinkan pelatihan paralel tetapi memiliki biaya temporal kuadratik. S4WM mengeksplorasi lapisan state-space terstruktur sebagai tulang punggung alternatif yang dirancang untuk mempertahankan pelatihan paralel sambil mendukung pemodelan dinamika jangka panjang yang efisien.

Kontribusi Utama S4WM

Menurut penelitian ini, S4WM adalah world model berbasis S4 pertama yang mampu menghasilkan sekuens gambar berdimensi tinggi melalui imajinasi laten. Hasilnya menunjukkan bahwa S4WM mengungguli world model berbasis Transformer dalam hal memori jangka panjang, sekaligus lebih efisien selama pelatihan dan imajinasi.

Makna Lebih Luas

Temuan ini membuka jalan bagi agen RL yang lebih canggih dan efisien. Dengan S4 sebagai tulang punggung, agen dapat berlatih lebih cepat (berkat paralelisasi) dan bernalar lebih panjang (berkat memori jangka panjang) tanpa harus mengorbankan salah satu. Ini sangat relevan untuk aplikasi seperti robotika otonom, kendaraan swakemudi, dan agen AI otonom yang membutuhkan perencanaan jangka panjang.