So sánh 'xương sống' mô hình thế giới: RNN, Transformer hay S4 mới là tương lai?

“Facing Off World Model Backbones: RNNs, Transformers, and S4” (Deng, Park, và Ahn, 2023) là một nghiên cứu chuyên sâu nhằm xác định kiến trúc xương sống (backbone) nào cho mô hình chuỗi là hiệu quả nhất đối với các world model tiềm ẩn trong lĩnh vực học tăng cường dựa trên mô hình (model-based reinforcement learning – MBRL). Nghiên cứu này đã giới thiệu S4WM, một mô hình áp dụng các lớp Cấu trúc Không gian Trạng thái (Structured State Space Sequence – S4) vào việc tái tạo trực quan hình ảnh có chiều cao thông qua cơ chế trí tưởng tượng tiềm ẩn.

Các nghiên cứu liên quan

• World model tiềm ẩn / Học tăng cường dựa trên mô hình (MBRL). Nền tảng gần gũi nhất là các tác nhân động lực tiềm ẩn như PlaNet, Dreamer, DreamerV2 và DreamerV3. Các tác nhân này học các biểu diễn trạng thái ngẫu nhiên nhỏ gọn và dự đoán các quỹ đạo tương lai tiềm ẩn để tối ưu hóa chính sách. Bài báo xem các mô hình động lực RSSM (Recurrent State-Space Model) kiểu hồi quy, đặc biệt là Dreamer, như một họ baseline thống trị.

• Mạng nơ-ron hồi quy (RNN). Các mô hình động lực dựa trên RNN, LSTM và GRU cung cấp các cập nhật trạng thái hồi quy trực tuyến và là trung tâm của mô hình thế giới trực quan. Hạn chế chính của chúng là quá trình huấn luyện tuần tự theo thời gian, làm giảm khả năng song song hóa và khiến việc mô hình hóa các ngữ cảnh rất dài trở nên khó khăn hơn.

• World model dùng Transformer. Các mô hình động lực dựa trên Transformer, bao gồm TransDreamer, thay thế cơ chế hồi quy bằng cơ chế tự chú ý (self-attention), cho phép huấn luyện song song và truy cập trực tiếp vào lịch sử dài. Tuy nhiên, chi phí chú ý bậc hai (quadratic attention) theo độ dài chuỗi khiến cho các rollout tưởng tượng dài và mô hình hóa trực quan ngữ cảnh phức tạp trở nên tốn kém về mặt tính toán.