Mạng nơ-ron hồi quy (RNN). Các mô hình động lực dựa trên RNN, LSTM và GRU cung cấp các cập nhật trạng thái hồi quy trực tuyến và là trung tâm của mô hình thế giới trực quan. Hạn chế chính của chúng là quá trình huấn luyện tuần tự theo thời gian, làm giảm khả năng song song hóa và khiến việc mô hình hóa các ngữ cảnh rất dài trở nên khó khăn hơn.
World model dùng Transformer. Các mô hình động lực dựa trên Transformer, bao gồm TransDreamer, thay thế cơ chế hồi quy bằng cơ chế tự chú ý (self-attention), cho phép huấn luyện song song và truy cập trực tiếp vào lịch sử dài. Tuy nhiên, chi phí chú ý bậc hai (quadratic attention) theo độ dài chuỗi khiến cho các rollout tưởng tượng dài và mô hình hóa trực quan ngữ cảnh phức tạp trở nên tốn kém về mặt tính toán.
Mô hình không gian trạng thái có cấu trúc (S4). S4 là một mô hình chuỗi không gian trạng thái có cấu trúc được thiết kế cho các phụ thuộc tầm xa. Nó kết hợp cách diễn giải trạng thái không gian hồi quy với dạng tích chập (convolutional form) cho phép huấn luyện chuỗi song song. Bài báo lập luận rằng điều này làm cho S4 trở thành một điểm trung gian đầy hứa hẹn: suy luận hồi quy thời gian tuyến tính và huấn luyện song song.
Điểm khác biệt của S4WM. Thay vì sử dụng S4 cho các điểm chuẩn (benchmark) chuỗi thông thường, S4WM kết hợp nó vào một world model trực quan tiềm ẩn (latent visual world model), với bộ mã hóa/giải mã hình ảnh và động lực tiềm ẩn ngẫu nhiên. Sau đó, nó được đánh giá so với các backbone RNN và Transformer trong cùng một khung mô hình thế giới chung. Đóng góp được nêu rõ là world model đầu tiên dựa trên S4 có thể tạo ra các chuỗi hình ảnh chiều cao thông qua trí tưởng tượng tiềm ẩn.
Một tuyên bố định vị ngắn gọn cho tổng quan tài liệu:
Các world model trước đây chủ yếu sử dụng động lực tiềm ẩn hồi quy hoặc Transformer. Các mô hình dựa trên RNN suy luận hiệu quả nhưng huấn luyện tuần tự, trong khi world model dùng Transformer huấn luyện song song nhưng có chi phí thời gian bậc hai. S4WM khám phá các lớp không gian trạng thái có cấu trúc như một backbone thay thế, nhằm mục đích giữ lại khả năng huấn luyện song song trong khi hỗ trợ mô hình hóa động lực tầm xa hiệu quả.