트랜스포머 월드모델. TransDreamer를 포함한 트랜스포머 기반 동역학 모델은 순환 구조를 자기 주의(self-attention)로 대체하여 병렬 훈련과 긴 히스토리에 대한 직접 접근을 가능하게 합니다. 그러나 시퀀스 길이에 대한 표준 2차 시간 복잡도(quadratic attention cost) 때문에, 긴 상상 롤아웃과 장기 시각적 모델링에 계산 비용이 크게 증가합니다.
구조화 상태공간 모델(S4). S4는 장거리 의존성을 위해 설계된 구조화 상태공간 시퀀스 모델입니다. 순환 상태공간 해석과 병렬 시퀀스 훈련을 가능하게 하는 컨볼루션 형태를 결합합니다. 논문은 S4가 중간 지점으로 유망하다고 주장합니다. 즉, 선형 시간의 순환 추론과 병렬화 가능한 훈련을 동시에 제공한다는 점입니다.
S4WM의 차별성. 기존 연구가 S4를 일반적인 시퀀스 벤치마크에 적용한 것과 달리, S4WM은 S4를 잠재 시각 월드모델에 통합합니다. 이미지 인코딩/디코딩과 확률적 잠재 동역학을 결합하여, RNN 및 트랜스포머 백본과 동일한 월드모델링 프레임워크 안에서 직접 비교 평가합니다. 이 연구의 핵심 기여는 고차원 이미지 시퀀스를 잠재 상상을 통해 생성하는 최초의 S4 기반 월드모델이라는 점입니다.
문헌 검토를 위한 간결한 포지셔닝 요약:
기존 월드모델은 주로 순환 잠재 동역학이나 트랜스포머를 사용해 왔습니다. RNN 기반 모델은 추론에 효율적이지만 순차적으로 훈련하는 반면, 트랜스포머 월드모델은 훈련을 병렬화하지만 시계열 비용이 2차적으로 증가합니다. S4WM은 구조화 상태공간 레이어를 대안 백본으로 탐구하여, 병렬 훈련을 유지하면서도 효율적인 장기 동역학 모델링을 지원하는 것을 목표로 합니다.