النماذج العالمية القائمة على المحولات (Transformers). تستبدل نماذج الديناميكيات القائمة على المحولات، بما في ذلك TransDreamer، التكرار بالانتباه الذاتي، مما يتيح التدريب المتوازي والوصول المباشر إلى التواريخ الطويلة. تكلفة الانتباه التربيعية القياسية في طول التسلسل تجعل عمليات المحاكاة الطويلة والنمذجة البصرية طويلة السياق مكلفة حسابياً.
نماذج الحالة المنظمة (S4). S4 هو نموذج تسلسلي للحالة المنظمة مصمم للتبعيات طويلة المدى، يجمع بين تفسير الحالة المتكرر وشكل التفاف يسمح بالتدريب المتوازي للتسلسلات. تجادل الورقة بأن هذا يجعل S4 أرضية وسط واعدة: استدلال متكرر خطي وتدريب قابل للتوازي.
تميز S4WM. بدلاً من استخدام S4 في معايير التسلسل التقليدية، يدمجه S4WM في نموذج عالمي بصري كامن، مع ترميز/فك تشفير الصور وديناميكيات كامنة عشوائية، ثم يقيمه مقابل أعمدة RNN والمحولات في إطار نمذجة عالمية مشترك. المساهمة المعلنة هي أول نموذج عالمي قائم على S4 لتوليد تسلسلات صور عالية الأبعاد عبر التخيل الكامن.
بيان تحديد المواقع الموجز لمراجعة الأدبيات:
استخدمت النماذج العالمية السابقة في المقام الأول الديناميكيات الكامنة المتكررة أو المحولات. النماذج القائمة على RNN فعالة في الاستدلال ولكنها تدرب بشكل تسلسلي، بينما تقوم النماذج العالمية القائمة على المحولات بتدريب متوازي ولكن لها تكلفة زمنية تربيعية. يستكشف S4WM طبقات الحالة المنظمة كبديل يهدف إلى الاحتفاظ بالتدريب المتوازي مع دعم نمذجة الديناميكيات الفعالة طويلة الأفق.