रिकरंट न्यूरल नेटवर्क: RNN, LSTM और GRU डायनेमिक्स मॉडल ऑनलाइन रिकरंट स्टेट अपडेट प्रदान करते हैं और विज़ुअल वर्ल्ड मॉडलिंग में केंद्रीय भूमिका निभाते हैं। इनकी मुख्य सीमा समय के साथ सीक्वेंशियल ट्रेनिंग है, जो टेम्पोरल पैरेललिज़्म को कम करती है और बहुत लंबे संदर्भों को मॉडल करना कठिन बना सकती है।
ट्रांसफॉर्मर वर्ल्ड मॉडल: TransDreamer सहित ट्रांसफॉर्मर-आधारित डायनेमिक्स मॉडल, रिकरंस को सेल्फ-अटेंशन से बदलते हैं, जिससे पैरेलल ट्रेनिंग और लंबे इतिहास तक सीधी पहुंच संभव होती है। हालांकि, सीक्वेंस लंबाई के साथ उनकी मानक क्वाड्रेटिक अटेंशन लागत लंबे इमेजिन्ड रोलआउट और लंबे-संदर्भ विज़ुअल मॉडलिंग को कम्प्यूटेशनल रूप से महंगा बना देती है।
स्ट्रक्चर्ड स्टेट-स्पेस मॉडल: S4 एक स्ट्रक्चर्ड स्टेट-स्पेस सीक्वेंस मॉडल है जिसे लॉन्ग-रेंज डिपेंडेंसी के लिए डिज़ाइन किया गया है। यह एक रिकरंट स्टेट-स्पेस व्याख्या को कन्वोल्यूशनल रूप के साथ जोड़ता है जो पैरेलल सीक्वेंस ट्रेनिंग की अनुमति देता है। शोध पत्र का तर्क है कि यह S4 को एक आशाजनक मध्य मार्ग बनाता है: लीनियर-टाइम रिकरंट इन्फेरेंस और पैरेललाइज़ेबल ट्रेनिंग।
S4WM की विशिष्टता: S4WM का उपयोग पारंपरिक सीक्वेंस बेंचमार्क के लिए नहीं, बल्कि इसे एक लेटेंट विज़ुअल वर्ल्ड मॉडल में शामिल किया गया है, जिसमें इमेज एन्कोडिंग/डिकोडिंग और स्टोकेस्टिक लेटेंट डायनेमिक्स शामिल हैं। फिर इसका मूल्यांकन एक सामान्य वर्ल्ड-मॉडलिंग फ्रेमवर्क के तहत RNN और ट्रांसफॉर्मर बैकबोन से किया जाता है। बताया गया योगदान लेटेंट इमेजिनेशन के माध्यम से हाई-डाइमेंशनल इमेज सीक्वेंस उत्पन्न करने वाला पहला S4-आधारित वर्ल्ड मॉडल है।
एक संक्षिप्त पोजीशनिंग स्टेटमेंट:
पिछले वर्ल्ड मॉडल मुख्य रूप से रिकरंट लेटेंट डायनेमिक्स या ट्रांसफॉर्मर का उपयोग करते थे। RNN-आधारित मॉडल इन्फेरेंस में कुशल होते हैं लेकिन सीक्वेंशियल रूप से ट्रेन होते हैं, जबकि ट्रांसफॉर्मर वर्ल्ड मॉडल ट्रेनिंग को पैरेलल करते हैं लेकिन उनकी टेम्पोरल लागत क्वाड्रेटिक होती है। S4WM एक वैकल्पिक बैकबोन के रूप में स्ट्रक्चर्ड स्टेट-स्पेस लेयर्स का पता लगाता है, जिसका उद्देश्य पैरेलल ट्रेनिंग को बनाए रखते हुए कुशल लॉन्ग-होराइज़न डायनेमिक्स मॉडलिंग को समर्थन देना है।