ट्रांसफ़ॉर्मर अलग-अलग सक्रियण अवस्थाओं में किस चीज़ को दोहराता है?

ट्रांसफ़ॉर्मर में अलग-अलग सक्रियण अवस्थाओं पर सबसे पहले गणना-पद्धति दोहराई जाती है—ज़रूरी नहीं कि हर बार वही आंतरिक प्रतिक्रिया भी दोहराई जाए। किसी तय परत में अलग-अलग सक्रियण अवस्थाओं को उन्हीं Query, Key और Value प्रोजेक्शन मैट्रिक्स, उसी attention गणना, उन्हीं feedforward वज़नों और उन्हीं residual रास्तों से गुज़ारा जाता है। लेकिन इससे बनने वाले attention वज़न और आंतरिक अवस्था में होने वाले बदलाव, उस समय मौजूद सक्रियण पर निर्भर करते हैं।13

यहाँ दो बातों को अलग रखना उपयोगी है:

• जो तय रहता है: किसी एक ही परत की सीखी हुई पैरामीटर और गणना की बनावट। इसका यह अर्थ नहीं कि ट्रांसफ़ॉर्मर की अलग-अलग परतें भी एक ही वज़न साझा करती हैं।13
• जो ज़रूरी नहीं कि तय रहे: किसी बदलाव या perturbation पर परत की स्थानीय प्रतिक्रिया। Query और Key मौजूदा सक्रियणों से बनते हैं, इसलिए उनके बीच का संबंध—और उसी बदलाव का असर—अलग-अलग अवस्थाओं में बदल सकता है।13
• एक विशेष, अधिक सटीक मामला: पहले मानी गई Pre-LayerNorm बनावट में, किसी token के सभी features में एक समान बदलाव normalization से हट सकता है और residual रास्ते से आगे जा सकता है। अगर पहले बताई गई शर्तें उन सभी रास्तों पर पूरी हों जिनसे यह बदलाव गुज़रता है, तो सिर्फ गणना-पद्धति ही नहीं, उस दिशा में पूरा आंतरिक बदलाव भी एक जैसा बना रहता है। यह उस खास बनावट का गणितीय नतीजा है, हर ट्रांसफ़ॉर्मर का सामान्य गुण नहीं।12

इसलिए सटीक जवाब है: ट्रांसफ़ॉर्मर अलग-अलग सक्रियण अवस्थाओं में तय ऑपरेटरों का फिर से इस्तेमाल करता है; इससे अपने-आप यह साबित नहीं होता कि उन अवस्थाओं में बदलाव की गतिशीलता भी समान होगी। Pre-LayerNorm वाला उदाहरण दिखाता है कि ऐसी समानता किसी खास स्थिति में कैसे संभव है। दूसरी दिशाओं के लिए उसे अलग से सिद्ध करना होगा।