ما الذي يعيد المحوّل استخدامه فعلًا عبر حالات التنشيط المختلفة؟

ما يعيد المحوّل استخدامه عبر حالات التنشيط المختلفة هو، في المقام الأول، قاعدة الحساب نفسها—not بالضرورة الديناميكا الناتجة عنها. ففي الطبقة الواحدة، تمر الحالات المختلفة عبر مصفوفات الإسقاط نفسها للاستعلام والمفتاح والقيمة (Query وKey وValue)، وعملية الانتباه نفسها، وأوزان الشبكة الأمامية نفسها، ومسارات الاتصال المتبقي نفسها. لكن أوزان الانتباه والتغيرات الداخلية الناتجة تعتمد على حالة التنشيط التي تدخل الطبقة.13

وهنا يكمن الفرق الأساسي:

• ما يُعاد استخدامه بالتأكيد: بنية الحساب والمعلمات المتعلّمة للطبقة المحددة. فتطابق بنية الطبقتين لا يعني أن أوزانهما مشتركة؛ المقصود أن لكل طبقة قواعدها ومعلماتها الثابتة التي تطبّقها على مدخلاتها.13
• ما لا يلزم أن يُعاد استخدامه: الاستجابة المحلية نفسها لأي اضطراب. فالاستعلامات والمفاتيح تُحسب انطلاقًا من التنشيطات الحالية، ولذلك قد تتغير علاقاتها، ويتغير معها أثر الاضطراب، من حالة إلى أخرى.13
• حالة خاصة أدق: في بنية Pre-LayerNorm المفترضة هنا، يمكن للتطبيع أن يزيل إزاحة موحّدة تُضاف إلى جميع سمات الرمز، فيما ينقلها مسار الاتصال المتبقي إلى الأمام. وإذا تحققت الشروط المذكورة في جميع المسارات التي تمر بها الإشارة، فلا تكون قاعدة الحساب وحدها ثابتة: بل تبقى استجابة النموذج الداخلية للاضطراب متطابقة على امتداد اتجاه الإزاحة هذا. وهذه نتيجة لبنية محددة، وليست خاصية عامة لكل المحوّلات.12

إذًا، الجواب الدقيق هو أن المحوّل يعيد تطبيق العمليات والأوزان الثابتة على حالات تنشيط كثيرة، لكن هذا لا يثبت أن استجابته للاضطرابات متطابقة في كل حالة. وتوضح حالة الإزاحة في Pre-LayerNorm كيف يمكن أن يتحقق هذا التطابق في اتجاه معين؛ أما الاتجاهات الأخرى فتحتاج إلى برهان مستقل.