Що саме в динаміці трансформера повторюється між різними станами?

У трансформері між різними станами повторно використовується насамперед обчислювальна схема, а не обов’язково сама динаміка. У межах конкретного шару ті самі матриці проєкцій для Query, Key і Value, механізм уваги, ваги feedforward-мережі та залишкові шляхи обробляють різні активації. Але отримані ваги уваги й зміни внутрішнього стану залежать від вхідних активацій.13

Тож важливо розрізняти три речі:

• Що залишається фіксованим: структура обчислень і навчені параметри певного шару. Однакова структура шарів не означає, що різні шари мають спільні ваги.13
• Що може змінюватися: локальна реакція на збурення. Запити й ключі обчислюються з поточних активацій, тому їхня взаємодія — і вплив того самого збурення — можуть відрізнятися залежно від стану.13
• Окремий умовний випадок: у конструкції Pre-LayerNorm рівномірний зсув усіх ознак токена може усунутися під час нормалізації, а потім передатися залишковим шляхом. Якщо виконуються зазначені передумови для всіх пройдених гілок, однаковою буде не лише обчислювальна схема: повна внутрішня відповідь на збурення залишатиметься незмінною вздовж цього напряму. Це наслідок конкретної конструкції, а не загальна властивість усіх трансформерів.12

Отже, трансформер повторно застосовує ті самі оператори до різних станів, але це саме по собі не доводить, що реакція на збурення буде однаковою. Випадок із рівномірним зсувом у Pre-LayerNorm показує, за яких спеціальних умов така рівність може виникнути. Для інших напрямів збурення її потрібно обґрунтовувати окремо.