Трансформер повторяет правила вычислений — но не обязательно одну и ту же динамику

В трансформере при разных состояниях активаций повторяется прежде всего правило вычислений, а не обязательно сама динамика. В конкретном слое одни и те же матрицы проекций Query, Key и Value, механизм внимания, веса полносвязной сети и остаточные связи применяются к разным состояниям. Но получающиеся веса внимания и изменения внутренних представлений зависят от текущих активаций.13

Важно различать три вещи:

• Что повторно используется: фиксированная структура вычислений и выученные параметры конкретного слоя. Одинаковое устройство слоёв не означает, что разные слои имеют одни и те же веса.13
• Что может меняться: конкретная реакция слоя на возмущение. Запросы и ключи рассчитываются из текущих активаций, поэтому их взаимодействие — и эффект одного и того же возмущения — могут различаться от состояния к состоянию.13
• Частный случай с более сильным равенством: при конструкции Pre-LayerNorm равномерное смещение всех признаков токена может быть устранено нормализацией, а затем пройти дальше через остаточную связь. Если выполняются и остальные условия для всех затронутых ветвей, ответ модели на такое смещение остаётся одинаковым вдоль всего рассматриваемого пути. Это следствие конкретной конструкции и условий, а не общее свойство любого трансформера.12

Итак, трансформер многократно применяет одни и те же операторы к разным состояниям, но из этого не следует, что его реакция на изменения всегда одинакова. Частный случай Pre-LayerNorm показывает, как одинаковая реакция может возникнуть для определённого направления смещения. Для других изменений это нужно обосновывать отдельно.