Dans un Transformer, ce sont les règles de calcul qui se répètent

Ce qu’un Transformer réutilise d’un état d’activation à l’autre, c’est d’abord sa règle de calcul — pas forcément sa dynamique. Dans une couche donnée, les différents états passent par les mêmes matrices de projection pour les requêtes (queries), les clés (keys) et les valeurs (values), ainsi que par les mêmes opérations d’attention, les mêmes poids du réseau feedforward et les mêmes connexions résiduelles. En revanche, les poids d’attention calculés et les changements d’état internes dépendent des activations en entrée.13

Cette distinction permet de répondre précisément à la question :

• Ce qui est réutilisé : la structure de calcul et les paramètres appris d’une couche donnée. Cela ne veut pas dire que les différentes couches d’un modèle partagent leurs poids.13
• Ce qui ne l’est pas nécessairement : la réponse locale à une perturbation. Comme les requêtes et les clés sont calculées à partir des activations présentes, leur interaction peut varier d’un état à l’autre. Une même perturbation peut donc avoir des effets différents.13
• Un cas particulier, sous conditions : dans la construction Pre-LayerNorm considérée ici, un décalage uniforme de toutes les caractéristiques d’un token peut être éliminé par la normalisation, puis transmis par la connexion résiduelle. Si les conditions supposées sont respectées dans toutes les branches traversées, la réponse interne à cette perturbation reste alors identique dans cette direction. C’est une conséquence mathématique de cette configuration particulière, et non une propriété générale de tous les Transformers.12

En bref : les Transformers réutilisent les mêmes opérations et paramètres sur de nombreux états d’activation. Cela ne suffit pas à établir qu’ils réagissent de façon identique à une perturbation dans tous ces états. Le cas du décalage en Pre-LayerNorm montre comment cette égalité peut apparaître ; pour d’autres directions, elle doit être démontrée séparément.