O que um Transformer reutiliza entre diferentes estados de ativação?

O que se reutiliza, em primeiro lugar, é a regra de cálculo — não necessariamente a dinâmica resultante. Em uma camada específica, diferentes estados de ativação passam pelas mesmas matrizes de projeção de Query, Key e Value, pela mesma operação de atenção, pelos mesmos pesos da rede feedforward e pelos mesmos caminhos residuais. Mas os pesos de atenção e as mudanças internas produzidas dependem do estado de ativação recebido.13

Essa distinção é importante:

• O que permanece igual: a estrutura da camada e seus parâmetros aprendidos são reutilizados quando ela processa estados diferentes. Isso não quer dizer que camadas distintas do modelo compartilhem os mesmos pesos.13
• O que pode mudar: a resposta local a uma perturbação. Como Queries e Keys são calculadas a partir das ativações atuais, a interação entre elas — e, portanto, o efeito da mesma perturbação — pode variar de um estado para outro.13
• Um caso mais específico: em uma construção com Pre-LayerNorm, uma mudança uniforme em todas as características de um token pode ser removida pela normalização e seguir pelo caminho residual. Sob as condições já estabelecidas para todos os ramos percorridos, a resposta interna completa à perturbação permanece então igual ao longo dessa direção. Isso decorre dessa configuração particular, não de uma propriedade geral de todos os Transformers.12

Em resumo: um Transformer reutiliza os mesmos operadores em diferentes estados de ativação, mas isso, por si só, não demonstra que a resposta do modelo será idêntica em todos eles. O caso da mudança uniforme em uma configuração Pre-LayerNorm mostra como essa igualdade pode ocorrer. Para outras direções de perturbação, ela precisa ser demonstrada separadamente.