La estructura que un Transformer reutiliza entre distintos estados

La misma receta, no necesariamente la misma respuesta

Un Transformer reutiliza, ante todo, la regla de cálculo de cada capa. En una capa concreta, distintos estados de activación pasan por las mismas proyecciones de query, key y value, el mismo mecanismo de atención, los mismos pesos de la red feedforward y las mismas conexiones residuales. La arquitectura apila capas de este tipo, aunque eso no implica que capas distintas compartan sus pesos.13

Lo que no queda fijado es el resultado de aplicar esa receta. Las consultas y las claves se calculan a partir de las activaciones actuales; por eso, los pesos de atención y la respuesta interna pueden cambiar de un estado a otro, incluso ante una perturbación similar.13

Un caso particular en el que la respuesta sí puede coincidir

Hay una excepción más específica. En la configuración Pre-LayerNorm considerada aquí, una traslación uniforme de todas las características de un token puede quedar eliminada por la normalización y transmitirse por la conexión residual. Si se cumplen también las condiciones indicadas para todas las ramas recorridas, la respuesta interna a esa perturbación se mantiene igual a lo largo de esa dirección.12

En resumen: se reutilizan los operadores y los parámetros de la capa; no se puede dar por hecho que se reutilice la misma dinámica para cualquier estado de activación. El ejemplo de Pre-LayerNorm muestra una condición concreta en la que esa igualdad puede darse, no una propiedad general de todos los Transformers.