Welke structuur van een transformer wordt hergebruikt bij verschillende activatietoestanden?

Wat een transformer in eerste instantie hergebruikt, zijn de rekenregels — niet noodzakelijk de dynamiek zelf. Binnen een bepaalde laag worden verschillende activatietoestanden verwerkt met dezelfde projectiematrices voor query, key en value, dezelfde attention-berekening, dezelfde feedforwardgewichten en dezelfde residualverbindingen. De attention-gewichten en de interne toestandsveranderingen die daaruit volgen, hangen echter af van de activatietoestand.13

Voor het antwoord is dit onderscheid belangrijk:

• Wat wel vastligt: de structuur en de geleerde parameters van een specifieke laag. Dat verschillende lagen dezelfde structuur hebben, betekent niet dat ze ook dezelfde gewichten delen.13
• Wat niet automatisch vastligt: het precieze effect van een lokale verstoring. Queries en keys worden berekend op basis van de actuele activaties. Daardoor kan hun onderlinge interactie veranderen, en kan dezelfde verstoring per toestand een ander effect hebben.13
• Een specifiek geval waarin de reactie gelijk kan blijven: in de eerder veronderstelde pre-LayerNorm-constructie kan normalisatie een gelijke verschuiving van alle kenmerken van een token wegnemen, waarna die verschuiving via de residualverbinding wordt doorgegeven. Als aan de genoemde voorwaarden voor alle betrokken takken is voldaan, blijft de volledige interne reactie op die verschuiving gelijk. Dat volgt uit deze specifieke constructie; het is geen algemene eigenschap van iedere transformer.12

Kortom: transformers passen vaste operatoren toe op verschillende activatietoestanden, maar daaruit volgt niet dat elke verstoring in al die toestanden dezelfde dynamiek oplevert. Het pre-LayerNorm-voorbeeld laat zien hoe zo’n gelijkblijvende reactie in een specifiek geval kan ontstaan. Voor andere richtingen van verandering moet die gelijkheid afzonderlijk worden aangetoond.