Transformerens faste struktur – og dynamikken som endrer seg

Det som først og fremst gjenbrukes i en transformer, er beregningsreglene – ikke nødvendigvis selve dynamikken. I et bestemt lag behandles ulike aktiveringstilstander med de samme projeksjonsmatrisene for query, key og value, den samme attention-beregningen, de samme vektene i feedforward-nettverket og de samme residualforbindelsene. Men attention-vektene og de interne tilstandsendringene som følger, avhenger av aktiveringstilstanden.13

Det er nyttig å skille mellom tre ting:

• Det samme laget bruker de samme parameterne. Lagets oppbygning og lærte vekter er faste. Det betyr ikke at forskjellige lag i modellen deler vekter.13
• Responsen på en forstyrrelse trenger ikke være den samme. Query og key beregnes ut fra de aktuelle aktiveringene. Derfor kan samspillet mellom dem – og virkningen av den samme forstyrrelsen – variere fra én tilstand til en annen.13
• Et særskilt tilfelle kan gi en identisk respons. I den tidligere antatte Pre-LayerNorm-konstruksjonen kan en jevn forskyvning av alle trekkverdiene for én token fjernes av normaliseringen og føres videre gjennom residualforbindelsen. Hvis de oppgitte forutsetningene gjelder for alle grenene som passeres, blir ikke bare beregningsregelen den samme: Den fullstendige interne responsen på forstyrrelsen er også den samme langs denne forskyvningsretningen. Dette følger av den spesifikke konstruksjonen og er ikke en generell egenskap ved alle transformere.12

Kort sagt: Transformere gjenbruker faste beregningsregler på tvers av aktiveringstilstander, men det viser ikke i seg selv at forstyrrelser gir samme dynamikk i hver tilstand. Pre-LayerNorm-eksempelet viser hvordan en slik likhet kan oppstå. For andre retninger i aktiveringsrommet må den begrunnes særskilt.