En transformer genbruger sine beregningsregler – ikke nødvendigvis sin dynamik

En transformer genbruger først og fremmest beregningsreglerne – ikke nødvendigvis selve dynamikken. I et bestemt lag behandles forskellige aktiveringstilstande med de samme projektionsmatricer for Query, Key og Value, den samme attention-beregning, de samme feedforward-vægte og de samme residualforbindelser. Men attention-vægtene og de interne ændringer afhænger af den aktuelle aktivering.13

Det er nyttigt at skelne mellem tre ting:

• Det, der genbruges: Lagets faste forbindelser og lærte parametre. At to aktiveringstilstande behandles af samme lag betyder ikke, at forskellige lag deler vægte.13
• Det, der ikke nødvendigvis genbruges: Lagets konkrete reaktion på en forstyrrelse. Queries og Keys beregnes ud fra de aktuelle aktiveringer, så deres indbyrdes samspil – og dermed virkningen af den samme forstyrrelse – kan variere fra tilstand til tilstand.13
• Et særligt tilfælde: I den præ-LayerNorm-konstruktion, der er lagt til grund her, kan en ensartet forskydning af alle en tokens egenskaber fjernes af normaliseringen og føres videre gennem residualforbindelsen. Hvis de tidligere nævnte betingelser gælder for alle gennemløbne grene, er det ikke kun beregningsreglen, der er den samme: Den fulde interne respons på forstyrrelsen forbliver også den samme langs denne forskydningsretning. Det følger af denne særlige konstruktion og er ikke en generel egenskab ved alle transformere.12

Det præcise svar er derfor: Transformere genbruger faste operatorer på tværs af mange aktiveringstilstande, men det viser ikke i sig selv, at forstyrrelser udvikler sig ens i alle tilstande. Præ-LayerNorm-eksemplet viser, hvordan en sådan ensartethed kan opstå. For andre retninger skal den begrundes særskilt.