Vad återanvänder en transformer mellan olika aktiveringstillstånd?

Det som återanvänds är i första hand beräkningsreglerna – inte nödvändigtvis själva dynamiken. I ett visst lager bearbetas olika aktiveringstillstånd med samma projektionsmatriser för query, key och value, samma attention-beräkning, samma feedforward-vikter och samma residualkopplingar. Transformerarkitekturen bygger på sådana lagerdelar med bestämda delkomponenter.13

Men samma regler ger inte automatiskt samma respons. Attention-vikterna beräknas utifrån de aktuella aktiveringarna. Om tillståndet ändras kan samspelet mellan query och key därför också ändras, liksom effekten av en viss störning.13

Det är också viktigt att skilja mellan samma struktur och samma vikter mellan lager. Att en lagerdel använder en fast uppsättning parametrar betyder inte att andra lager i modellen delar just de parametrarna.13

Ett särskilt fall: Pre-LayerNorm

I en Pre-LayerNorm-konstruktion kan en jämn förskjutning av alla egenskaper för en token tas bort av normaliseringen och sedan föras vidare genom residualkopplingen. Om de relevanta villkoren gäller för alla berörda grenar kan störningsresponsen då förbli densamma längs just den förskjutningsriktningen.12

Det är ett specialfall, inte en allmän egenskap hos transformrar. Kort sagt: modellen återanvänder sina operatorer mellan aktiveringstillstånd, men identisk respons måste visas separat för den riktning och konstruktion man undersöker.