Nei Transformer, che cosa si ripete davvero da uno stato all’altro?

La distinzione fondamentale: regola fissa, risposta variabile

In un Transformer, ciò che viene riutilizzato da uno stato di attivazione all’altro è anzitutto la stessa regola di calcolo, non necessariamente la stessa dinamica.

Considerando un singolo strato, stati diversi vengono elaborati con gli stessi pesi per Query, Key e Value, la stessa procedura di attenzione, gli stessi pesi della rete feed-forward e gli stessi collegamenti residui. Questo riuso dei parametri è una proprietà dello strato; non significa che strati diversi condividano per forza gli stessi pesi.13

Che cosa può cambiare

Gli esiti del calcolo dipendono dalle attivazioni in ingresso. In particolare, Query e Key vengono ricavate dallo stato corrente: cambiano quindi i loro rapporti e, di conseguenza, i pesi dell’attenzione. Perciò la stessa perturbazione può produrre effetti diversi in stati diversi.13

Un caso particolare in cui la risposta può coincidere

Nella configurazione Pre-LayerNorm, uno spostamento uniforme di tutte le componenti di un token può essere annullato dalla normalizzazione; il collegamento residuo, invece, può trasmettere quello spostamento. Se valgono le condizioni necessarie per tutti i rami attraversati, la risposta interna lungo quella direzione resta uguale.12

È un caso specifico, non una proprietà generale di ogni Transformer. In breve: gli operatori di uno strato si riutilizzano; l’identità della dinamica tra stati diversi va dimostrata a parte.