Co Transformer powtarza między różnymi stanami aktywacji?

Transformer powtarza przede wszystkim regułę obliczeń, a niekoniecznie tę samą dynamikę. W tej samej warstwie różne stany aktywacji są przetwarzane przy użyciu tych samych macierzy projekcji Query, Key i Value, tego samego mechanizmu attention, tych samych wag sieci feed-forward i tych samych połączeń rezydualnych. Wynik — w tym współczynniki attention i zmiany reprezentacji — zależy jednak od aktualnych aktywacji.13

Warto rozdzielić dwie rzeczy:

• Co pozostaje takie samo: parametry i układ obliczeń w konkretnej warstwie. Nie oznacza to, że różne warstwy mają wspólne wagi.13
• Co może się zmieniać: reakcja warstwy na daną zmianę aktywacji. Zapytania (Query) i klucze (Key) są wyliczane z bieżących aktywacji, więc ich wzajemne dopasowanie, a wraz z nim wpływ tej samej perturbacji, może być inny w różnych stanach.13
• Szczególny przypadek: w określonej konstrukcji Pre-LayerNorm równomierne przesunięcie wszystkich cech jednego tokenu może zostać usunięte przez normalizację, a następnie przeniesione dalej przez połączenie rezydualne. Jeśli spełnione są założenia dotyczące wszystkich gałęzi obliczeń, odpowiedź na takie przesunięcie pozostaje taka sama w kolejnych krokach. To wynik tej konkretnej konstrukcji, a nie zasada obowiązująca wszystkie Transformery.12

Krótko mówiąc: Transformer stosuje te same operatory do wielu stanów aktywacji, ale samo współdzielenie operatorów nie dowodzi, że model reaguje na każdy stan identycznie. Przypadek przesunięcia w architekturze Pre-LayerNorm pokazuje, kiedy taka zgodność może wystąpić. Dla innych kierunków zmian trzeba ją uzasadnić osobno.