Transformer opakuje výpočetní pravidla, ne nutně stejnou dynamiku

Transformer napříč různými stavy aktivací opakuje především výpočetní pravidla, ne nutně samotnou dynamiku. V konkrétní vrstvě se při zpracování různých stavů používají tytéž naučené matice pro dotaz (Query), klíč (Key) a hodnotu (Value), stejný výpočet pozornosti, stejné váhy dopředné sítě i stejná reziduální spojení. Výsledné váhy pozornosti a změny vnitřních reprezentací ale závisejí na aktuálních aktivacích.13

Co zůstává stejné a co se mění

• Stejné zůstává: Výpočetní struktura a naučené parametry konkrétní vrstvy. Neznamená to, že různé vrstvy Transformeru sdílejí stejné váhy.13
• Měnit se může: Konkrétní reakce vrstvy na narušení reprezentace. Dotazy a klíče se totiž počítají z aktuálních aktivací, takže jejich vzájemné působení — a s ním i účinek stejného narušení — se může mezi stavy lišit.13

Zvláštní případ s Pre-LayerNorm

U konstrukce s Pre-LayerNorm může normalizace odstranit rovnoměrný posun všech příznaků jednoho tokenu. Tento posun pak pokračuje reziduálním spojením. Pokud platí také předpoklady pro všechny zasažené větve, může být odezva celého vnitřního výpočtu v tomto konkrétním směru posunu stejná.12 Jde však o důsledek této zvláštní konstrukce a uvedených podmínek, nikoli o obecnou vlastnost všech Transformerů.

Stručně: Transformer opakovaně používá stejné operátory, ale stejná pravidla sama o sobě nezaručují stejnou reakci v každém stavu. Případ s posunem u Pre-LayerNorm ukazuje, kdy může být odezva skutečně stejná. U jiných směrů změny je potřeba tuto shodu doložit zvlášť.