Transformer’larda farklı aktivasyon durumlarında hangi yapı aynı kalır?

Transformer’da farklı aktivasyon durumları arasında öncelikle yeniden kullanılan şey hesaplama kuralıdır; iç dinamiklerin aynı kalması şart değildir. Belirli bir katmanda farklı girdiler, aynı Query, Key ve Value projeksiyon matrislerinden, aynı attention hesabından, aynı feedforward ağırlıklarından ve aynı residual yollardan geçer. Ancak oluşan attention ağırlıkları ve ara temsiller, o anki aktivasyonlara bağlıdır.13

Burada iki şeyi birbirinden ayırmak gerekir:

• Sabit kalan yapı: Belirli bir katmanın bağlantı düzeni ve öğrenilmiş parametreleri, farklı aktivasyon durumlarında tekrar kullanılır. Fakat “aynı katman yapısı” demek, modelin farklı katmanlarının da aynı ağırlıkları paylaştığı anlamına gelmez.13
• Duruma göre değişebilen tepki: Query ve Key’ler mevcut aktivasyonlardan hesaplandığı için aralarındaki ilişki değişebilir. Dolayısıyla aynı yöndeki bir müdahale ya da küçük değişiklik, farklı aktivasyon durumlarında farklı sonuç verebilir.13

Daha özel bir durumda tepkinin aynı kalması da mümkün. Önceden varsayılan Pre-LayerNorm yapısında, bir token’ın bütün özelliklerine eşit miktarda eklenen kayma normalizasyon tarafından giderilebilir ve residual yol üzerinden taşınabilir. Kat edilen tüm dallar için ilgili koşullar sağlanıyorsa, bu kayma yönündeki iç tepki de aynı kalır. Bu sonuç, söz konusu özel yapının matematiksel bir özelliğidir; her Transformer için geçerli genel bir kural değildir.12

Kısacası, Transformer’lar farklı aktivasyon durumlarında aynı operatörleri tekrar kullanır; bu tek başına aynı aktivasyon dinamiğinin oluştuğunu göstermez. Pre-LayerNorm’daki kayma örneği, belirli bir yönde böyle bir eşitliğin hangi koşullarda ortaya çıkabileceğini gösterir. Diğer yönler için bu eşitliğin ayrıca kanıtlanması gerekir.