Struktur Apa yang Dipakai Ulang dalam Dinamika Transformer?

Yang dipakai ulang oleh Transformer adalah aturan komputasinya—bukan selalu dinamika atau responsnya. Pada lapisan tertentu, berbagai keadaan aktivasi diproses menggunakan matriks proyeksi Query, Key, dan Value yang sama, perhitungan attention yang sama, bobot feedforward yang sama, serta jalur residual yang sama. Namun, bobot attention dan perubahan keadaan internal tetap bergantung pada aktivasi yang masuk.13

Perbedaan ini penting:

• Yang tetap: Susunan komputasi dan parameter terlatih pada lapisan tertentu. Memakai struktur lapisan yang sama tidak berarti semua lapisan dalam Transformer berbagi bobot yang sama.13
• Yang bisa berubah: Respons lokal terhadap suatu gangguan. Query dan Key dihitung dari aktivasi saat itu, sehingga interaksinya—dan dampak gangguan yang sama—dapat berbeda dari satu keadaan ke keadaan lain.13
• Kasus khusus: Dalam konstruksi Pre-LayerNorm yang diasumsikan di sini, pergeseran seragam pada seluruh fitur sebuah token dapat dihilangkan oleh normalisasi lalu diteruskan melalui jalur residual. Jika syarat yang telah ditetapkan berlaku pada semua cabang yang dilalui, respons internal terhadap gangguan itu tetap sama sepanjang arah pergeseran tersebut.12 Ini merupakan konsekuensi dari konstruksi khusus itu, bukan sifat umum semua Transformer.

Jadi, jawaban singkatnya: Transformer menggunakan operator tetap berulang kali pada berbagai keadaan aktivasi, tetapi itu saja belum membuktikan bahwa respons terhadap gangguan akan selalu identik. Kasus pergeseran pada Pre-LayerNorm menunjukkan satu kondisi khusus yang dapat menghasilkan kesamaan tersebut. Untuk arah perubahan lain, kesamaan respons perlu dibuktikan secara terpisah.