Struktur Transformer yang sama tidak semestinya menghasilkan dinamik yang sama

Yang digunakan semula oleh Transformer ialah aturan pengiraannya—bukan semestinya dinamiknya. Dalam lapisan yang sama, pelbagai keadaan aktivasi diproses menggunakan matriks unjuran Query, Key dan Value yang sama, pengiraan perhatian yang sama, pemberat rangkaian suap hadapan yang sama serta laluan baki yang sama. Namun, pemberat perhatian dan perubahan keadaan dalaman yang terhasil bergantung pada aktivasi semasa.13

Perbezaan ini penting:

• Yang memang digunakan semula: Struktur pengiraan dan parameter terlatih bagi sesuatu lapisan. Ini tidak bermakna lapisan berlainan berkongsi pemberat yang sama.13
• Yang tidak semestinya digunakan semula: Kesan setempat sesuatu gangguan. Query dan Key dikira daripada aktivasi semasa, maka interaksi antara kedua-duanya—dan kesan gangguan yang sama—boleh berubah mengikut keadaan.13
• Kes khusus yang lebih ketat: Dalam binaan Pre-LayerNorm yang dibincangkan, anjakan seragam pada semua ciri bagi satu token boleh dinyahkesan oleh normalisasi, kemudian dibawa ke hadapan melalui laluan baki. Jika andaian yang dinyatakan bagi semua cabang yang dilalui dipenuhi, tindak balas gangguan dalaman kekal sama sepanjang arah anjakan tersebut. Ini kesan matematik daripada binaan khusus itu, bukannya sifat umum semua Transformer.12

Ringkasnya, Transformer menggunakan operator tetap merentas banyak keadaan aktivasi, tetapi itu sahaja belum membuktikan bahawa tindak balas terhadap gangguan juga sama. Kes anjakan Pre-LayerNorm menunjukkan bagaimana kesamaan sedemikian boleh berlaku; bagi arah keadaan yang lain, kesamaan itu perlu dibuktikan secara berasingan.