Transformerissa laskentasääntö toistuu – mutta ei välttämättä dynamiikka

Transformerissa eri aktivaatiotilojen välillä toistuu ensisijaisesti laskentasääntö, ei välttämättä itse dynamiikka. Saman kerroksen käsitellessä eri tiloja se käyttää samoja query-, key- ja value-projektioita, samaa attention-laskentaa, samoja feedforward-verkon painoja ja samoja jäännösyhteyksiä. Tuloksena syntyvät attention-painot ja sisäiset tilanmuutokset riippuvat silti siitä, millaiset aktivaatiot kerrokseen syötetään.13

Ero on tärkeä:

• Varmasti toistuva rakenne: yksittäisen kerroksen kiinteät kytkennät ja opitut parametrit. Se, että kerroksilla on sama rakenne, ei tarkoita, että eri kerrokset jakaisivat samat painot.13
• Ei automaattisesti toistuva: häiriön paikallinen vaikutus. Koska queryt ja keyt lasketaan nykyisistä aktivaatioista, niiden välinen vuorovaikutus ja siten saman häiriön vaikutus voivat vaihdella tilasta toiseen.13
• Rajattu erityistapaus: aiemmin oletetussa Pre-LayerNorm-rakenteessa yhden tokenin kaikkien piirteiden tasainen siirto voi poistua normalisoinnissa ja kulkea eteenpäin jäännösyhteyden kautta. Jos aiemmin mainitut ehdot täyttyvät kaikissa läpikäydyissä haaroissa, sama ei ole vain laskentasääntö: myös koko sisäinen häiriövaste pysyy samana tätä siirtosuuntaa pitkin. Tämä seuraa kyseisestä erityisrakenteesta, eikä ole kaikkien Transformerien yleinen ominaisuus.12

Täsmällinen vastaus siis on: Transformer käyttää samoja laskentaoperaattoreita monissa aktivaatiotiloissa, mutta siitä ei vielä seuraa, että häiriöiden dynamiikka olisi tilasta riippumatta sama. Pre-LayerNormin siirtotapaus näyttää, millä erityisillä ehdoilla tällainen yhtäsuuruus voi toteutua. Muiden tilasuuntien kohdalla se on perusteltava erikseen.