Adreno Neural Fusion: näin Qualcomm siirtää tekoälyrenderöinnin GPU:n sisään

Qualcomm haluaa siirtää mobiilipelaamisen tekoälyavusteisen kuvanmuodostuksen mahdollisimman lähelle varsinaista grafiikkalaskentaa. Uudessa Adreno Neural Fusion -arkkitehtuurissa tekoälysuperresoluutio ja ruudunluonti eivät ole GPU:n ulkopuolinen lisävaihe, vaan ne on tuotu osaksi grafiikkaputkea. Tätä varten Qualcomm lisää GPU:hun omat Adreno Matrix Cores -laskentayksiköt. 14

Kolme GPU-osiota, kolme Matrix Core -ydintä

Tulevassa Adreno-ratkaisussa on kolme GPU-osiota eli slicea, ja jokaisessa niistä on oma Matrix Core. Nämä ovat tekoälylaskentaan tarkoitetut yksiköt, joiden tehtävä on ajaa kehittyneitä grafiikkamalleja paikallisesti GPU:n renderöintiketjussa. 24

Sijoittelu on olennainen, koska superresoluutio ja ruudunluonti hyödyntävät renderöinnin lähellä syntyvää dataa: kuvia, liiketietoa, ruutualueita sekä välituloksia. Kun dataa ei tarvitse siirtää erillisten laskentayksiköiden välillä, voidaan vähentää muistiliikennettä, synkronointia ja viivettä. Qualcomm arvioi tämän pienentävän myös virrankulutuksen lisäkuormaa verrattuna eriytetympään toteutukseen. 13

Mitä Neural Fusion käytännössä tekee?

Adreno Neural Fusion on Qualcommin nimitys yhdistetylle renderöintityönkululle, joka kokoaa yhteen:

• neuroverkkolaskennan,
• tekoälypohjaisen superresoluution ja
• ruudunluonnin. 1

Peli voi esimerkiksi renderöidä kuvan pienemmällä sisäisellä tarkkuudella ja antaa tekoälymallin rekonstruoida lopullisen kuvan. Ruudunluonnissa puolestaan voidaan tuottaa lisäruutuja valmiiksi renderöidyn kuvadatan perusteella. Tavoitteena on saada enemmän yksityiskohtia ja sulavampi liike ilman, että jokainen pikseli tai ruutu tarvitsee laskea perinteisellä tavalla.

Qualcomm sanoo teknologian voivan tuottaa terävämmän ja vakaamman kuvan sekä vähentää esimerkiksi välkkymistä, kimallusta ja haamukuvia. Kyse on kuitenkin yhtiön omista väitteistä: kuvanlaatu ja viive riippuvat pelistä ja toteutuksesta, eikä lopullisia laitteita tai pelejä ole vielä riippumattomasti vertailtu. 113

Miksi 18 Mt:n Adreno HPM -muisti on tärkeä?

GPU:n yhteydessä on 18 Mt Adreno High Performance Memoryä (HPM), eli pienen viiveen muistia grafiikkapiirin lähellä. Sen tarkoitus on pitää esimerkiksi ruutualueiden renderöintidataa, ruutupuskureita ja laskentatyökuormien dataa paikallisesti sen sijaan, että niitä haettaisiin jatkuvasti puhelimen keskusmuistista. 14

Kun järjestelmämuistiin kohdistuva liikenne vähenee, myös kaistanleveyden tarve, viive ja energiankulutus voivat pienentyä. Tämä on erityisen hyödyllistä työkuormissa, joissa samoja kuvan välituloksia käytetään toistuvasti. Kolmiosaisen GPU:n huippukellotaajuudeksi on raportoitu 1,45 GHz, kun edeltävässä rakenteessa se oli 1,2 GHz. Samalla arkkitehtuurille on esitetty noin 12 prosentin energiatehokkuusparannus. 25

40 prosentin virransäästö on lupaus, ei yleispätevä tulos

Qualcomm on kertonut jopa 40 prosenttia pienemmästä GPU:n virrankulutuksesta verrattuna aiempaan ratkaisuunsa tekoälyrenderöintiä hyödyntävissä tilanteissa. 13 Lukua ei pidä tulkita varmaksi akunkeston parannukseksi kaikissa peleissä, puhelimissa, tarkkuuksissa tai lämpötiloissa.

Todellinen hyöty riippuu muun muassa pelin integraatiosta, käytetystä tekoälymallista, näytön virkistystaajuudesta, laitteen jäähdytyksestä sekä siitä, rajoittaako suorituskykyä GPU, suoritin vai muistikaista. Ennen vähittäismyyntiin tulevien laitteiden ja tuettujen pelien riippumattomia testejä luvut ovat parhaiten ymmärrettävissä Qualcommin tavoitteina ja omiin mittauksiin perustuvina arvioina.

Unity- ja Unreal Engine -tuki voi madaltaa käyttöönoton kynnystä

Qualcommin mukaan Adreno Neural Fusionia tuetaan Unityssä ja Unreal Enginessä. 14 Pelimoottoritason tuki voi vähentää studioiden omaa integraatiotyötä. Se ei silti tarkoita, että kaikki Unity- tai Unreal-pelit ottaisivat ominaisuuden käyttöön tai saavuttaisivat samanlaiset tulokset kuvanlaadussa, suorituskyvyssä ja viiveessä.

Osa seuraavan Snapdragonin laajempaa kokonaisuutta

GPU-julkistus liittyy Qualcommin seuraavan sukupolven Snapdragon-alustan ennakkotietoihin. Yhtiö on esitellyt myös uuden Oryon-suorittimen, jonka se kertoo yltävän 5 GHz:iin, sekä FlexCache-välimuistiarkkitehtuurin. FlexCache antaa erityyppisten CPU-ytimien käyttää dynaamisesti jaettua välimuistialuetta, jotta suuremmat työjoukot pysyisivät välimuistissa eivätkä siirtyisi keskusmuistiin.

Kokonaisuus hahmottaa heterogeenisen laskennan mallia: GPU ja sen Matrix Core -ytimet hoitavat grafiikan lähellä olevan tekoälylaskennan, kun taas CPU ja välimuistijärjestelmä tukevat sovellusten yleistä reagointikykyä ja vaihtelevia työkuormia. Qualcomm oli ajoittanut Snapdragon Summit -tapahtumansa Mauille 22.–24. syyskuuta, jolloin yhtiöltä odotettiin lisätietoja myös Hexagon-NPU:sta. 11

Mitä ei vielä tiedetä?

Julkistus kertoo arkkitehtuurin suunnasta, mutta keskeisiä yksityiskohtia puuttuu yhä:

• Mitkä lopulliset Snapdragon-tuotteet käyttävät tätä Adreno-rakennetta?
• Mitkä pelit julkaistaan Neural Fusion -tuella?
• Kuinka hyvin superresoluutio ja ruudunluonti toimivat eri pelilajeissa?
• Toteutuvatko virransäästöväitteet myös pitkissä pelisessioissa, kun puhelimen lämpörajat tulevat vastaan?
• Miten GPU:n paikallinen Matrix Core -laskenta ja järjestelmäpiirin muu tekoälylaskenta jaetaan keskenään?

Pääviesti on selvä: Qualcomm pyrkii tekemään tekoälyrenderöinnistä GPU:n sisäisen toiminnon ulkoisen lisävaiheen sijaan. Ratkaisun arvo mitataan vasta siinä, näkyykö muutos kaupallisissa peleissä tasaisesti parempana kuvanlaatuna, sulavampana pelaamisena ja mitattavasti pienempänä virrankulutuksena.