Jingang GC3 haluaa ratkaista videoälyn pullonkaulan datan siirtämisellä

Jingang GC3, jota kutsutaan myös King Kong GC3:ksi, on raportoidusti SmarCo HT Techin videoälyyn ja generatiiviseen tekoälyyn suunniteltu erikoissuoritin. Sen sijaan että videon purku, tekoälypäättely ja videon generointi tehtäisiin erillisillä laitteilla, siru pyrkii yhdistämään nämä työvaiheet samalle, dataflow-laskentaan perustuvalle alustalle. Raportoidut keskeiset tekniset tiedot ovat 12 RISC-V-ydintä, 200 TOPS:n INT8-laskentateho ja 128 gigatavua jaettua LPDDR5 ECC -muistia. 35

GC3:n kiinnostavin piirre ei kuitenkaan ole pelkkä TOPS-luku. Sirun varsinainen idea on, että videoälyn työkuormissa huomattava osa ajasta ja energiasta voi kulua kuvakehysten, mallidatan ja välitulosten siirtämiseen suorittimien ja muistin välillä. Dataflow-moottorin, jaetun muistin sekä integroitujen video- ja tekoälypolkujen tarkoitus on vähentää tätä liikennettä.

Miksi videoälyssä datan siirtäminen on ongelma?

Tavanomaisessa videon ymmärtämisen putkessa videovirta puretaan ensin kuvakehyksiksi. Kehykset siirretään usein grafiikkasuorittimelle näköpäättelyä varten, minkä jälkeen tulokset kulkevat vielä uusien käsittelyvaiheiden läpi. Kun samanaikaisia videovirtoja on paljon, datan siirtäminen ja työvaiheiden synkronointi voivat muodostua pullonkaulaksi varsinaisen laskennan rinnalle. 3

Videon generointi aiheuttaa samankaltaisen haasteen. Diffuusio- ja Transformer-mallit käsittelevät suuria malliparametreja ja välituloksia. GC3:tä koskevassa raportoinnissa näiden väliaikaisten aineistojen kerrotaan voivan kasvaa satoihin gigatavuihin, jolloin toistuvat luku-, kirjoitus- ja siirtotoiminnot kuluttavat kaistanleveyttä, energiaa ja aikaa. 3

GC3 pyrkii siis ratkaisemaan muutakin kuin laskentayksiköiden puutetta. Se kohdistuu myös siihen, kuinka suuri kustannus syntyy laajan ja vahvasti rinnakkaisen työkuorman koordinoinnista.

Mitä GC3:n arkkitehtuuri yhdistää?

Dataflow-laskenta

Perinteisessä control flow -tyyppisessä rakenteessa keskitetty suoritin tai ajastin hakee ja käynnistää käskyjä, ja data kulkee muistihierarkian läpi. Ratkaisu on joustava, mutta GC3:sta julkaistujen tietojen mukaan se ei sovi parhaalla mahdollisella tavalla joihinkin säännönmukaisiin ja erittäin rinnakkaisiin videotehtäviin. 3

Dataflow-arkkitehtuurissa laskenta voi puolestaan edetä, kun tietyn operaation tarvitsemat tiedot ovat saatavilla. Periaatteessa tämä tuo näkyviin enemmän rinnakkaisuutta ja vähentää keskitetyn ajastuksen sekä maailmanlaajuisen koordinoinnin aiheuttamaa odottelua. Videotyökuormissa tavoitteena on pitää useampi käsittelyvaihe aktiivisena ilman, että kaikkea työtä täytyy jatkuvasti kierrättää yhden ohjauspolun kautta. 3

Kyse on kuitenkin arkkitehtuurin tavoitteesta, ei todisteesta tietystä nopeusedusta. Saatavilla olevat lähteet eivät tarjoa riippumattomia päästä päähän -vertailuja nimettyihin suorittimiin, grafiikkasuorittimiin tai videoälyalustoihin.

RISC-V-ohjausytimet

Raportoidussa rakenteessa 12 RISC-V-ydintä muodostavat ohjelmoitavan ohjauskerroksen. Erikoistuneet käsittelypolut vastaavat video- ja tekoälyoperaatioista, kun taas RISC-V-ytimet huolehtivat yleiskäyttöisestä ohjauksesta ja ajastuksesta. 35

RISC-V:tä ei siis esitellä GC3:ssa koko laskentakoneena. Se toimii yhdessä dataflow-moottorin ja erillisten video- ja tekoälytoimintojen kanssa: ohjaus säilyy ohjelmoitavana, mutta suuren läpimenon tehtävät jätetään erikoislaitteistolle.

128 gigatavua jaettua muistia

GC3:n kerrotaan käyttävän 128 gigatavua LPDDR5 ECC -muistia, joka on jaettu CPU-, VPU-, GPU- ja NPU-polkujen kesken. 35 Tavoitteena on vähentää tarvetta kopioida dataa erillisten suoritin- ja grafiikkasuoritinmuistien välillä.

Jaetussa muistialtaassa puretut kuvakehykset, mallipainot ja välitensorit voisivat pysyä useiden käsittelylohkojen saatavilla ilman yhtä paljon laitteiden välistä siirtoa. ECC eli virheenkorjaava muisti lisää muistijärjestelmään virheiden havaitsemiseen ja korjaamiseen liittyviä ominaisuuksia. Myös RISC-V-suorittimissa on tutkittu ECC-suojattua muistia vikasietoisuuden parantamiseksi. 1

Jaettu muisti ei silti poista kaikkia kaistanleveyden rajoituksia. Se muuttaa tapaa, jolla eri laskentayksiköt käsittelevät dataa, mutta käytännön hyöty riippuu muun muassa muistikaistan leveydestä, ohjelmistopinosta, ajastuksesta ja käytettävästä työkuormasta.

Integroidut video- ja tekoälypolut

Raportoidussa toteutuksessa videoiden koodaus ja dekoodaus yhdistyvät tekoälylaskentaan samalla alustalla. Näin videon vastaanotosta analyysiin sekä generoidusta sisällöstä koodaukseen voidaan muodostaa suoraviivaisempi polku. 35

Tavoiteltu työnkulku olisi seuraava:

• video puretaan samalla alustalla;
• kuvakehykset pidetään tarvittavan tekoälypolun saatavilla;
• ymmärtäminen tai generointi suoritetaan ilman jatkuvaa siirtymistä erillisten laitteiden välillä; ja
• tulos koodataan samalla integroidulla järjestelmällä.

Tämä ei tarkoita, että jokainen operaatio tapahtuisi yhtenä jakamattomana työvaiheena. Tarkoitus on vähentää tarpeettomia siirtoja sellaisten suorittimien ja muistijärjestelmien välillä, jotka perinteisessä ratkaisussa olisivat erillisiä.

Miten rakenne voisi vähentää kustannuksia, kulutusta ja viivettä?

Sirun tavoiteltu taloudellinen vaikutus seuraa suoraan sen arkkitehtuurista. Jos työkuorma vaatii vähemmän kopiointia, muistissa edestakaista liikennettä ja laitteiden välistä synkronointia, aikaa ja energiaa voi kulua vähemmän datan siirtämiseen ja enemmän itse laskentaan. Tästä voisi olla hyötyä usean videovirran analyysissä, paikallisessa videonkäsittelyssä ja videon generoinnissa, jossa välitensorit ovat suuria. 3

Mahdolliset hyödyt voidaan jakaa kolmeen ryhmään:

• Viive: dekoodauksen, tekoälyn ja koodauksen välisten siirtojen vähentäminen voisi lyhentää matkaa syötekehyksestä tulokseen.
• Energiankulutus: datan siirtämisen vähentäminen voi pienentää muistikäyttöön ja sirun sisäiseen liikenteeseen kuluvaa energiaa.
• Kustannukset: yksi integroitu alusta voisi vähentää useiden erikoislaitteiden koordinointiin liittyvää infrastruktuuri- ja käyttöhallintaa.

Nämä ovat saatavilla olevissa lähteissä kuvattuja tavoitteita, eivät riippumattomasti varmennettuja tuloksia. Lähteet kertovat pääasialliset tekniset tiedot ja arkkitehtuurin perustelut, mutta eivät osoita mitattua alenemaa esimerkiksi videon käsittelyn hinnassa, watteina videovirtaa kohden tai päästä päähän -viiveessä.

Mitä tekniset luvut kertovat – ja mitä eivät?

Raportoitu 200 TOPS:n lukema kuvaa INT8-tarkkuuden tekoälylaskentakapasiteettia, ei taattua sovellussuorituskykyä. Todellinen videoälyn läpimeno riippuu lisäksi mallien yhteensopivuudesta, käytetystä tarkkuudesta, muistikaistan leveydestä, kääntäjän ja ajonaikaisen ohjelmiston tuesta, videoformaateista, eräkoosta, videovirtojen määrästä sekä dataflow-ajastimen toimivuudesta.

Samoin 128 gigatavun jaettu muisti voi helpottaa suurten mallien ja välidatan käsittelyä, mutta pelkkä kapasiteetti ei osoita, että jokin tietty videon generointimalli toimisi tehokkaasti. Ohjelmistotuki ja todellinen muistiliikenne ovat edelleen ratkaisevia tekijöitä.

Lopputulos

Jingang GC3 kannattaa nähdä ennen kaikkea yrityksenä suunnitella videoälyn käsittelypolku uudelleen datan paikallisuuden ympärille. Raportoitu yhdistelmä – dataflow-suoritus, RISC-V-ohjausytimet, integroidut CPU-, VPU-, GPU- ja NPU-polut sekä 128 gigatavun jaettu muisti – pyrkii ratkaisemaan siirto- ja synkronointikustannuksia, jotka voivat rajoittaa perinteisiä CPU–GPU-putkia. 35

Jos laitteisto ja ohjelmistot toimivat suunnitellusti, arkkitehtuuri voi tehostaa usean videovirran ymmärtämistä ja videon generointia. Tällä hetkellä varovaisin perusteltu johtopäätös on kuitenkin se, että GC3 tarjoaa uskottavalta vaikuttavan arkkitehtuuristrategian ja joukon valmistajan raportoimia teknisiä tietoja – ei riippumattomasti vahvistettua näyttöä pienemmästä hinnasta, energiankulutuksesta tai viiveestä.