Hoe Jingang GC3 RISC-V en dataflow-computing inzet voor video-AI

Jingang GC3, ook bekend als King Kong GC3, is volgens de beschikbare berichtgeving een gespecialiseerde processor voor video-AI en generatieve AI van SmarCo HT Tech. In plaats van videodecodering, AI-inferentie en videogeneratie als losse taken over verschillende apparaten te verdelen, wil de chip deze verwerkingsroutes samenbrengen in één architectuur die op dataflow-computing is gebaseerd. De gerapporteerde specificaties omvatten 12 RISC-V-kernen, 200 TOPS aan INT8-rekenkracht en 128 GB gedeeld LPDDR5 ECC-geheugen. 35

De belangrijkste claim draait echter niet alleen om het hoge TOPS-getal. Het uitgangspunt van GC3 is dat videowerk vaak veel tijd en energie kost door het verplaatsen van frames, modelgegevens en tussenresultaten tussen processors en geheugens. De dataflow-engine, het gedeelde geheugen en de geïntegreerde video- en AI-paden moeten dat verplaatsingswerk beperken.

Waarom video-AI zoveel data verplaatst

Bij een conventionele pijplijn voor videoanalyse wordt een videostream eerst gedecodeerd naar frames. Die frames gaan vervolgens naar een GPU voor beeldherkenning of andere AI-inferentie, waarna resultaten vaak opnieuw door meerdere verwerkingsstappen en geheugensystemen gaan. Naarmate het aantal gelijktijdige streams toeneemt, kan het kopiëren en synchroniseren van gegevens net zo goed een knelpunt worden als de berekeningen zelf. 3

Bij videogeneratie ontstaat een vergelijkbaar probleem. Modellen op basis van diffusion en Transformers werken met grote modelparameters en omvangrijke tussenresultaten. Volgens de berichtgeving rond GC3 kunnen die datasets honderden gigabytes groot worden. Herhaald lezen, schrijven en verplaatsen kost dan bandbreedte, energie en tijd. 3

GC3 richt zich daarmee niet alleen op een tekort aan rekenunits, maar ook op de kosten van het coördineren van een groot, sterk parallel werkpakket.

Welke onderdelen GC3 combineert

Dataflow-computing

In een traditioneel control-flow-ontwerp haalt een centrale processor of scheduler instructies op en geeft die uit, terwijl gegevens door verschillende lagen van de geheugenhiërarchie bewegen. Dat biedt flexibiliteit, maar volgens de beschrijving van GC3 sluit het minder goed aan op sommige regelmatige, sterk parallelle videobewerkingen. 3

Bij dataflow-computing kan een bewerking starten zodra de benodigde gegevens beschikbaar zijn. In theorie maakt dat meer parallelisme mogelijk en vermindert het wachten op centrale planning en globale synchronisatie. Voor videowerk is het doel om meer verwerkingsstappen gelijktijdig actief te houden, zonder al het werk steeds via één centraal controlepad te laten lopen. 3

Dit is een architectuurdoel en geen bewijs voor een specifieke snelheidswinst. De beschikbare bronnen bevatten geen onafhankelijke end-to-endvergelijkingen met concreet genoemde CPU's, GPU's of andere video-AI-platforms.

RISC-V als besturingslaag

De 12 RISC-V-kernen vormen volgens de gerapporteerde opzet de programmeerbare besturingslaag. Gespecialiseerde paden voeren video- en AI-bewerkingen uit, terwijl de RISC-V-kernen algemene besturing en planning verzorgen. Zo hoeft een conventionele CPU niet elke afzonderlijke stap uit te voeren. 35

RISC-V wordt hier dus niet gepresenteerd als de volledige rekenmotor. De instructiesetarchitectuur werkt samen met de dataflow-engine en gespecialiseerde video- en AI-functies. Dat moet programmeerbare controle combineren met hoge doorvoer voor de zwaarste bewerkingen.

128 GB gedeeld geheugen

GC3 zou gebruikmaken van 128 GB LPDDR5 ECC-geheugen dat wordt gedeeld door de CPU-, VPU-, GPU- en NPU-paden. 35 Het beoogde voordeel is dat gegevens minder vaak tussen afzonderlijke CPU- en GPU-geheugenpools hoeven te worden gekopieerd.

In zo'n gedeelde pool kunnen gedecodeerde frames, modelgewichten en tussenliggende tensors beschikbaar blijven voor meerdere verwerkingsblokken, zonder telkens een overdracht tussen apparaten te vereisen. ECC biedt foutdetectie en -correctie in het geheugensysteem; onderzoek naar RISC-V-processors heeft ECC-beschermd geheugen ook onderzocht als manier om de fouttolerantie te verbeteren. 1

Gedeeld geheugen neemt bandbreedtebeperkingen overigens niet weg. Het verandert vooral de manier waarop de verschillende rekenblokken gegevens benaderen. Het praktische voordeel hangt af van onder meer de geheugenbandbreedte, softwareondersteuning, planning en het specifieke werkpakket.

Geïntegreerde video- en AI-paden

Volgens de beschikbare informatie combineert GC3 video-encoding en -decoding met AI-rekenkracht op hetzelfde platform. Daardoor moet een directere route ontstaan van video-invoer naar analyse, en van gegenereerde inhoud naar codering. 35

De beoogde werkwijze ziet er op hoofdlijnen zo uit:

• video op het platform decoderen;
• frames beschikbaar houden voor de relevante AI-verwerking;
• analyse of generatie uitvoeren zonder voortdurend tussen afzonderlijke apparaten te wisselen; en
• de uitvoer op hetzelfde geïntegreerde systeem coderen.

Dat betekent niet dat elke bewerking in één ondeelbare stap plaatsvindt. Het betekent dat de architectuur onnodige overdrachten tussen afzonderlijke processors en geheugensystemen probeert te verminderen.

Hoe GC3 kosten, energieverbruik en vertraging wil verlagen

Het beoogde economische effect volgt rechtstreeks uit deze architectuur. Als een werkbelasting minder kopieeracties, geheugentransfers en synchronisatie tussen apparaten nodig heeft, kan er minder tijd en energie verloren gaan aan dataverplaatsing in plaats van aan berekeningen. Dat kan relevant zijn voor videoanalyse met meerdere streams, lokale videobewerking en videogeneratie met grote tussenliggende tensors. 3

De mogelijke voordelen vallen grofweg uiteen in drie categorieën:

• Latency: minder overdrachten tussen decodering, AI en codering kunnen de route van invoerframe naar resultaat verkorten.
• Energie: minder dataverplaatsing kan het energieverbruik van geheugentoegang en interconnects beperken.
• Kosten: één geïntegreerd platform kan de infrastructuur- en beheerkosten verminderen die gepaard gaan met meerdere gespecialiseerde apparaten.

Dit zijn de doelen en positionering uit de beschikbare berichtgeving, geen onafhankelijk geverifieerde resultaten. De bronnen onderbouwen de genoemde specificaties en de architecturale redenering, maar tonen geen gemeten besparing in euro's per video, watt per stream of milliseconden end-to-endvertraging.

Wat de specificaties wel en niet zeggen

De gerapporteerde 200 TOPS beschrijft de INT8-AI-rekencapaciteit, niet de gegarandeerde prestaties in echte toepassingen. De doorvoer bij video-AI hangt ook af van modelcompatibiliteit, numerieke precisie, geheugenbandbreedte, compiler- en runtimeondersteuning, videoformaten, batchgrootte, het aantal streams en de kwaliteit van de dataflow-planner.

Ook 128 GB gedeeld geheugen kan helpen om grote modellen en tussenresultaten onder te brengen, maar de capaciteit alleen bewijst niet dat een specifiek videogeneratiemodel efficiënt zal draaien. Softwareondersteuning en de daadwerkelijke hoeveelheid geheugentransacties blijven doorslaggevend.

Conclusie

Jingang GC3 kan het best worden gezien als een gespecialiseerde poging om de video-AI-pijplijn rond datalokaliteit te ontwerpen. De gerapporteerde combinatie van dataflow-uitvoering, RISC-V-besturingskernen, geïntegreerde CPU-, VPU-, GPU- en NPU-paden en 128 GB gedeeld geheugen moet de overdrachten en synchronisatiebarrières aanpakken die conventionele CPU-GPU-pijplijnen kunnen afremmen. 35

Als hardware en software samenwerken zoals bedoeld, kan de architectuur videoanalyse met meerdere streams en videogeneratie efficiënter maken. De meest verdedigbare conclusie op dit moment is echter dat GC3 een plausibele architectuurstrategie en een reeks door de leverancier gerapporteerde specificaties biedt — geen onafhankelijk bewezen garantie op lagere kosten, een lager energieverbruik of minder latency.