Jingang GC3 forklaret: Sådan bruger chippen RISC-V og dataflow til video-AI

Jingang GC3, også kendt som King Kong GC3, er rapporteret som en specialiseret processor til video-AI og generativ AI fra SmarCo HT Tech. I stedet for at lade videodekodning, AI-inferens og videogenerering være separate opgaver for forskellige enheder er chippen designet til at samle processerne i en dataflow-orienteret arkitektur. De rapporterede specifikationer omfatter 12 RISC-V-kerner, 200 TOPS INT8-beregningskraft og 128 GB samlet LPDDR5 ECC-hukommelse. 35

Det centrale er dog ikke blot tallet 200 TOPS. GC3’s idé er, at videoarbejde ofte bruger betydelig tid og energi på at flytte billeder, modeldata og mellemresultater mellem processorer og hukommelse. Dataflow-motoren, den fælles hukommelse og de integrerede video- og AI-funktioner skal efter planen begrænse denne trafik.

Hvorfor video-AI har et dataflytningsproblem

I en traditionel pipeline til videoanalyse dekodes en videostrøm først til billeder. Billederne sendes derefter typisk videre til en GPU, hvor synsmodeller udfører inferens, før resultaterne bevæger sig gennem yderligere behandlingstrin. Når antallet af samtidige videostrømme vokser, kan overførsel og synkronisering blive en flaskehals på linje med selve beregningerne. 3

Videogenerering giver en beslægtet udfordring. Diffusionsmodeller og Transformer-baserede systemer arbejder med store modelparametre og omfattende mellemresultater. Rapporteringen om GC3 beskriver, hvordan disse datasæt kan nå op på hundredvis af gigabyte, hvilket gør gentagne læsninger, skrivninger og overførsler dyre i båndbredde, strøm og tid. 3

Det er denne udfordring, GC3 forsøger at adressere: ikke kun mangel på beregningsenheder, men også omkostningen ved at koordinere mange trin i en stor og stærkt parallel arbejdsbelastning.

Hvad GC3-arkitekturen kombinerer

Dataflow-beregning

I en traditionel kontrolflow-arkitektur henter og udsteder en central processor eller planlægger instruktioner, mens data bevæger sig gennem et hierarki af hukommelse. Det giver fleksibilitet, men beskriver ifølge rapporteringen ikke den bedste løsning til visse regelmæssige, massivt parallelle videooperationer. 3

I en dataflow-arkitektur kan beregningen i stedet fortsætte, når de data, som en bestemt operation kræver, er tilgængelige. I princippet kan det udnytte mere parallelitet og mindske ventetid forårsaget af central planlægning og omfattende koordinering. For videoarbejde er målet at holde flere behandlingstrin aktive uden igen og igen at sende arbejdet gennem én central kontrolvej. 3

Det er et arkitekturmæssigt mål – ikke dokumentation for en bestemt hastighedsforbedring. De tilgængelige kilder indeholder ingen uafhængige end-to-end-sammenligninger med navngivne CPU’er, GPU’er eller video-AI-platforme.

RISC-V-kerner til styring

De 12 RISC-V-kerner fungerer ifølge den rapporterede beskrivelse som et programmerbart kontrol- og styringslag. Specialiserede processorkredsløb håndterer video- og AI-operationer, mens RISC-V-kernerne står for generel kontrol og planlægning i stedet for at lade en konventionel CPU håndtere hvert eneste trin. 35

RISC-V præsenteres dermed ikke som hele beregningsmotoren. Kernerne arbejder sammen med dataflow-motoren og dedikerede video- og AI-funktioner: platformen får programmerbar styring, mens operationer med høj gennemstrømning overlades til specialiseret hardware.

128 GB samlet hukommelse

GC3 rapporteres at bruge 128 GB samlet LPDDR5 ECC-hukommelse, som deles af chippenes CPU-, VPU-, GPU- og NPU-veje. 35 Den tilsigtede fordel er at mindske behovet for at kopiere data mellem separate CPU- og GPU-hukommelsesområder.

En fælles hukommelsespulje kan gøre det muligt for dekodede billeder, modelvægte og mellemresultater at være tilgængelige for flere beregningsblokke uden samme grad af overførsel mellem enheder. ECC giver hukommelsessystemet funktioner til fejldetektion og -beskyttelse; forskning i RISC-V-processorer har også undersøgt ECC-beskyttet hukommelse som en måde at forbedre fejltolerance på. 1

Samlet hukommelse fjerner dog ikke alle begrænsninger i båndbredden. Den ændrer, hvordan de forskellige beregningsblokke tilgår data, mens den praktiske gevinst afhænger af hukommelsesbåndbredde, softwarestak, planlægning og den konkrete arbejdsbelastning.

Integrerede video- og AI-veje

Den rapporterede konstruktion kombinerer videoencoding og -dekoding med AI-beregning på samme platform. Det skaber en mere direkte vej fra videoinput til analyse og fra genereret indhold til encoding. 35

Den foreslåede arbejdsgang er derfor:

• dekod video på platformen;
• hold billederne tilgængelige for den relevante AI-del;
• udfør analyse eller generering uden gentagne skift mellem separate enheder; og
• encode resultatet på det samme integrerede system.

Det betyder ikke, at alle operationer foregår som ét udeleligt trin. Det betyder, at arkitekturen er beregnet til at reducere unødvendige overleveringer mellem processorer og hukommelsessystemer, som ellers ville være adskilt.

Sådan skal GC3 efter planen reducere pris, strømforbrug og ventetid

Den forventede økonomiske effekt følger direkte af arkitekturen. Hvis en arbejdsbelastning kræver færre kopieringer, færre ture til og fra hukommelsen og mindre synkronisering mellem enheder, kan mindre tid og energi gå til dataflytning frem for selve beregningen. Det kan være relevant ved analyse af mange samtidige videostrømme, lokal videobehandling og videogenerering med store mellemresultater. 3

De mulige gevinster kan samles i tre områder:

• Ventetid: Færre overførsler mellem dekodning, AI og encoding kan forkorte vejen fra inputbillede til resultat.
• Strømforbrug: Mindre dataflytning kan reducere energien til hukommelsesadgang og trafik mellem beregningsblokke.
• Omkostninger: Én integreret platform kan mindske den infrastruktur og drift, der følger med koordinering af flere specialiserede enheder.

Det er mål, som den tilgængelige rapportering beskriver – ikke uafhængigt bekræftede resultater. Kilderne angiver hovedspecifikationerne og den arkitekturmæssige begrundelse, men dokumenterer ikke en målt reduktion i kroner pr. video, watt pr. videostrøm eller millisekunder i samlet latenstid.

Hvad specifikationerne viser – og ikke viser

De rapporterede 200 TOPS beskriver INT8-kapacitet til AI-beregning, ikke en garanti for ydelsen i konkrete applikationer. Den reelle video-AI-gennemstrømning vil også afhænge af modelkompatibilitet, præcision, hukommelsesbåndbredde, compiler- og runtime-understøttelse, videoformater, batchstørrelse, antal streams og hvor effektiv dataflow-planlæggeren er.

På samme måde kan 128 GB samlet hukommelse gøre det lettere at få plads til store modeller og mellemdata, men kapaciteten alene beviser ikke, at en bestemt videogenereringsmodel vil køre effektivt. Softwareunderstøttelse og den faktiske datatrafik i hukommelsen er fortsat afgørende.

Konklusionen

Jingang GC3 kan bedst forstås som et specialiseret forsøg på at redesigne video-AI’s behandlingsvej med fokus på datalokalitet. Kombinationen af dataflow-eksekvering, RISC-V-kerner til styring, integrerede CPU-, VPU-, GPU- og NPU-veje samt 128 GB samlet hukommelse skal ifølge rapporteringen håndtere de overførsler og synkroniseringsbarrierer, der kan begrænse traditionelle CPU- og GPU-pipelines. 35

Hvis hardware og software fungerer som tilsigtet, kan arkitekturen gøre analyse af mange videostrømme og videogenerering mere effektiv. Den mest forsvarlige konklusion er dog foreløbig, at GC3 repræsenterer en plausibel arkitekturmæssig strategi og et sæt leverandørrapporterede specifikationer – ikke uafhængigt verificeret dokumentation for lavere omkostninger, strømforbrug eller ventetid.