Så ska Jingang GC3 göra video-AI snabbare och billigare

Jingang GC3, även kallat King Kong GC3, uppges vara en specialiserad processor för video-AI och generativ AI från SmarCo HT Tech. I stället för att låta separata enheter hantera videodekodning, AI-inferens och videogenerering är tanken att samla dessa arbetsflöden i en dataflödesorienterad arkitektur. De rapporterade specifikationerna omfattar 12 RISC-V-kärnor, 200 TOPS INT8-beräkningar och 128 GB gemensamt LPDDR5 ECC-minne. 35

Det centrala är alltså inte bara den stora TOPS-siffran. GC3:s idé bygger på att videoarbetslaster ofta lägger mycket tid och energi på att flytta bildrutor, modelldata och mellanresultat mellan processorer och minne. Dataflödesmotorn, det gemensamma minnet och de integrerade video- och AI-vägarna ska enligt beskrivningen minska just denna datarörelse.

Därför blir video-AI en fråga om datatrafik

I en traditionell pipeline för videoanalys avkodas en videoström till bildrutor. Därefter skickas rutorna ofta vidare till en GPU för bild- eller videoanalys, innan resultaten passerar ytterligare bearbetningssteg. När antalet samtidiga strömmar ökar kan överföringar och synkronisering bli en flaskhals vid sidan av själva beräkningsarbetet. 3

Videogenerering har ett liknande problem. Diffusionsmodeller och Transformer-baserade system arbetar med stora modellparametrar och omfattande mellanresultat. I rapporteringen om GC3 anges att dessa datamängder kan uppgå till hundratals gigabyte, vilket gör upprepade läsningar, skrivningar och överföringar kostsamma i bandbredd, energi och tid. 3

Det är denna utmaning GC3 försöker angripa: inte enbart brist på beräkningsenheter, utan kostnaden för att samordna många steg i en stor och starkt parallell arbetslast.

Vad GC3 kombinerar

Dataflödesberäkning

I en traditionell kontrollflödesarkitektur hämtar och skickar en central processor eller schemaläggare instruktioner, medan data rör sig genom en minneshierarki. Det är flexibelt, men beskrivningen av GC3 framställer modellen som mindre lämpad för vissa regelbundna och massivt parallella videooperationer. 3

I en dataflödesarkitektur kan en beräkning i stället starta när de data som krävs finns tillgängliga. I teorin gör det det lättare att utnyttja parallellism och minska väntetider som uppstår genom central schemaläggning och samordning. För videoarbetslaster är målet att hålla fler bearbetningssteg aktiva utan att hela tiden skicka arbetet genom samma centrala kontrollväg. 3

Detta är ett arkitekturmål, inte ett bevis på en viss hastighetsökning. De tillgängliga källorna innehåller inga oberoende jämförelser av hela arbetsflöden mot namngivna CPU:er, GPU:er eller andra plattformar för video-AI.

RISC-V som styrskikt

De 12 RISC-V-kärnorna uppges utgöra den programmerbara styrdelen i designen. Specialiserade beräkningsvägar hanterar video- och AI-operationer, medan RISC-V-kärnorna står för generell styrning och schemaläggning. 35

RISC-V presenteras alltså inte som hela beräkningsmotorn. Kärnorna arbetar tillsammans med dataflödesmotorn och de dedikerade video- och AI-funktionerna. Det ger plattformen programmerbar kontroll, samtidigt som höggenomströmmande operationer lämnas till specialiserad hårdvara.

128 GB gemensamt minne

GC3 uppges använda 128 GB gemensamt LPDDR5 ECC-minne som delas av CPU-, VPU-, GPU- och NPU-vägarna. 35 Den tänkta fördelen är att minska behovet av att kopiera data mellan separata CPU- och GPU-minnen.

Med en gemensam minnespool skulle avkodade bildrutor, modellvikter och mellanresultat kunna vara tillgängliga för flera beräkningsblock utan lika många överföringar mellan enheter. ECC ger minnessystemet funktioner för att upptäcka och korrigera vissa fel. Forskning om RISC-V-processorer har också undersökt ECC-skyddat minne som ett sätt att förbättra feltålighet. 1

Gemensamt minne eliminerar dock inte alla bandbreddsbegränsningar. Det förändrar hur de olika beräkningsdelarna får tillgång till data, medan den praktiska nyttan beror på minnesbandbredd, programvarustöd, schemaläggning och den aktuella arbetslasten.

Integrerade video- och AI-vägar

Den rapporterade designen kombinerar videoavkodning och videokodning med AI-beräkningar på samma plattform. Det skapar en mer direkt väg från inkommande video till analys – och från genererat innehåll till färdig kodning. 35

Det tänkta arbetsflödet ser därför ut så här:

• videon avkodas på plattformen;
• bildrutorna hålls tillgängliga för den relevanta AI-funktionen;
• analys eller generering genomförs utan att data upprepade gånger behöver passera mellan separata enheter; och
• resultatet kodas på samma integrerade system.

Det betyder inte att alla operationer sker i ett enda odelbart steg. Poängen är att arkitekturen ska minska onödiga överlämningar mellan annars separata processorer och minnessystem.

Så kan arkitekturen påverka kostnad, effekt och fördröjning

Den möjliga ekonomiska effekten följer direkt av arkitekturen. Om en arbetslast kräver färre kopieringar, färre turer till och från minnet och mindre synkronisering mellan enheter kan mindre tid och energi gå åt till att flytta data i stället för att bearbeta den. Det kan vara relevant för analys av många samtidiga videoströmmar, lokal videobearbetning och videogenerering med stora mellanresultat. 3

De möjliga vinsterna kan delas in i tre områden:

• Fördröjning: Färre överföringar mellan avkodning, AI-bearbetning och kodning kan korta vägen från bildruta till resultat.
• Energiförbrukning: Mindre datarörelse kan minska energin som går åt till minnesåtkomst och trafik över interna förbindelser.
• Kostnad: En integrerad plattform kan minska den infrastruktur och drift som krävs för att samordna flera specialiserade enheter.

Detta är dock arkitekturens uttalade mål och den positionering som beskrivs i tillgänglig rapportering – inte oberoende verifierade resultat. Källorna redovisar specifikationer och tekniska argument, men visar inte någon uppmätt minskning av kostnad per video, watt per ström eller total fördröjning i millisekunder.

Vad specifikationerna faktiskt säger

Den rapporterade siffran 200 TOPS beskriver INT8-kapacitet för AI-beräkningar, inte garanterad prestanda i ett visst program. Den faktiska genomströmningen i video-AI beror också på modellstöd, numerisk precision, minnesbandbredd, kompilator- och runtime-stöd, videoformat, batchstorlek, antal strömmar och hur väl dataflödesschemaläggaren fungerar.

På samma sätt kan 128 GB gemensamt minne underlätta för stora modeller och mellanresultat, men minneskapaciteten i sig visar inte att en viss videogenereringsmodell körs effektivt. Programvaran och den faktiska minnestrafiken är fortfarande avgörande.

Slutsats

Jingang GC3 kan bäst förstås som ett specialiserat försök att bygga om video-AI:s bearbetningskedja med fokus på att hålla data nära beräkningen. Kombinationen av dataflödesexekvering, RISC-V-kärnor för styrning, integrerade CPU-, VPU-, GPU- och NPU-vägar samt 128 GB gemensamt minne är avsedd att hantera de överföringar och synkroniseringsbarriärer som kan begränsa traditionella CPU- och GPU-pipelines. 35

Om hårdvara och programvara fungerar som avsett kan arkitekturen göra analys av många videoströmmar och videogenerering mer effektiv. Den mest hållbara slutsatsen just nu är däremot att GC3 presenterar en intressant arkitekturstrategi och en uppsättning tillverkarrapporterade specifikationer – inte oberoende bevis på lägre kostnad, energiförbrukning eller fördröjning.