Jingang GC3: come RISC-V e dataflow computing puntano a rendere più efficiente l’IA video

Jingang GC3, chiamato anche King Kong GC3, è descritto come un processore specializzato per l’IA video e la generazione di contenuti sviluppato da SmarCo HT Tech. L’idea non è affidare decodifica video, inferenza e generazione a dispositivi separati, ma riunire questi passaggi su una piattaforma con un’architettura orientata al dataflow, cioè al flusso dei dati.

Le specifiche riportate includono 12 core RISC-V, 200 TOPS di capacità di calcolo INT8 e 128 GB di memoria LPDDR5 ECC unificata. 35

Il punto centrale, però, non è soltanto il numero di TOPS. La tesi alla base di GC3 è che nei carichi video una parte rilevante del tempo e dell’energia venga consumata nello spostamento di fotogrammi, parametri dei modelli e risultati intermedi tra processori e memorie. Il motore dataflow, la memoria condivisa e i percorsi integrati per video e IA mirano a limitare proprio questo traffico.

Perché l’IA video deve gestire così tanti dati

In una pipeline tradizionale di analisi video, il flusso viene decodificato in fotogrammi, trasferito alla GPU per l’inferenza visiva e poi fatto passare attraverso ulteriori fasi di elaborazione. Quando aumentano i flussi simultanei, il trasferimento e la sincronizzazione dei dati possono diventare un collo di bottiglia tanto quanto il calcolo vero e proprio. 3

La generazione video presenta una difficoltà simile, ma su scala ancora maggiore. I sistemi basati su diffusione e Transformer lavorano con grandi quantità di parametri e risultati intermedi. Secondo le descrizioni disponibili, questi insiemi di dati possono raggiungere centinaia di gigabyte, rendendo costose in termini di banda, consumi e tempo le continue operazioni di lettura, scrittura e trasferimento. 3

GC3 prova quindi ad affrontare non solo la carenza di unità aritmetiche, ma anche il costo di coordinare numerose fasi di un carico di lavoro ampiamente parallelo.

Cosa mette insieme l’architettura di GC3

Un motore basato sul dataflow

In un’architettura convenzionale a flusso di controllo, un processore o uno scheduler centrale recupera e distribuisce le istruzioni, mentre i dati attraversano una gerarchia di memoria. È un approccio flessibile, ma secondo le descrizioni di GC3 non sempre è adatto alle operazioni video regolari e fortemente parallele. 3

In un sistema dataflow, invece, un’operazione può procedere quando sono disponibili i dati di cui ha bisogno. In linea teorica, questo permette di esporre più parallelismo e di ridurre le attese dovute alla pianificazione centralizzata e al coordinamento globale. Nei carichi video, l’obiettivo è mantenere attive più fasi di elaborazione senza far transitare continuamente il lavoro attraverso un unico percorso di controllo. 3

Si tratta però di un obiettivo architetturale, non della prova di un incremento prestazionale specifico. Le fonti disponibili non forniscono confronti indipendenti end-to-end con CPU, GPU o piattaforme per l’IA video nominate.

I 12 core RISC-V come livello di controllo

I 12 core RISC-V costituiscono, secondo quanto riportato, il livello programmabile di controllo del chip. I percorsi specializzati gestiscono le operazioni video e di IA, mentre i core RISC-V si occupano del controllo generale e della pianificazione, senza costringere una CPU tradizionale a gestire ogni singolo passaggio. 35

RISC-V, quindi, non viene presentato come l’intero motore di calcolo. Lavora insieme al motore dataflow e alle funzioni video e IA dedicate: offre controllo programmabile, mentre le operazioni ad alta intensità vengono affidate all’hardware specializzato.

128 GB di memoria unificata

GC3 dovrebbe utilizzare 128 GB di memoria LPDDR5 ECC unificata, condivisa dai percorsi CPU, VPU, GPU e NPU. 35 Il vantaggio atteso è ridurre la necessità di copiare i dati tra pool di memoria distinti per CPU e GPU.

In teoria, fotogrammi decodificati, pesi dei modelli e tensori intermedi potrebbero restare disponibili a più blocchi di elaborazione senza lo stesso livello di trasferimenti tra dispositivi. La sigla ECC indica inoltre funzioni di rilevamento e correzione degli errori nella memoria; la ricerca sui processori RISC-V ha esaminato l’uso della memoria protetta da ECC anche per migliorare la tolleranza ai guasti. 1

La memoria unificata, tuttavia, non elimina i limiti di banda. Cambia il modo in cui i diversi blocchi accedono ai dati, mentre il beneficio concreto dipenderà dalla larghezza di banda della memoria, dal software, dalla pianificazione e dal tipo di carico di lavoro.

Video e IA sullo stesso percorso

Il progetto descritto combina codifica e decodifica video con il calcolo per l’IA sulla stessa piattaforma. L’obiettivo è creare un percorso più diretto dall’acquisizione del video alla sua comprensione e, nel senso opposto, dalla generazione del contenuto alla codifica finale. 35

Il flusso previsto può essere riassunto così:

• decodificare il video sulla piattaforma;
• mantenere i fotogrammi disponibili al percorso IA interessato;
• eseguire comprensione o generazione senza attraversare ripetutamente i confini tra dispositivi separati;
• codificare l’output sullo stesso sistema integrato.

Questo non significa che ogni operazione avvenga in un unico passaggio indivisibile. Significa che l’architettura mira a ridurre i passaggi di consegne non necessari tra processori e sistemi di memoria diversi.

Meno trasferimenti possono significare meno latenza e consumi

L’effetto economico atteso deriva direttamente dall’architettura. Se un carico di lavoro richiede meno copie, meno andirivieni verso la memoria e meno sincronizzazioni tra dispositivi, può dedicare meno tempo ed energia allo spostamento dei dati e più al calcolo effettivo. Questo potrebbe essere utile per l’analisi di molti flussi video, l’elaborazione locale e la generazione video con grandi tensori intermedi. 3

I potenziali vantaggi si concentrano in tre aree:

• Latenza: meno trasferimenti tra decodifica, IA e codifica potrebbero accorciare il percorso dal fotogramma in ingresso al risultato.
• Consumi: ridurre il movimento dei dati può diminuire l’energia spesa per gli accessi alla memoria e il traffico tra i vari blocchi.
• Costi: una piattaforma integrata potrebbe ridurre l’infrastruttura necessaria per coordinare più dispositivi specializzati.

Sono però obiettivi dichiarati e motivazioni architetturali, non risultati verificati in modo indipendente. Le fonti riportano le specifiche principali e il razionale del progetto, ma non dimostrano una riduzione misurata dei costi per video, dei watt per flusso o della latenza end-to-end.

Cosa dicono davvero le specifiche

Il valore di 200 TOPS si riferisce alla capacità teorica di calcolo IA in INT8, non alle prestazioni garantite in una specifica applicazione. La velocità reale nell’IA video dipenderà anche dalla compatibilità con i modelli, dalla precisione utilizzata, dalla banda di memoria, dal supporto di compilatori e runtime, dai formati video, dalla dimensione dei batch, dal numero di flussi e dall’efficacia dello scheduler dataflow.

Allo stesso modo, 128 GB di memoria unificata possono aiutare a ospitare modelli e dati intermedi di grandi dimensioni, ma la capacità da sola non dimostra che un determinato modello di generazione video funzionerà in modo efficiente. Il supporto software e il traffico effettivo verso la memoria restano fattori decisivi.

Il punto, in breve

Jingang GC3 va interpretato come un tentativo specializzato di ripensare l’elaborazione dell’IA video mettendo la località dei dati al centro. La combinazione riportata di esecuzione dataflow, core RISC-V di controllo, percorsi integrati CPU/VPU/GPU/NPU e 128 GB di memoria unificata punta a ridurre i trasferimenti e le barriere di sincronizzazione che possono frenare le pipeline tradizionali basate su CPU e GPU. 35

Se hardware e software funzioneranno come previsto, l’architettura potrebbe rendere più efficienti l’analisi di molti flussi video e la generazione di contenuti. Al momento, però, la conclusione più prudente è che GC3 rappresenti una strategia architetturale plausibile accompagnata da specifiche riportate dai fornitori, non una prova indipendente di costi, consumi o latenze inferiori.