Jingang GC3 : une architecture RISC-V pensée pour les goulots d’étranglement de l’IA vidéo

Jingang GC3, également appelée King Kong GC3, est présentée comme une puce spécialisée dans l’IA vidéo et l’IA générative développée par SmarCo HT Tech. Plutôt que de confier le décodage vidéo, l’inférence et la génération à plusieurs composants distincts, elle cherche à réunir ces traitements au sein d’une architecture orientée « dataflow », ou flux de données. Les caractéristiques annoncées comprennent 12 cœurs RISC-V, une capacité de calcul de 200 TOPS en INT8 et 128 Go de mémoire LPDDR5 ECC unifiée. 35

L’enjeu ne se résume toutefois pas au chiffre de 200 TOPS. Le pari de la GC3 est que les charges de travail vidéo consacrent souvent une part importante de leur temps et de leur énergie à déplacer les images, les données de modèles et les résultats intermédiaires entre processeurs et mémoires. Son moteur dataflow, sa mémoire partagée et ses chemins vidéo et IA intégrés visent précisément à limiter ces déplacements.

Pourquoi l’IA vidéo est confrontée à un problème de transferts

Dans une chaîne classique de compréhension vidéo, un flux est d’abord décodé en images. Celles-ci sont ensuite transférées vers un GPU pour l’analyse visuelle, avant de passer par d’autres étapes de traitement. Lorsque le nombre de flux simultanés augmente, les transferts et la synchronisation peuvent devenir un goulot d’étranglement au même titre que le calcul lui-même. 3

La génération vidéo pose un problème comparable. Les systèmes fondés sur la diffusion ou sur des transformeurs manipulent de nombreux paramètres et produisent d’importants volumes de données intermédiaires. Selon les informations rapportées autour de la GC3, ces ensembles peuvent atteindre plusieurs centaines de gigaoctets, ce qui rend coûteuses les lectures, écritures et copies répétées en bande passante, en énergie et en temps. 3

C’est ce type de contrainte que la GC3 cherche à traiter : pas uniquement le manque d’unités de calcul, mais aussi le coût de coordination d’une charge de travail vaste et fortement parallèle.

Ce que réunit l’architecture de la GC3

Le calcul dataflow

Dans une architecture traditionnelle à flux de contrôle, un processeur ou un ordonnanceur central récupère les instructions et les distribue, tandis que les données circulent dans différents niveaux de mémoire. Cette organisation est flexible, mais les informations disponibles décrivent un ajustement moins naturel à certaines opérations vidéo régulières et massivement parallèles. 3

Avec le calcul dataflow, une opération peut commencer dès que les données dont elle a besoin sont disponibles. En théorie, cette approche expose davantage de parallélisme et réduit les temps d’attente liés à l’ordonnancement centralisé et à la coordination globale. Pour la vidéo, l’objectif est de maintenir actives davantage d’étapes du traitement sans faire repasser constamment le travail par un même chemin de contrôle. 3

Il s’agit d’un objectif architectural, et non de la preuve d’un gain précis. Les sources disponibles ne fournissent pas de comparaison indépendante de bout en bout avec des processeurs, des GPU ou des plateformes d’IA vidéo précisément identifiés.

Les cœurs RISC-V pour le contrôle

Les 12 cœurs RISC-V constituent la couche de contrôle programmable de la conception annoncée. Des circuits spécialisés prennent en charge les opérations vidéo et IA, tandis que les cœurs RISC-V assurent le contrôle général et l’ordonnancement, au lieu de faire reposer chaque étape sur un processeur classique. 35

Dans cette organisation, RISC-V n’est donc pas présenté comme l’unique moteur de calcul. L’architecture associe ces cœurs au moteur dataflow et aux fonctions vidéo et IA dédiées : le système conserve une part de programmabilité tout en réservant les opérations à haut débit au matériel spécialisé.

128 Go de mémoire unifiée

La GC3 utiliserait 128 Go de mémoire LPDDR5 ECC unifiée, partagée entre ses chemins CPU, VPU, GPU et NPU. 35 L’idée est de réduire les copies entre des espaces mémoire distincts, notamment ceux du CPU et du GPU.

Dans un tel schéma, les images décodées, les poids des modèles et les tenseurs intermédiaires pourraient rester accessibles à plusieurs blocs de traitement sans multiplier les transferts entre appareils. L’ECC apporte par ailleurs des mécanismes de détection et de correction des erreurs dans la mémoire ; des travaux consacrés aux processeurs RISC-V ont également étudié la mémoire protégée par ECC pour améliorer la tolérance aux défaillances. 1

La mémoire unifiée ne fait pas disparaître toutes les limites de bande passante. Elle modifie la manière dont les différents blocs de calcul accèdent aux données, mais son bénéfice réel dépendra de la bande passante mémoire, des logiciels, de l’ordonnancement et de la charge de travail utilisée.

Des chemins vidéo et IA intégrés

La conception annoncée associe l’encodage et le décodage vidéo au calcul IA sur une même plateforme. Elle vise ainsi à raccourcir le parcours entre l’arrivée d’un flux et son analyse, ou entre la génération d’un contenu et son encodage final. 35

Le fonctionnement visé peut se résumer ainsi :

• décoder la vidéo sur la plateforme ;
• conserver les images à proximité du chemin IA concerné ;
• effectuer la compréhension ou la génération sans multiplier les passages entre appareils distincts ;
• encoder le résultat sur le même système intégré.

Cela ne signifie pas que toutes les opérations s’exécutent en une seule étape indivisible. L’objectif est plutôt de supprimer une partie des transferts et des relais entre processeurs et systèmes mémoire séparés.

Comment la GC3 veut réduire les coûts, la consommation et la latence

L’effet économique recherché découle directement de cette architecture. Si une charge de travail nécessite moins de copies, moins d’allers-retours vers la mémoire et moins de synchronisations entre appareils, elle peut consacrer moins de temps et d’énergie au déplacement des données plutôt qu’au calcul proprement dit. Cette approche pourrait être pertinente pour la compréhension vidéo multi-flux, le traitement local et la génération vidéo produisant de grands tenseurs intermédiaires. 3

Les bénéfices potentiels se répartissent en trois catégories :

• Latence : moins de transferts entre décodage, IA et encodage pourraient raccourcir le délai entre l’image d’entrée et le résultat.
• Consommation : limiter les accès mémoire et le trafic entre composants pourrait réduire l’énergie dépensée pour déplacer les données.
• Coût : une plateforme intégrée pourrait alléger l’infrastructure et l’exploitation nécessaires pour coordonner plusieurs accélérateurs spécialisés.

Ces points correspondent aux objectifs architecturaux et au positionnement rapportés, pas à des résultats vérifiés indépendamment. Les sources disponibles donnent les principales caractéristiques et la logique de conception, mais ne démontrent pas une baisse mesurée du coût par vidéo, de la consommation par flux ou de la latence de bout en bout.

Ce que les spécifications permettent — ou non — de conclure

Les 200 TOPS annoncés correspondent à une capacité de calcul IA en INT8, et non à une garantie de performances dans une application donnée. Le débit réel en IA vidéo dépendra aussi de la compatibilité avec les modèles, de la précision utilisée, de la bande passante mémoire, du compilateur, de l’environnement d’exécution, des formats vidéo, de la taille des lots et du nombre de flux.

De même, 128 Go de mémoire unifiée peuvent faciliter l’accueil de modèles volumineux et de données intermédiaires, mais cette capacité ne suffit pas à démontrer qu’un modèle de génération vidéo particulier fonctionnera efficacement. La prise en charge logicielle et le trafic mémoire effectif resteront déterminants.

En résumé

Jingang GC3 doit surtout être comprise comme une tentative spécialisée de repenser le traitement de l’IA vidéo autour de la localité des données. Le calcul dataflow, les cœurs de contrôle RISC-V, les chemins CPU/VPU/GPU/NPU intégrés et les 128 Go de mémoire unifiée sont censés répondre aux transferts et aux barrières de synchronisation qui peuvent limiter les chaînes classiques associant CPU et GPU. 35

Si le matériel et les logiciels fonctionnent comme prévu, cette architecture pourrait améliorer l’efficacité de la compréhension vidéo multi-flux et de la génération vidéo. À ce stade, la conclusion la plus solide reste néanmoins prudente : la GC3 présente une stratégie architecturale cohérente et des caractéristiques annoncées par ses concepteurs, mais pas encore une preuve indépendante d’une baisse de la consommation, de la latence ou du coût.