Jingang GC3: cómo el procesamiento dataflow busca acelerar la IA de vídeo

Jingang GC3, también conocido como King Kong GC3, es un procesador especializado en vídeo, inteligencia artificial y AIGC —contenido generado por IA— desarrollado por SmarCo HT Tech. En lugar de separar la decodificación de vídeo, la inferencia de IA y la generación de vídeo entre distintos dispositivos, el chip intenta reunir esas rutas en una arquitectura orientada al procesamiento dataflow o «flujo de datos».

Las especificaciones comunicadas incluyen 12 núcleos RISC-V, 200 TOPS de capacidad de cálculo INT8 y 128 GB de memoria LPDDR5 ECC unificada. 35

La clave, sin embargo, no está únicamente en la cifra de TOPS. La propuesta del GC3 parte de una limitación habitual en las cargas de trabajo de vídeo: una parte importante del tiempo y la energía no se dedica a calcular, sino a mover fotogramas, parámetros de modelos y resultados intermedios entre procesadores y memorias.

Por qué la IA de vídeo mueve tantos datos

En un flujo convencional de análisis de vídeo, primero se descodifica la señal para convertirla en fotogramas. Después, esos fotogramas se transfieren a una GPU para ejecutar la inferencia visual y, a menudo, pasan por más etapas de procesamiento. Cuando aumenta el número de emisiones o cámaras simultáneas, la transferencia y la sincronización pueden convertirse en un cuello de botella tan importante como el propio cálculo. 3

La generación de vídeo plantea un problema parecido. Los sistemas basados en difusión y Transformers trabajan con grandes cantidades de parámetros y resultados intermedios. Según la información disponible sobre el GC3, esos conjuntos de datos pueden alcanzar cientos de gigabytes, lo que encarece en ancho de banda, consumo y tiempo las lecturas, escrituras y transferencias repetidas. 3

Por eso, el objetivo del GC3 no es solo añadir más unidades aritméticas. Busca reducir el coste de coordinar las distintas fases de una carga de trabajo grande y altamente paralela.

Qué combina la arquitectura del GC3

Procesamiento dataflow

En un diseño convencional de flujo de control, un procesador o planificador central obtiene y distribuye instrucciones mientras los datos circulan por varios niveles de memoria. Es un enfoque flexible, pero la información disponible sobre el GC3 lo presenta como menos adecuado para ciertas operaciones de vídeo regulares y masivamente paralelas. 3

En un diseño dataflow, una operación puede avanzar cuando están disponibles los datos que necesita. En teoría, esto permite exponer más paralelismo y reducir las esperas provocadas por la planificación centralizada y la coordinación global. En vídeo, la intención es mantener activas más etapas del procesamiento sin hacer pasar todo el trabajo por una única ruta de control. 3

Esto describe un objetivo arquitectónico, no una mejora de velocidad demostrada. Las fuentes disponibles no ofrecen comparaciones independientes de extremo a extremo con CPU, GPU o plataformas concretas de IA de vídeo.

Núcleos RISC-V para el control

Los 12 núcleos RISC-V actuarían como la capa programable de control del diseño descrito. Las rutas especializadas se encargarían de las operaciones de vídeo y de IA, mientras que los núcleos RISC-V aportarían control general y planificación, en lugar de obligar a una CPU convencional a gestionar cada etapa. 35

En este planteamiento, RISC-V no es todo el motor de cálculo. Trabaja junto al motor dataflow y a las funciones dedicadas de vídeo e IA: ofrece flexibilidad programable, mientras que las operaciones de alto rendimiento quedan en manos del hardware especializado.

128 GB de memoria unificada

Según los datos publicados, el GC3 utiliza 128 GB de memoria LPDDR5 ECC unificada, compartida por sus rutas de CPU, VPU, GPU y NPU. 35 La idea es reducir la necesidad de copiar datos entre espacios de memoria separados para la CPU y la GPU.

Una memoria compartida podría permitir que los fotogramas descodificados, los pesos de los modelos y los tensores intermedios permanezcan accesibles para varios bloques de procesamiento sin depender del mismo nivel de transferencias entre dispositivos. ECC añade mecanismos de protección frente a errores en el subsistema de memoria; distintas investigaciones sobre procesadores RISC-V también han estudiado la memoria protegida con ECC para mejorar la tolerancia a fallos. 1

La memoria unificada no elimina por sí sola los límites de ancho de banda. Cambia la forma en que los distintos bloques acceden a los datos, pero su beneficio real dependerá del ancho de banda disponible, el software, la planificación y el tipo de carga de trabajo.

Vídeo e IA en una misma plataforma

El diseño comunicado integra la codificación y decodificación de vídeo con el procesamiento de IA. Esto crea una ruta más directa desde la entrada de vídeo hasta su análisis, y desde el contenido generado hasta su codificación final. 35

El flujo previsto sería, en términos generales:

• descodificar el vídeo en la propia plataforma;
• mantener los fotogramas disponibles para la ruta de IA correspondiente;
• ejecutar tareas de comprensión o generación sin cruzar repetidamente los límites entre dispositivos; y
• codificar la salida dentro del mismo sistema integrado.

Esto no significa que todas las operaciones se ejecuten como un único paso indivisible. Significa que la arquitectura pretende reducir los traspasos innecesarios entre procesadores y sistemas de memoria que normalmente estarían separados.

Cómo pretende reducir coste, consumo y latencia

El posible efecto económico del chip se deriva directamente de su arquitectura. Si una carga de trabajo necesita menos copias, menos viajes de ida y vuelta a memoria y menos sincronización entre dispositivos, puede dedicar menos tiempo y energía a mover datos en lugar de procesarlos. Esto podría resultar útil para el análisis de vídeo con múltiples flujos, el procesamiento local y la generación de vídeo con tensores intermedios de gran tamaño. 3

Los beneficios potenciales se agrupan en tres áreas:

• Latencia: menos transferencias entre las fases de decodificación, IA y codificación podrían acortar el tiempo desde el fotograma de entrada hasta el resultado.
• Consumo: reducir el movimiento de datos puede disminuir la energía empleada en accesos a memoria y comunicaciones internas.
• Coste: una plataforma integrada podría reducir la infraestructura y la sobrecarga operativa necesarias para coordinar varios dispositivos especializados.

Son metas arquitectónicas y afirmaciones derivadas de la información publicada, no resultados verificados de forma independiente. Las fuentes ofrecen las especificaciones principales y la justificación del diseño, pero no demuestran una reducción concreta en euros por vídeo, vatios por flujo o milisegundos de latencia de extremo a extremo.

Lo que las especificaciones sí indican —y lo que no

Los 200 TOPS anunciados describen la capacidad de cálculo de IA en precisión INT8, no el rendimiento garantizado en una aplicación real. El rendimiento efectivo en vídeo dependerá también de la compatibilidad con los modelos, la precisión utilizada, el ancho de banda de memoria, el compilador y el entorno de ejecución, los formatos de vídeo, el tamaño de lote, el número de flujos y la eficacia del planificador dataflow.

Del mismo modo, disponer de 128 GB de memoria unificada puede facilitar el uso de modelos grandes y datos intermedios voluminosos, pero la capacidad por sí sola no demuestra que un modelo concreto de generación de vídeo vaya a ejecutarse de forma eficiente. El soporte de software y el tráfico real de memoria seguirán siendo decisivos.

En resumen

Jingang GC3 se entiende mejor como un intento especializado de rediseñar el procesamiento de IA de vídeo alrededor de la localidad de los datos. Su combinación anunciada de ejecución dataflow, núcleos de control RISC-V, rutas integradas de CPU, VPU, GPU y NPU, y 128 GB de memoria unificada busca atacar las transferencias y barreras de sincronización que pueden limitar las cadenas convencionales basadas en CPU y GPU. 35

Si el hardware y el software funcionan como se plantea, la arquitectura podría hacer más eficientes la comprensión de vídeo con múltiples flujos y la generación de vídeo. Por ahora, la conclusión más sólida es más prudente: el GC3 presenta una estrategia arquitectónica plausible y unas especificaciones comunicadas por sus responsables, pero todavía no constituye una prueba independiente de menor coste, consumo o latencia.