Jingang GC3: как RISC-V-чип пытается ускорить видео-ИИ за счёт обработки потоков данных

Jingang GC3, или King Kong GC3, — заявленный специализированный чип для видео-ИИ и генеративного ИИ от SmarCo HT Tech. Его ключевая идея — не разделять декодирование видео, ИИ-инференс и генерацию роликов между несколькими устройствами, а объединить эти этапы на одной платформе с архитектурой обработки потоков данных (dataflow). В опубликованных материалах упоминаются 12 ядер RISC-V, 200 TOPS вычислительной производительности в INT8 и 128 ГБ общей памяти LPDDR5 ECC. 35

Главное в концепции GC3 — не только внушительная цифра TOPS. Разработчики делают ставку на уменьшение объёма данных, которые приходится постоянно перемещать между процессорами, памятью и ускорителями. Для видео это может быть особенно важно: система одновременно работает с кадрами, параметрами моделей и промежуточными результатами больших нейросетей.

Почему видео-ИИ упирается в передачу данных

В обычном конвейере видеоаналитики поток сначала декодируется в отдельные кадры. Затем кадры передаются на GPU для компьютерного зрения, после чего результаты проходят через дополнительные этапы обработки. При росте числа параллельных потоков узким местом становится не только вычислительная мощность, но и задержки передачи и синхронизации данных. 3

В генерации видео возникает похожая проблема, но в большем масштабе. Диффузионные и Transformer-модели работают с крупными наборами параметров и промежуточными результатами. Согласно описанию GC3, такие наборы данных могут достигать сотен гигабайт, поэтому повторные чтения, записи и обмен между устройствами обходятся дорого с точки зрения пропускной способности памяти, энергопотребления и времени. 3

Иными словами, GC3 пытается устранить не только нехватку арифметических блоков, но и стоимость координации множества параллельных этапов.

Что объединяет архитектура GC3

Обработка по готовности данных

В традиционной архитектуре управления центральный процессор или планировщик получает и выдаёт инструкции, а данные проходят через иерархию памяти. Такой подход гибок, но, согласно описанию GC3, хуже подходит для регулярных и массово-параллельных операций, характерных для видео. 3

В dataflow-архитектуре вычисление может запускаться, когда становятся доступны необходимые данные. Теоретически это позволяет лучше использовать параллелизм и уменьшить простои из-за централизованного планирования и общей синхронизации. Для видео предполагаемый эффект заключается в том, чтобы больше этапов обработки могли работать одновременно, не направляя каждый фрагмент задачи через единый управляющий путь. 3

Однако это архитектурная цель, а не доказательство конкретного прироста скорости. Доступные источники не приводят независимых сквозных сравнений GC3 с конкретными CPU, GPU или платформами для видео-ИИ.

Ядра RISC-V как уровень управления

В заявленной конфигурации 12 ядер RISC-V отвечают за программируемое управление и планирование. Специализированные блоки выполняют операции, связанные с видео и ИИ, поэтому обычный процессор не обязан самостоятельно обслуживать каждый этап конвейера. 35

RISC-V в этом проекте выступает не как единственный вычислительный двигатель. Ядра работают вместе с dataflow-механизмом и выделенными видео- и ИИ-функциями: они обеспечивают гибкое управление, а высокопроизводительные операции передаются специализированному оборудованию.

Общая память объёмом 128 ГБ

GC3, как сообщается, использует 128 ГБ общей памяти LPDDR5 ECC, доступной для путей CPU, VPU, GPU и NPU. 35 Предполагаемое преимущество такой схемы — уменьшение числа копирований между отдельными областями памяти CPU и GPU.

В общей памяти декодированные кадры, веса моделей и промежуточные тензоры могут оставаться доступными нескольким вычислительным блокам без прежнего объёма обмена между устройствами. ECC добавляет механизмы обнаружения и исправления ошибок в подсистеме памяти; подобные решения также исследовались для повышения отказоустойчивости процессоров RISC-V. 1

При этом единый пул памяти не устраняет все ограничения по пропускной способности. Он меняет способ доступа разных блоков к данным, а реальный эффект будет зависеть от ширины канала памяти, программного стека, планировщика и конкретной рабочей нагрузки.

Интегрированные видео- и ИИ-трактЫ

Заявленная архитектура объединяет кодирование и декодирование видео с ИИ-вычислениями на одной платформе. Это должно сократить путь от поступления видеопотока до его анализа, а также от генерации нового контента до его кодирования. 35

Предполагаемый конвейер выглядит так:

• платформа декодирует видеопоток;
• кадры остаются доступными нужному ИИ-блоку;
• система выполняет анализ или генерацию без постоянного перехода между отдельными устройствами;
• результат кодируется на той же интегрированной платформе.

Это не означает, что все операции выполняются одним неделимым процессом. Речь идёт о намерении уменьшить число лишних передач между отдельными процессорами и подсистемами памяти.

Как это может повлиять на задержки, энергопотребление и стоимость

Экономический эффект GC3 напрямую связан с его архитектурой. Если системе требуется меньше копирований, обращений к памяти и межустройственной синхронизации, меньше времени и энергии уходит на перемещение данных, а не на сами вычисления. Такой подход может быть полезен для анализа множества видеопотоков, локальной обработки видео и генерации роликов с большими промежуточными тензорами. 3

Потенциальные преимущества можно разделить на три группы:

• Задержка: сокращение числа переходов между декодированием, ИИ-обработкой и кодированием может уменьшить путь от входного кадра до результата.
• Энергопотребление: уменьшение обмена с памятью и передачи данных по внутренним соединениям способно снизить затраты энергии.
• Стоимость: одна интегрированная платформа теоретически может уменьшить инфраструктурные и эксплуатационные расходы на координацию нескольких специализированных устройств.

Но пока это цели архитектуры и позиционирование, описанное в доступных публикациях, а не независимо подтверждённые результаты. Источники приводят заявленные характеристики и объяснение подхода, однако не доказывают конкретное снижение стоимости обработки одного видео, мощности на поток или сквозной задержки. 35

Что показывают характеристики — и чего они не показывают

Заявленные 200 TOPS описывают пиковую производительность ИИ-вычислений в формате INT8, но не гарантируют такую же скорость в реальных приложениях. Фактическая производительность видео-ИИ будет зависеть от совместимости моделей, используемой точности, пропускной способности памяти, поддержки компилятора и среды выполнения, форматов видео, размера пакета, числа потоков и эффективности dataflow-планировщика.

Аналогично, 128 ГБ общей памяти могут помочь размещать крупные модели и промежуточные данные, но сам объём не доказывает, что конкретная модель генерации видео будет работать эффективно. Критически важны программная поддержка и реальный характер обращений к памяти.

Итог

Jingang GC3 разумнее всего рассматривать как попытку перестроить конвейер видео-ИИ вокруг принципа локальности данных. Заявленное сочетание dataflow-вычислений, управляющих ядер RISC-V, интегрированных путей CPU/VPU/GPU/NPU и 128 ГБ общей памяти призвано уменьшить передачи и барьеры синхронизации, которые могут ограничивать традиционные связки CPU и GPU. 35

Если программная и аппаратная части действительно будут работать согласованно, такой подход способен повысить эффективность многопоточного анализа видео и генерации роликов. Но на данном этапе наиболее осторожный вывод таков: GC3 представляет интересную архитектурную стратегию и набор заявленных производителем характеристик, а не независимое доказательство снижения стоимости, энергопотребления или задержки.