Jingang GC3: чип, який намагається усунути головне вузьке місце відеоШІ

Jingang GC3, або King Kong GC3, у доступних матеріалах описують як спеціалізований процесор для відеоШІ та генеративного ШІ від SmarCo HT Tech. Замість того щоб розділяти декодування відео, ШІ-інференс і генерацію відео між різними пристроями, чип має об’єднати ці етапи в одній dataflow-орієнтованій архітектурі. Серед заявлених характеристик — 12 ядер RISC-V, 200 TOPS обчислень INT8 і 128 ГБ уніфікованої пам’яті LPDDR5 ECC. 35

Ключова ідея GC3 полягає не лише у великому показнику TOPS. Відеозадачі часто витрачають значну частину часу та енергії на переміщення кадрів, даних моделей і проміжних результатів між процесорами та пам’яттю. Dataflow-двигун, спільна пам’ять і вбудовані відео- та ШІ-шляхи мають скоротити такі переміщення.

Чому відеоШІ впирається в переміщення даних

У типовому конвеєрі аналізу відео потік спочатку декодується у кадри, потім кадри передаються на GPU для комп’ютерного зору, а результати проходять через додаткові етапи обробки. Коли одночасно зростає кількість потоків, передавання та синхронізація даних можуть стати таким самим вузьким місцем, як і самі обчислення. 3

У генерації відео виникає схожа проблема. Системи на основі дифузійних моделей і трансформерів працюють із великими параметрами та проміжними результатами. За описами GC3, обсяг таких проміжних наборів даних може сягати сотень гігабайтів, тому повторні читання, записи й пересилання дорого обходяться з погляду пропускної здатності, енергоспоживання та часу. 3

Саме це й намагається вирішити GC3: не просто додати більше арифметичних блоків, а зменшити ціну координації численних етапів великого паралельного навантаження.

Що поєднує архітектура GC3

Dataflow-обчислення

У традиційній архітектурі керування центральний процесор або планувальник отримує та видає інструкції, а дані проходять через ієрархію пам’яті. Такий підхід гнучкий, однак, за описом GC3, він не завжди добре підходить для регулярних і масово паралельних відеооперацій. 3

У dataflow-архітектурі обчислення може запускатися тоді, коли доступні потрібні для операції дані. Теоретично це дає змогу краще використати паралелізм і менше чекати через централізоване планування та глобальну координацію. Для відеозадач задум полягає в тому, щоб більше етапів обробки працювали одночасно й не проходили щоразу через єдиний центр керування. 3

Втім, це архітектурна мета, а не доказ конкретного приросту швидкодії. Доступні джерела не містять незалежних наскрізних порівнянь із конкретними CPU, GPU чи іншими платформами для відеоШІ.

Ядра RISC-V для керування

Заявлені 12 ядер RISC-V виконують роль програмованого шару керування. Спеціалізовані блоки відповідають за відео- та ШІ-операції, тоді як ядра RISC-V забезпечують загальне керування й планування, не змушуючи звичайний CPU виконувати кожен етап конвеєра. 35

Отже, RISC-V у цій конструкції не подається як повний обчислювальний механізм. Він працює разом із dataflow-двигуном і спеціалізованими відео- та ШІ-функціями: програмованість залишається на рівні керування, а високопродуктивні операції виконуються спеціалізованим обладнанням.

128 ГБ уніфікованої пам’яті

За заявленими характеристиками GC3 використовує 128 ГБ уніфікованої пам’яті LPDDR5 ECC, спільної для шляхів CPU, VPU, GPU та NPU. 35 Очікувана перевага — менша потреба копіювати дані між окремими пулами пам’яті CPU і GPU.

Спільний пул може дозволити декодованим кадрам, вагам моделей і проміжним тензорам залишатися доступними різним обчислювальним блокам без такої кількості передавання між пристроями. ECC додає підсистемі пам’яті засоби захисту від помилок; у дослідженнях процесорів RISC-V захищену ECC пам’ять також розглядали як спосіб підвищити відмовостійкість. 1

Уніфікована пам’ять, однак, не скасовує обмеження пропускної здатності. Вона змінює спосіб доступу різних блоків до даних, а практичний ефект залежатиме від пропускної здатності пам’яті, програмного стека, планування та конкретного навантаження.

Інтегровані відео- та ШІ-шляхи

Заявлена конструкція поєднує кодування й декодування відео з ШІ-обчисленнями на одній платформі. Це має створити пряміший шлях від отримання відео до його аналізу, а також від генерації контенту до його кодування. 35

Передбачуваний робочий процес виглядає так:

• декодувати відео на самій платформі;
• залишити кадри доступними потрібному ШІ-шляху;
• виконати аналіз або генерацію без постійного переходу між окремими пристроями;
• закодувати результат у тій самій інтегрованій системі.

Це не означає, що всі операції виконуються одним неподільним кроком. Йдеться про намір зменшити зайві передачі між процесорами та підсистемами пам’яті, які зазвичай працюють окремо.

Як GC3 має зменшити витрати, споживання енергії та затримку

Економічний ефект чипа безпосередньо випливає з його архітектури. Якщо навантаження потребує менше копіювань, звернень до пам’яті та міжпристроєвої синхронізації, менше часу й енергії витрачатиметься на переміщення даних, а не на їх обробку. Це може бути корисним для аналізу багатьох відеопотоків, локальної відеообробки та генерації відео з великими проміжними тензорами. 3

Потенційні переваги можна поділити на три категорії:

• Затримка: менша кількість передавань між декодуванням, ШІ-обробкою та кодуванням може скоротити шлях від вхідного кадру до результату.
• Енергоспоживання: зменшення переміщення даних може скоротити енергію, яку система витрачає на доступ до пам’яті та обмін через інтерфейси.
• Вартість: одна інтегрована платформа потенційно зменшить інфраструктурні та операційні витрати на координацію кількох спеціалізованих пристроїв.

Це цілі, описані в доступних матеріалах, а не незалежно підтверджені результати. Джерела наводять ключові характеристики та архітектурне обґрунтування, але не встановлюють фактичне зниження вартості обробки відео, ват на потік або наскрізної затримки в мілісекундах.

Чого характеристики не показують

Заявлені 200 TOPS описують теоретичну обчислювальну потужність для ШІ в INT8, але не гарантують такої продуктивності в реальних застосунках. Фактична пропускна здатність відеоШІ також залежатиме від сумісності з моделями, точності обчислень, пропускної здатності пам’яті, підтримки компілятора та середовища виконання, форматів відео, розміру пакетів, кількості потоків і роботи dataflow-планувальника.

Так само 128 ГБ уніфікованої пам’яті можуть допомогти розміщувати великі моделі та проміжні дані, але сам обсяг не доводить, що конкретна модель генерації відео працюватиме ефективно. Вирішальними залишаються програмна підтримка та реальний характер обміну даними з пам’яттю.

Висновок

Jingang GC3 найкраще розглядати як спробу перебудувати відеоШІ навколо локальності даних. Заявлене поєднання dataflow-виконання, ядер RISC-V для керування, інтегрованих шляхів CPU/VPU/GPU/NPU та 128 ГБ уніфікованої пам’яті має усунути частину передач і бар’єрів синхронізації, які обмежують традиційні конвеєри CPU та GPU. 35

Якщо апаратне забезпечення та програмний стек працюватимуть так, як задумано, архітектура може зробити аналіз багатьох відеопотоків і генерацію відео ефективнішими. Наразі, однак, найобережніший висновок такий: GC3 демонструє переконливу архітектурну стратегію та набір заявлених виробником характеристик, але ще не є незалежно підтвердженим доказом нижчої вартості, енергоспоживання чи затримки.