Qualcomm вбудовує ШІ-рендеринг у GPU Adreno: що дає Neural Fusion смартфонам

ШІ-обробка — не поруч із GPU, а всередині нього

Qualcomm змінює підхід до графічного ШІ у майбутній архітектурі Adreno. Технологія Adreno Neural Fusion об’єднує нейронну обробку, ШІ-масштабування зображення (super resolution) та генерацію кадрів в одному графічному конвеєрі. Замість передачі даних рендерингу до окремого обчислювального блока компанія додає спеціалізовані Adreno Matrix Cores безпосередньо до GPU. 14

Для мобільних ігор ідея проста: гра потенційно може рендерити зображення у нижчій внутрішній роздільній здатності, після чого ШІ відновлюватиме деталі до фінального кадру. А генерація кадрів може додавати проміжні кадри, використовуючи дані вже відрендерених сцен. Це має підвищити видиму деталізацію та плавність без потреби традиційно прораховувати кожен піксель і кожен кадр.

По одному Matrix Core на кожен із трьох блоків GPU

Нова конструкція Adreno складається з трьох графічних блоків, або «слайсів». Кожен із них оснащено власним Matrix Core — виділеним блоком для AI-обчислень. Ці ядра призначені для запуску складних моделей безпосередньо в графічному конвеєрі. 24

Розміщення важливе саме через характер завдань. Масштабування та генерація кадрів працюють із даними, тісно пов’язаними з рендерингом: кадрами, векторами руху, тайлами та проміжними результатами. Якщо такі дані не потрібно постійно передавати між відокремленими компонентами чипа, можна зменшити затримку, витрати енергії та накладні витрати на синхронізацію. Саме так Qualcomm пояснює перевагу локального ШІ в GPU. 13

Якість картинки: обіцянки є, незалежних тестів поки немає

Qualcomm заявляє, що Neural Fusion має забезпечити чіткіше й стабільніше зображення, а також зменшити помітність типових артефактів — мерехтіння, миготіння та «шлейфів» за рухомими об’єктами (ghosting). 113

Втім, це поки що заяви виробника. Підсумкова якість зображення, затримка та вплив на частоту кадрів залежатимуть від конкретної гри, моделі ШІ, її інтеграції розробниками, роздільної здатності, частоти оновлення дисплея й охолодження смартфона. Порівнювати технологію з альтернативами предметно можна буде лише після появи серійних пристроїв та незалежних вимірювань.

Навіщо GPU 18 МБ Adreno HPM

Ще один ключовий елемент — 18 МБ Adreno High Performance Memory (HPM). Це низьколатентна пам’ять, розташована близько до GPU. Вона має зберігати локально дані для тайлового рендерингу, кадрові буфери та обчислювальні навантаження, зменшуючи кількість звернень до основної пам’яті смартфона. 14

Менше обмінів із системною пам’яттю означає менше навантаження на пропускну здатність, нижчу затримку та потенційно менше енергоспоживання — особливо коли проміжні дані зображення використовуються багаторазово. За повідомленнями про анонс, частота кожного з трьох блоків GPU сягатиме 1,45 ГГц проти 1,2 ГГц у попередній конструкції. Також згадується орієнтовне поліпшення енергоефективності на 12%. 25

Заява про «до 40%» економії енергії — з важливим застереженням

Qualcomm говорить про до 40% нижче енергоспоживання GPU порівняно з попереднім рішенням у відповідних сценаріях ШІ-рендерингу. 13

Це не слід трактувати як гарантований приріст автономності на 40% у будь-якій грі. Результат змінюватиметься залежно від налаштувань, моделі ШІ, цільової частоти кадрів, температурних обмежень конкретного телефона та того, що саме обмежує продуктивність гри: GPU, CPU чи пам’ять. До незалежних тестів коректно сприймати ці показники як цільові дані та вимірювання Qualcomm.

Unity і Unreal Engine уже заявлені серед підтримуваних рушіїв

Qualcomm повідомила про підтримку Adreno Neural Fusion у Unity та Unreal Engine. 14 Це може спростити впровадження технології для студій, адже частину потрібної інтеграції можна реалізувати на рівні ігрового рушія.

Однак підтримка рушієм не означає автоматичної появи функції у всіх іграх на Unity чи Unreal. Кожній студії все одно потрібно буде вирішити, чи варто використовувати Neural Fusion, і налаштувати її під власний рендеринг та вимоги до якості зображення.

Частина ширшого анонсу Snapdragon

Презентація GPU відбулася разом із попереднім розкриттям деталей наступного CPU Oryon. Qualcomm заявляє про частоту до 5 ГГц і представила FlexCache — кеш-архітектуру, у якій різнорідні CPU-ядра можуть користуватися спільним динамічно розподілюваним пулом кешу. За задумом компанії, це допомагає великим наборам даних залишатися в кеші, а не переходити до повільнішої системної пам’яті.

У сукупності ці анонси описують стратегію гетерогенних обчислень: графічно пов’язані ШІ-завдання доручаються GPU та Matrix Cores, тоді як CPU і FlexCache мають підтримувати швидку реакцію системи та різнорідні навантаження. Qualcomm планувала провести Snapdragon Summit на Мауї 22–24 вересня, де очікувалися додаткові подробиці, зокрема про NPU Hexagon. 11

Що ще не розкрито

Анонс пояснює напрямок архітектури, але залишає відкритими кілька практичних питань:

• які саме фінальні продукти Snapdragon отримають цей варіант Adreno;
• які ігри вийдуть із підтримкою Neural Fusion;
• наскільки стабільними будуть якість масштабування та генерації кадрів у різних проєктах;
• чи підтвердяться заявлені енергетичні переваги під тривалим навантаженням і за реальних температур смартфона;
• як у готовому чипі розподілятимуться завдання між Matrix Cores у GPU та іншими блоками ШІ-обробки в SoC.

Головна зміна зрозуміла вже зараз: Qualcomm прагне перетворити ШІ-рендеринг на вбудовану функцію GPU, а не на зовнішню надбудову. Чи означатиме це помітно кращу графіку, плавнішу гру та реальну економію заряду — покаже поява сумісних ігор і незалежні тести.