Qualcomm оновила Hexagon NPU для ШІ-агентів: контекст до 32 тисяч токенів і на 50% більше пам’яті

Qualcomm показала напрямок розвитку наступної преміальної платформи Snapdragon: смартфон має довше й ефективніше виконувати мультимодальні генеративні ШІ-завдання локально, без постійного звернення до хмари. Центральним елементом цього підходу стала перероблена нейропроцесорна система Hexagon NPU, орієнтована на генеративний ШІ та так званих ШІ-агентів — програми, здатні працювати з контекстом, інструментами й кількома діями в межах одного завдання. 1

Що змінилося в Hexagon NPU

Головне нововведення — Element Accelerator, спеціалізований блок для завдань трансформерних моделей. Саме трансформери лежать в основі багатьох мовних і мультимодальних генеративних систем. Новий прискорювач не замінює наявні скалярні, векторні та тензорні обчислювальні блоки, а працює поруч із ними. 111

Також Qualcomm повідомила про збільшення спільної пам’яті NPU на 50% порівняно з попередньою архітектурою. Ідея полягає в тому, щоб частіше використовувані дані моделі залишалися ближче до нейропроцесора, без постійного обміну із системною пам’яттю. Це потенційно важливо, коли ШІ-агент опрацьовує довший контекст, залучає інструменти або веде кілька процесів паралельно. Абсолютний обсяг цієї пам’яті компанія поки не назвала. 15

До 32 тисяч токенів контексту — що це дає

За даними Qualcomm, оновлена Hexagon підтримує контекст завдовжки до 32 000 токенів і має прискорення для KV-кешу. Простими словами, більший контекст дає моделі змогу утримувати більше змісту з діалогу, документа або історії виконання завдання під час локальної сесії на пристрої. 1112

Компанія також заявляє про прискорення prefill до 50% для моделей INT4. Prefill — це початковий етап, коли модель читає та обробляє запит користувача, формуючи робочий контекст перед відповіддю. Тому цей показник не варто автоматично трактувати як обіцянку на 50% швидшої генерації кожного токена в усіх застосунках. Hexagon підтримує формати точності від INT2, INT4 і INT8 до FP8 та FP16. 16

«30 млрд параметрів» — важливе уточнення

Qualcomm наводить приклад підтримки моделей Mixture-of-Experts (MoE) із сумарно до 30 млрд параметрів. Водночас для одного токена в прикладі активується приблизно 3 млрд параметрів. 6

Це принципова різниця. У MoE-моделі механізм маршрутизації обирає лише частину «експертів» — компонентів моделі — для конкретного токена чи завдання. Тож йдеться не про одночасне виконання обчислень для всіх 30 млрд параметрів на кожному токені. Практична можливість запуску залежатиме від конкретної моделі, її реалізації та конфігурації пристрою. 113

NPU — лише одна з трьох обчислювальних ланок

Анонс Hexagon доповнює раніше розкриті деталі про процесор і графіку наступного Snapdragon. Восьмиядерний CPU Oryon має отримати два Prime-ядра з частотою до 5 ГГц і шість Performance-ядер. Архітектура FlexCache надає різнорідним ядрам доступ до спільного динамічно розподілюваного кешу. 2122

У графічній частині Qualcomm анонсувала Adreno Matrix Cores та 18 МБ Adreno High Performance Memory. Технологія Neural Fusion об’єднує нейронні обчислення, ШІ-суперроздільність і генерацію кадрів у межах графічного конвеєра. Qualcomm заявляє, що у відповідних сценаріях рендерингу це може знизити енергоспоживання до 40%; це твердження виробника, а не результат незалежного тестування. 1723

Загальна стратегія Qualcomm — розподіляти локальні ШІ-навантаження між кількома типами обчислювальних блоків:

• Hexagon NPU — енергоефективне виконання ШІ-моделей та агентних сценаріїв;
• Oryon CPU — універсальні обчислення, логіка застосунків і завдання, що погано підходять для спеціалізованих прискорювачів;
• Adreno GPU — паралельні візуальні та графічні ШІ-обчислення, зокрема ШІ-рендеринг.

Тобто Qualcomm не стверджує, що будь-яка ШІ-функція смартфона працюватиме виключно на NPU. CPU, GPU і NPU задумано як взаємодоповнювальні обчислювальні рушії, які виробники пристроїв зможуть комбінувати для різних сценаріїв локального ШІ.

Яких деталей ще бракує

Нинішні повідомлення — це попередній опис архітектури, а не повна специфікація платформи. Snapdragon Summit заплановано на 22–24 вересня на Мауї, Гаваї. 31

До цього заходу оприлюднені дані варто сприймати передусім як технічний курс Qualcomm. Компанія не назвала ані точного обсягу спільної пам’яті NPU, ані повної картини продуктивності та енергоефективності, підтвердженої незалежними тестами. 5 Саме наступні анонси покажуть, як ці можливості буде налаштовано в конкретних продуктах Snapdragon і що вони означатимуть для реальних смартфонів.