Qualcomm rilancia Hexagon NPU: IA sul telefono con contesti fino a 32.000 token

Qualcomm ha anticipato il 9 settembre la direzione della sua prossima piattaforma Snapdragon di fascia alta: non soltanto prestazioni superiori per gli smartphone, ma IA generativa e agenti IA capaci di lavorare più a lungo direttamente sul dispositivo. Al centro c’è una Hexagon NPU ridisegnata, con hardware dedicato ai transformer e più memoria locale condivisa. 1

Cosa cambia nella Hexagon NPU

La novità principale è l’Element Accelerator, un blocco pensato specificamente per i carichi di lavoro dei transformer, l’architettura alla base di molti modelli linguistici, generativi e multimodali. Non sostituisce le altre risorse della NPU: lavora accanto alle unità scalari, vettoriali e tensoriali già presenti. 111

Qualcomm dichiara inoltre un aumento del 50% della memoria condivisa della NPU rispetto al progetto precedente. L’obiettivo è mantenere vicino all’acceleratore lo stato del modello e i dati usati più spesso, evitando accessi ripetuti alla memoria di sistema mentre un agente gestisce contesti più lunghi, strumenti diversi e attività simultanee. L’azienda non ha però indicato la capacità assoluta di questa memoria. 15

Contesti più lunghi e risposte iniziali più rapide

Secondo Qualcomm, la nuova architettura supporta contesti fino a 32.000 token e accelera la cache chiave-valore, o KV cache. In pratica, un contesto più esteso consente al modello di mantenere in memoria una porzione maggiore di conversazione, documento o cronologia dell’attività durante una sessione eseguita sul telefono. 1112

L’azienda dichiara anche un prefill fino al 50% più rapido per i modelli INT4. Il prefill è la fase in cui il modello elabora il prompt iniziale e costruisce il contesto di lavoro prima di iniziare a generare la risposta. Non equivale quindi a una promessa di generazione dei token più veloce del 50% in ogni applicazione o con qualunque modello. La NPU supporta i formati INT2, INT4, INT8, FP8 e FP16. 16

Il modello da 30 miliardi di parametri: la precisazione essenziale

Qualcomm cita il supporto a modelli Mixture-of-Experts (MoE) con fino a 30 miliardi di parametri totali. Nell’esempio indicato, tuttavia, vengono attivati circa 3 miliardi di parametri per token. 6

La differenza è rilevante: in un modello MoE, un meccanismo di instradamento seleziona soltanto una parte degli “esperti” del modello per ciascun token o compito. Questo non significa quindi che lo smartphone elabori tutti i 30 miliardi di parametri a ogni token; la fattibilità dipende dall’attivazione selettiva, dal modello adottato, dall’implementazione e dalla configurazione del dispositivo. 113

Una strategia a tre motori: NPU, CPU e GPU

L’annuncio della NPU completa le anticipazioni Qualcomm su CPU e GPU della prossima piattaforma. La CPU Oryon a otto core avrà due core Prime fino a 5 GHz e sei core Performance. Con l’architettura FlexCache, core CPU eterogenei possono accedere a un pool di cache condiviso allocato dinamicamente in base al carico di lavoro. 2122

Sul versante grafico, Qualcomm ha presentato gli Adreno Matrix Cores e 18 MB di Adreno High Performance Memory. La tecnologia Adreno Neural Fusion integra elaborazione neurale, super-risoluzione IA e generazione dei fotogrammi nella pipeline grafica. Qualcomm parla di un risparmio energetico fino al 40% nei carichi di rendering compatibili: è un dato dichiarato dal produttore, non un risultato verificato da benchmark indipendenti. 1723

Il messaggio complessivo è un’IA locale distribuita tra componenti diversi:

• Hexagon NPU: inferenza efficiente per modelli IA e flussi di lavoro in stile agente.
• CPU Oryon: logica applicativa, elaborazione general purpose e attività che non si adattano bene a un acceleratore specializzato.
• GPU Adreno: elaborazione visiva parallela e grafica assistita dall’IA.

Non significa che ogni funzione IA di uno smartphone verrà eseguita dalla NPU. Qualcomm descrive CPU, GPU e NPU come motori complementari, che i produttori potranno impiegare per parti differenti dell’esperienza sul dispositivo.

Cosa manca ancora

Quelle diffuse finora sono anticipazioni architetturali, non la scheda tecnica completa della piattaforma. Lo Snapdragon Summit è in programma dal 22 al 24 settembre a Maui, nelle Hawaii. 31

Fino a quell’evento, i dati vanno letti soprattutto come indicazione della strategia tecnica di Qualcomm. Restano ignoti, tra l’altro, la capacità assoluta della memoria condivisa e risultati completi e verificabili in modo indipendente su prestazioni ed efficienza della nuova NPU. 5 Gli annunci finali chiariranno inoltre come queste capacità saranno configurate nei prodotti Snapdragon effettivi e quanto incideranno sugli smartphone in commercio.