Qualcomms nieuwe Hexagon-NPU mikt op AI-agents op je smartphone met 32K context

Qualcomm wil dat zwaardere generatieve AI-taken steeds vaker rechtstreeks op een smartphone kunnen draaien. De op 9 september getoonde volgende generatie van de Hexagon-NPU — de AI-processor in een toekomstig premium Snapdragon-platform — is daarom ontworpen voor multimodale AI en zogeheten AI-agents: systemen die een langere taak kunnen volgen, hulpmiddelen kunnen gebruiken en stappen achter elkaar uitvoeren. 1

De belangrijkste boodschap: Qualcomm zet niet alleen in op meer rekenkracht, maar ook op het langer lokaal vasthouden van modeldata. Dat moet AI-toepassingen responsiever maken zonder dat iedere stap naar de cloud hoeft.

Nieuwe versneller voor transformers

De NPU krijgt een Element Accelerator, een apart hardwareblok voor transformer-workloads. Transformers vormen de basis van veel taal- en multimodale modellen. De nieuwe eenheid vervangt de bestaande scalar-, vector- en tensorgerichte rekeneenheden niet, maar vult ze aan. 111

Daarnaast wordt het gedeelde NPU-geheugen volgens Qualcomm 50% groter. Veelgebruikte modeldata kan zo dichter bij de NPU blijven, waardoor die minder vaak uit het gewone systeemgeheugen hoeft te worden opgehaald. Dat is vooral relevant wanneer een AI-agent met een lange context, meerdere tools of gelijktijdige taken werkt. Qualcomm heeft de absolute omvang van dat geheugen nog niet bekendgemaakt. 15

Tot 32.000 tokens aan context

Qualcomm zegt dat de vernieuwde Hexagon-architectuur contexten tot 32.000 tokens ondersteunt en versnelling voor de key-value-cache bevat. Praktisch betekent een grotere context dat een model tijdens een lokale sessie meer van een gesprek, document of eerdere taakstappen kan onthouden. 1112

Ook claimt Qualcomm een tot 50% snellere prefill voor INT4-modellen. Prefill is de eerste fase waarin een model de ingevoerde prompt verwerkt en zijn werkcontext opbouwt, vóór het antwoord token voor token wordt gegenereerd. Die claim betekent dus niet automatisch dat elk model of elke app vervolgens 50% sneller tekst genereert. De NPU ondersteunt INT2, INT4, INT8, FP8 en FP16. 16

De nuance bij het model met 30 miljard parameters

Qualcomm noemt ondersteuning voor Mixture-of-Experts-modellen (MoE) met maximaal 30 miljard parameters. In het aangehaalde voorbeeld zijn per token ongeveer 3 miljard parameters actief. 6

Dat onderscheid is cruciaal. Een MoE-model kiest via een routeringsmechanisme slechts een deel van zijn gespecialiseerde onderdelen voor een bepaalde token of taak. De claim houdt daarom niet in dat de telefoon bij ieder token alle 30 miljard parameters berekent. Of dit in de praktijk werkt, hangt af van het specifieke model, de implementatie en de configuratie van het toestel. 113

Eén Snapdragon, drie soorten AI-rekenwerk

De Hexagon-NPU is onderdeel van een bredere aanpak waarbij CPU, GPU en NPU verschillende taken krijgen. Qualcomm heeft eerder al een komende Oryon-CPU met acht cores aangekondigd: twee Prime-cores tot 5 GHz en zes Performance-cores. Met FlexCache kunnen verschillende CPU-cores een dynamisch toegewezen gedeelde cachepool gebruiken. 2122

Aan de grafische kant komen er Adreno Matrix Cores en 18 MB Adreno High Performance Memory. Qualcomms Neural Fusion combineert neurale verwerking, AI-superresolutie en framegeneratie in de grafische pijplijn. De fabrikant claimt daarbij voor geschikte renderingworkloads een energiebesparing tot 40%; dat is een leveranciersclaim en geen onafhankelijk benchmarkresultaat. 1723

In grote lijnen verdeelt Qualcomm het lokale AI-werk als volgt:

• Hexagon-NPU: efficiënte inferentie voor AI-modellen en agentachtige taken.
• Oryon-CPU: algemene verwerking, app-logica en taken die niet goed op een gespecialiseerde versneller passen.
• Adreno-GPU: parallel visueel rekenwerk en AI-ondersteunde graphics, zoals opschaling en framegeneratie.

De bedoeling is dus niet dat elke AI-functie uitsluitend op de NPU draait. Qualcomm presenteert CPU, GPU en NPU als aanvullende onderdelen die fabrikanten voor verschillende delen van een lokale AI-ervaring kunnen inzetten.

Wat nog ontbreekt

Het gaat vooralsnog om architectuurvooruitblikken, niet om een volledige platformspecificatie. Qualcomm organiseert de Snapdragon Summit van 22 tot en met 24 september in Maui, Hawaï. 31

Tot dan blijven belangrijke vragen open. Zo zijn er geen absolute cijfers over de gedeelde NPU-geheugencapaciteit en ontbreken volledige, onafhankelijk verifieerbare prestaties en efficiëntiemetingen van de nieuwe NPU. 5 Pas de uiteindelijke aankondigingen moeten duidelijk maken hoe deze mogelijkheden in concrete Snapdragon-producten worden geconfigureerd — en wat daarvan in uiteindelijke smartphones merkbaar is.