Qualcomm rüstet Hexagon-NPU für KI-Agenten auf: 32.000 Token Kontext direkt auf dem Smartphone

Qualcomm richtet seine nächste Premium-Snapdragon-Plattform klar auf KI aus, die direkt auf dem Smartphone läuft. Im Mittelpunkt steht eine überarbeitete Hexagon-NPU – also die spezialisierte Recheneinheit für KI-Aufgaben. Sie soll vor allem generative, multimodale Anwendungen und sogenannte KI-Agenten bewältigen, die längere Zusammenhänge behalten, Werkzeuge nutzen und mehrere Aufgaben parallel koordinieren. 1

Neuer Beschleuniger für Transformer-Modelle

Die wichtigste Neuerung heißt Element Accelerator. Dieser Hardwareblock ist auf Transformer-Workloads zugeschnitten. Transformer bilden die technische Grundlage vieler Sprachmodelle sowie generativer und multimodaler KI-Systeme.

Der Element Accelerator ersetzt die vorhandenen skalaren, Vektor- und Tensor-Recheneinheiten nicht, sondern ergänzt sie. Qualcomm will damit jene Operationen beschleunigen, die bei KI-Agenten und generativer KI besonders häufig anfallen. 111

Hinzu kommt laut Qualcomm 50 % mehr gemeinsamer NPU-Speicher gegenüber dem Vorgänger. Häufig benötigte Modelldaten sollen dadurch näher an der NPU bleiben, statt wiederholt aus dem Arbeitsspeicher des Systems geladen werden zu müssen. Das könnte vor allem bei längeren Gesprächen, umfangreichen Dokumenten oder Agenten mit mehreren Werkzeugen helfen. Die absolute Größe dieses Speichers hat Qualcomm allerdings noch nicht genannt. 15

Bis zu 32.000 Token Kontext – was das bedeutet

Die neue Hexagon-Architektur unterstützt nach Qualcomms Angaben Kontexte von bis zu 32.000 Token und beschleunigt den sogenannten Key-Value-Cache. 1112

Vereinfacht gesagt: Ein größerer Kontext erlaubt einem Modell, mehr Inhalt aus einem bisherigen Gespräch, einem Dokument oder einer laufenden Aufgabe im Blick zu behalten. Das heißt nicht automatisch, dass jede App den vollen Umfang ausschöpft – dies hängt auch vom jeweiligen Modell und der Software-Implementierung ab.

Für INT4-Modelle nennt Qualcomm zudem ein um bis zu 50 % schnelleres Prefill. Prefill bezeichnet die Phase, in der ein Modell die Eingabe verarbeitet und seinen Arbeitskontext aufbaut, bevor es die Antwort erzeugt. Die Angabe ist daher nicht gleichbedeutend mit 50 % schnellerer Ausgabe jedes einzelnen Antwort-Tokens in jeder Anwendung. Unterstützt werden die Formate INT2, INT4, INT8, FP8 und FP16. 16

30 Milliarden Parameter – aber nicht alle gleichzeitig

Besonders auffällig ist Qualcomms Verweis auf Mixture-of-Experts-Modelle (MoE) mit bis zu 30 Milliarden Parametern. Beim genannten Beispiel werden jedoch nur etwa 3 Milliarden Parameter pro Token aktiviert. 6

Diese Einschränkung ist entscheidend: Bei MoE-Modellen wählt ein Routing-Mechanismus für eine Eingabe jeweils nur einen Teil der spezialisierten Modellbereiche aus. Die Aussage bedeutet also nicht, dass ein Smartphone bei jedem Token alle 30 Milliarden Parameter berechnet. Ob ein solches Modell praktikabel läuft, hängt von der konkreten Modellarchitektur, Umsetzung und Geräteausstattung ab. 113

Drei Recheneinheiten statt einer KI-Allzwecklösung

Die Hexagon-NPU ist Teil einer breiteren Snapdragon-Strategie, bei der KI-Aufgaben auf verschiedene Hardware verteilt werden:

• Hexagon-NPU: effiziente, länger laufende lokale Modellinferenz und Agenten-Workloads
• Oryon-CPU: allgemeine Berechnungen, App-Logik und Aufgaben, die sich nicht gut auf spezialisierte Beschleuniger verteilen lassen
• Adreno-GPU: parallele visuelle KI- und Grafikaufgaben, etwa KI-gestütztes Rendering

Zur CPU hatte Qualcomm bereits ein Achtkern-Design mit zwei Prime-Kernen bis 5 GHz und sechs Performance-Kernen angekündigt. Die FlexCache-Architektur stellt den heterogenen CPU-Kernen einen dynamisch zugeteilten gemeinsamen Cache-Pool bereit. 2122

Bei der Grafik plant Qualcomm Adreno Matrix Cores sowie 18 MB Adreno High Performance Memory. Die Technik Adreno Neural Fusion verbindet neuronale Verarbeitung, KI-Super-Resolution und Frame-Generierung in der Grafik-Pipeline. Qualcomm spricht von bis zu 40 % geringerem Energieverbrauch bei passenden Rendering-Workloads; dabei handelt es sich um eine Herstellerangabe, nicht um ein unabhängiges Benchmark-Ergebnis. 1723

Die zentrale Botschaft: Nicht jede KI-Funktion soll allein auf der NPU laufen. Qualcomm beschreibt CPU, GPU und NPU als ein Zusammenspiel, aus dem Gerätehersteller je nach Aufgabe unterschiedliche lokale KI-Funktionen aufbauen können.

Was Qualcomm noch offenlässt

Bislang handelt es sich um Architekturvorschauen und nicht um die vollständige Spezifikation einer fertigen Plattform. Der Snapdragon Summit findet vom 22. bis 24. September in Maui auf Hawaii statt. 31

Bis dahin fehlen unter anderem die absolute Kapazität des gemeinsamen NPU-Speichers sowie umfassende, unabhängig überprüfbare Daten zu Leistung und Energieeffizienz. 5 Erst die konkreten Plattformankündigungen und spätere Smartphones werden zeigen, wie weit sich die KI-Funktionen im Alltag tatsächlich nutzen lassen.