Qualcomm rediseña su NPU Hexagon para agentes de IA en el móvil con contextos de hasta 32.000 tokens

Qualcomm ha anticipado el rediseño de su próxima NPU Hexagon para plataformas Snapdragon premium, con una prioridad clara: ejecutar en el propio teléfono tareas de IA generativa y agentes de IA que mantienen conversaciones más largas, usan varias herramientas o trabajan con información multimodal. Las dos novedades centrales son un acelerador especializado para transformers y un aumento del 50% en la memoria compartida de la NPU. 1

Un acelerador específico para modelos transformer

La nueva NPU incorpora el Element Accelerator, un bloque dedicado a operaciones de modelos transformer, la arquitectura que sustenta buena parte de los modelos de lenguaje y sistemas de IA generativa y multimodal actuales. No sustituye a las unidades ya existentes: se suma a los recursos de procesamiento escalar, vectorial y tensorial de Hexagon. 111

Qualcomm también indica que la memoria compartida de la NPU será un 50% mayor que en el diseño anterior. El propósito es mantener cerca del acelerador los datos del modelo que se consultan con frecuencia, reduciendo accesos repetidos a la memoria principal mientras el agente gestiona contextos extensos, herramientas y tareas simultáneas. La compañía todavía no ha comunicado la capacidad absoluta de esa memoria. 15

Contextos de hasta 32.000 tokens y arranque de respuesta más rápido

Según Qualcomm, la arquitectura revisada soporta contextos de hasta 32.000 tokens e incluye aceleración de la caché clave-valor, o KV cache. En la práctica, un contexto más amplio permite a un modelo conservar más partes de una conversación, documento o historial de trabajo durante una sesión local en el dispositivo. 1112

La empresa también habla de un prefill hasta un 50% más rápido para modelos INT4. El prefill es la etapa inicial en la que el modelo procesa el mensaje del usuario y prepara el contexto de trabajo antes de empezar a generar la respuesta. Por tanto, esa cifra no equivale necesariamente a una generación de texto un 50% más rápida en todas las aplicaciones o modelos. La NPU admite formatos desde INT2 hasta FP16, incluidos INT4, INT8 y FP8. 16

El matiz esencial detrás de los 30.000 millones de parámetros

Qualcomm destaca la posibilidad de ejecutar modelos Mixture-of-Experts (MoE, o mezcla de expertos) de hasta 30.000 millones de parámetros. Sin embargo, su ejemplo activa aproximadamente 3.000 millones de parámetros por token. 6

La diferencia es importante. En un modelo MoE, un sistema de enrutamiento selecciona solo una parte de sus componentes para cada token o tarea. Es decir, el anuncio no significa que el teléfono procese los 30.000 millones de parámetros en cada token: depende de esa activación selectiva, así como del modelo concreto, su implementación y la configuración del dispositivo. 113

NPU, CPU y GPU: tres motores para la IA local

El adelanto de Hexagon se integra en la presentación gradual de la próxima plataforma Snapdragon. Qualcomm ya había anunciado una CPU Oryon de ocho núcleos, con dos núcleos Prime que alcanzan los 5 GHz y seis núcleos Performance. Su diseño FlexCache permite que núcleos heterogéneos accedan a una reserva de caché compartida que se asigna dinámicamente según la carga de trabajo. 2122

En gráficos, la compañía ha presentado los Adreno Matrix Cores y 18 MB de Adreno High Performance Memory. La tecnología Adreno Neural Fusion combina procesamiento neuronal, superresolución mediante IA y generación de fotogramas dentro de la canalización gráfica. Qualcomm asegura que puede reducir el consumo energético hasta un 40% en las cargas de renderizado compatibles; se trata de una afirmación del fabricante, no de un resultado verificado de forma independiente. 1723

El enfoque es, por tanto, heterogéneo:

• NPU Hexagon: inferencia eficiente de modelos de IA y cargas de trabajo propias de agentes.
• CPU Oryon: ejecución de propósito general, lógica de aplicaciones y tareas que no encajan bien en un acelerador dedicado.
• GPU Adreno: procesamiento paralelo de IA visual y gráfica, incluido el renderizado asistido por IA.

La conclusión no es que todas las funciones de IA vayan a utilizar la NPU. Qualcomm plantea CPU, GPU y NPU como motores complementarios que los fabricantes podrán combinar de acuerdo con cada experiencia en el dispositivo.

Lo que falta por conocer

Estos anuncios son adelantos de arquitectura, no las especificaciones completas de una plataforma Snapdragon. El Snapdragon Summit de Qualcomm está previsto del 22 al 24 de septiembre en Maui, Hawái. 31

Hasta entonces, conviene considerar estas cifras como una indicación de rumbo técnico, no como una comparativa completa de rendimiento. Qualcomm no ha detallado la capacidad absoluta de la memoria compartida ni ha publicado resultados integrales e independientes sobre rendimiento y eficiencia de la nueva NPU. 5 Los anuncios finales determinarán cómo se configuran estas capacidades en productos Snapdragon concretos y cómo llegan, finalmente, a los teléfonos comerciales.