퀄컴 새 Hexagon NPU, 스마트폰 속 AI 에이전트에 3만2000토큰 문맥 지원

퀄컴이 9월 9일 공개한 차세대 Hexagon NPU의 핵심 메시지는 분명하다. 다음 프리미엄 스냅드래곤은 단순히 AI 기능을 하나 더 넣는 수준이 아니라, 스마트폰 안에서 더 오래 문맥을 유지하고 여러 도구를 오가는 생성형·에이전트형 AI 작업을 겨냥한다는 것이다. 중심에는 트랜스포머 전용 하드웨어와 확장된 로컬 메모리가 있다. 1

핵심 변화: Element Accelerator와 50% 커진 공유 메모리

새 NPU에는 Element Accelerator가 추가됐다. 생성형 AI와 멀티모달 모델의 기반이 되는 트랜스포머 연산을 겨냥한 전용 블록이다. 기존의 스칼라·벡터·텐서 계열 처리 자원을 대체하는 것이 아니라, 그 옆에서 역할을 나눠 맡는 구조다. 111

퀄컴은 NPU 공유 메모리도 이전 설계보다 50% 늘렸다고 밝혔다. AI 에이전트가 긴 문맥, 여러 도구, 동시 작업을 처리할 때 자주 쓰는 모델 데이터와 상태 정보를 NPU 가까이에 유지해 시스템 메모리 접근을 줄이려는 목적이다. 다만 공유 메모리의 절대 용량은 아직 공개되지 않았다. 15

최대 3만2000토큰 문맥, 응답 시작 단계도 빨라진다

새 Hexagon 아키텍처는 최대 3만2000토큰 문맥 길이와 KV 캐시 가속을 지원한다고 퀄컴은 설명했다. 쉽게 말해, 기기 내에서 AI 모델이 대화 내용이나 긴 문서, 진행 중인 작업 이력을 더 많이 붙들고 처리할 수 있다는 의미다. 1112

또 퀄컴은 INT4 모델의 프리필(prefill)을 최대 50% 빠르게 처리한다고 주장했다. 프리필은 AI가 사용자의 첫 요청을 읽고, 답변 생성 전에 작업 문맥을 구성하는 단계다. 따라서 이 수치를 모든 앱과 모델에서 글자 단위 생성 속도가 50% 빨라진다는 뜻으로 받아들여서는 안 된다. 지원 정밀도 범위는 INT2, INT4, INT8, FP8, FP16이다. 16

‘300억 파라미터’에는 조건이 있다

퀄컴은 최대 300억 개 전체 파라미터 규모의 Mixture-of-Experts(MoE) 모델을 지원한다고 강조했다. 다만 제시한 사례에서는 토큰 하나당 약 30억 개 파라미터가 활성화된다. 6

이 차이가 중요하다. MoE 모델은 토큰이나 작업에 따라 라우팅 기능이 모델의 일부 전문가만 골라 실행한다. 즉 스마트폰이 매 토큰마다 300억 개 파라미터 전체를 추론한다는 의미는 아니다. 실제 구동 가능성은 선택적으로 활성화되는 전문가 구성, 모델 구현 방식, 기기 구성에 따라 달라진다. 113

CPU·GPU·NPU를 나눠 쓰는 스냅드래곤 전략

이번 NPU 공개는 차세대 플랫폼의 CPU와 GPU 예고에 이은 발표다. 8코어 Oryon CPU는 최고 5GHz의 Prime 코어 2개와 Performance 코어 6개로 구성될 예정이며, 이기종 코어가 작업에 따라 동적으로 배분되는 공유 캐시 풀을 이용하는 FlexCache를 탑재한다. 2122

GPU 쪽에서는 Adreno Matrix Cores와 18MB Adreno High Performance Memory가 공개됐다. Neural Fusion은 신경망 처리, AI 초해상도, 프레임 생성을 그래픽 파이프라인 안에서 결합하는 기술이다. 퀄컴은 적용 가능한 렌더링 작업에서 전력 소비를 최대 40% 줄일 수 있다고 주장하지만, 이는 독립 벤치마크가 아닌 회사 측 수치다. 1723

정리하면 퀄컴은 온디바이스 AI를 하나의 연산 장치에 몰아넣기보다 세 엔진에 분산하는 그림을 제시한다.

• Hexagon NPU: AI 모델 추론과 에이전트형 작업을 효율적으로 담당
• Oryon CPU: 앱 로직, 일반 연산, 전용 가속기에 잘 맞지 않는 제어 작업 담당
• Adreno GPU: 병렬 시각 처리와 그래픽 AI, AI 보조 렌더링 담당

결국 모든 스마트폰 AI 기능이 NPU에서만 실행되는 것은 아니다. 퀄컴의 구상은 제조사가 기능 성격에 맞춰 CPU·GPU·NPU를 조합해 기기 내 AI 경험을 설계하도록 하는 데 있다.

아직 확인해야 할 사항

지금까지 나온 내용은 완성된 플랫폼 사양이 아니라 아키텍처 사전 공개다. 퀄컴의 Snapdragon Summit은 하와이 마우이에서 9월 22~24일 열린다. 31

현시점에서는 이를 완전한 성능표보다 기술적 방향성으로 보는 편이 맞다. 공유 메모리의 절대 용량, 새 NPU의 전체 연산 성능, 전력 효율에 대한 독립 검증 결과는 아직 제시되지 않았다. 5 실제 스냅드래곤 제품에 어떤 구성으로 적용되고, 최종적으로 출시 스마트폰에서 어떤 체감 기능으로 이어질지는 향후 플랫폼 발표에서 확인해야 한다.