Qualcomm nâng cấp Hexagon NPU cho AI chạy ngay trên điện thoại, hỗ trợ ngữ cảnh 32.000 token

Qualcomm đang định hướng nền tảng Snapdragon cao cấp kế tiếp cho các tác vụ AI tạo sinh và AI agent chạy trực tiếp trên điện thoại. Trong phần hé lộ ngày 9/9, điểm nhấn là Hexagon NPU được thiết kế lại, bổ sung phần cứng tối ưu cho transformer và mở rộng vùng nhớ cục bộ để xử lý các phiên làm việc đa phương thức, kéo dài hơn. 1

Hexagon NPU mới thay đổi gì?

Bổ sung đáng chú ý nhất là Element Accelerator — khối tăng tốc chuyên cho khối lượng công việc transformer. Transformer là nền tảng của nhiều mô hình AI tạo sinh, từ mô hình ngôn ngữ đến mô hình đa phương thức. Qualcomm đặt khối này bên cạnh các tài nguyên xử lý scalar, vector và tensor hiện có, thay vì thay thế chúng. 111

Qualcomm cũng cho biết bộ nhớ dùng chung của NPU lớn hơn 50% so với thiết kế trước. Mục tiêu là giữ dữ liệu mô hình được truy cập thường xuyên ở gần NPU hơn, giảm số lần phải lấy dữ liệu từ bộ nhớ hệ thống khi AI agent xử lý ngữ cảnh dài, nhiều công cụ hoặc nhiều tác vụ đồng thời. Tuy nhiên, hãng chưa công bố dung lượng tuyệt đối của vùng nhớ này. 15

Ngữ cảnh 32.000 token và prefill nhanh hơn

Theo Qualcomm, kiến trúc Hexagon mới hỗ trợ ngữ cảnh lên đến 32.000 token và có tăng tốc key-value cache (KV cache). Nói đơn giản, ngữ cảnh lớn hơn cho phép mô hình lưu lại nhiều hơn nội dung hội thoại, tài liệu hoặc lịch sử tác vụ trong một phiên AI chạy trên thiết bị. 1112

Hãng còn tuyên bố hiệu năng prefill với mô hình INT4 có thể nhanh hơn tới 50%. Prefill là giai đoạn mô hình tiếp nhận và xử lý lời nhắc ban đầu để tạo ngữ cảnh làm việc trước khi bắt đầu sinh câu trả lời. Vì vậy, con số này không nên được hiểu là mọi ứng dụng hay mô hình đều sẽ sinh từng token nhanh hơn 50%. NPU hỗ trợ các định dạng độ chính xác từ INT2, INT4, INT8 đến FP8 và FP16. 16

Mô hình 30 tỷ tham số: cần hiểu đúng về MoE

Qualcomm nhấn mạnh khả năng hỗ trợ mô hình Mixture-of-Experts (MoE) với tối đa 30 tỷ tham số. Trong ví dụ hãng đưa ra, chỉ khoảng 3 tỷ tham số được kích hoạt cho mỗi token. 6

Đây là khác biệt quan trọng. Với mô hình MoE, cơ chế định tuyến chỉ chọn một phần chuyên gia (expert) phù hợp cho từng token hoặc tác vụ. Do đó, tuyên bố này không có nghĩa điện thoại thực hiện suy luận trên toàn bộ 30 tỷ tham số ở mọi token. Khả năng triển khai còn phụ thuộc vào cách kích hoạt chuyên gia, bản thân mô hình, phần mềm và cấu hình thiết bị. 113

Hexagon nằm ở đâu trong kiến trúc Snapdragon rộng hơn?

Thông tin về NPU được công bố sau các phần hé lộ về CPU và GPU của Snapdragon kế tiếp. CPU Oryon tám nhân sắp ra mắt dự kiến có hai nhân Prime đạt 5 GHz và sáu nhân Performance. Kiến trúc FlexCache cho phép các loại nhân CPU khác nhau dùng chung một vùng bộ nhớ đệm được phân bổ động theo khối lượng công việc. 2122

Về đồ họa, Qualcomm đã công bố Adreno Matrix Cores cùng 18 MB Adreno High Performance Memory. Công nghệ Neural Fusion kết hợp xử lý thần kinh, siêu phân giải bằng AI và tạo khung hình trong cùng pipeline đồ họa. Qualcomm nói công nghệ này có thể giảm mức tiêu thụ điện tới 40% ở các tác vụ dựng hình phù hợp; đây là tuyên bố của nhà sản xuất, chưa phải kết quả benchmark độc lập. 1723

Tổng thể, Qualcomm đang mô tả cách phân công AI cục bộ giữa ba nhóm phần cứng:

• Hexagon NPU: suy luận AI hiệu quả, phù hợp với mô hình và quy trình kiểu AI agent.
• CPU Oryon: xử lý mục đích chung, logic ứng dụng và các tác vụ không phù hợp với bộ tăng tốc chuyên dụng.
• GPU Adreno: xử lý song song cho AI thị giác, đồ họa và dựng hình có AI hỗ trợ.

Điểm chính không phải mọi tính năng AI trên điện thoại đều sẽ chạy bằng NPU. Qualcomm xem CPU, GPU và NPU là các bộ máy bổ trợ nhau, để nhà sản xuất thiết bị lựa chọn phần cứng phù hợp cho từng phần của trải nghiệm AI trên thiết bị.

Những điểm vẫn chờ xác nhận

Đây mới là phần giới thiệu về kiến trúc, chưa phải bảng thông số đầy đủ của một nền tảng Snapdragon. Snapdragon Summit của Qualcomm dự kiến diễn ra từ 22 đến 24/9 tại Maui, Hawaii. 31

Cho đến khi sự kiện diễn ra, người dùng và nhà phát triển nên coi các thông tin hiện tại là định hướng kỹ thuật hơn là bức tranh hiệu năng hoàn chỉnh. Qualcomm chưa công bố dung lượng tuyệt đối của bộ nhớ dùng chung, cũng như kết quả hiệu năng và hiệu quả điện năng đầy đủ có thể kiểm chứng độc lập cho NPU mới. 5 Những công bố nền tảng sau đó sẽ quyết định các khả năng này được cấu hình ra sao trên sản phẩm Snapdragon thực tế và cuối cùng thể hiện thế nào trên các mẫu điện thoại thương mại.