Qualcomm Siapkan Hexagon NPU Baru untuk Agen AI di Ponsel dengan Konteks 32.000 Token

Qualcomm memberi gambaran tentang arah Snapdragon premium berikutnya: ponsel tidak hanya ditujukan untuk menjalankan fitur AI sesekali, tetapi juga beban kerja AI generatif dan agen AI yang lebih lama, multimodal, serta diproses langsung di perangkat. Pusat pendekatan tersebut adalah Hexagon NPU yang didesain ulang, dengan perangkat keras khusus transformer dan memori lokal yang lebih besar. 1

Apa yang berubah pada Hexagon NPU?

Perubahan utama adalah Element Accelerator, blok komputasi khusus untuk beban kerja transformer. Transformer merupakan fondasi banyak sistem AI generatif, termasuk model bahasa dan model multimodal. Qualcomm menempatkan akselerator baru ini sebagai pelengkap unit pemrosesan scalar, vector, dan tensor yang telah ada—bukan penggantinya. 111

Qualcomm juga menyatakan kapasitas memori bersama pada NPU meningkat 50% dibanding rancangan sebelumnya. Tujuannya adalah menyimpan data model yang sering diakses lebih dekat ke NPU, sehingga perangkat tidak perlu berulang kali mengambil data dari memori sistem saat agen AI menangani konteks lebih panjang, berbagai alat, dan tugas yang berjalan bersamaan. Namun, Qualcomm belum mengungkap kapasitas absolut memori bersama tersebut. 15

Konteks lebih panjang, respons awal lebih cepat

Menurut Qualcomm, arsitektur Hexagon yang diperbarui mendukung konteks hingga 32.000 token dan akselerasi key-value cache atau KV-cache. Secara praktis, konteks yang lebih besar memungkinkan model mempertahankan lebih banyak isi percakapan, dokumen, atau riwayat tugas selama sesi AI di perangkat. 1112

Perusahaan itu juga mengklaim prefill untuk model INT4 dapat berlangsung hingga 50% lebih cepat. Prefill adalah tahap ketika model memproses prompt awal pengguna dan membangun konteks kerja sebelum mulai menghasilkan jawaban. Jadi, angka ini bukan otomatis berarti setiap aplikasi atau model akan menghasilkan token keluaran 50% lebih cepat. Hexagon NPU mendukung format presisi INT2, INT4, INT8, FP8, hingga FP16. 16

Klaim model 30 miliar parameter perlu dibaca dengan tepat

Qualcomm menyoroti dukungan terhadap model Mixture-of-Experts (MoE) dengan total hingga 30 miliar parameter. Dalam contoh yang disampaikan, sekitar 3 miliar parameter diaktifkan untuk setiap token. 6

Perbedaannya penting. Pada model MoE, mekanisme perutean hanya memilih sebagian “pakar” atau bagian model yang relevan untuk token maupun tugas tertentu. Artinya, klaim itu bukan berarti ponsel menjalankan inferensi atas seluruh 30 miliar parameter pada setiap token. Kelayakannya bergantung pada aktivasi pakar secara selektif, jenis model, implementasi, dan konfigurasi perangkat. 113

Bukan hanya NPU: Snapdragon membagi pekerjaan AI

Pengungkapan NPU ini melengkapi pratinjau Qualcomm sebelumnya mengenai CPU dan GPU pada platform mendatang. CPU Oryon delapan inti akan memiliki dua inti Prime hingga 5 GHz serta enam inti Performance. Rancangan FlexCache memberi inti CPU yang berbeda akses ke satu kumpulan cache bersama yang dialokasikan secara dinamis sesuai beban kerja. 2122

Untuk grafis, Qualcomm telah memperkenalkan Adreno Matrix Cores serta 18 MB Adreno High Performance Memory. Teknologi Neural Fusion menggabungkan pemrosesan neural, AI super resolution, dan frame generation di dalam alur pemrosesan grafis. Qualcomm mengklaim teknologi ini dapat mengurangi konsumsi daya hingga 40% pada beban kerja rendering yang sesuai; angka tersebut merupakan klaim vendor, bukan hasil pengujian independen. 1723

Gambaran besarnya adalah pembagian tugas AI lokal di antara tiga mesin komputasi:

• Hexagon NPU: inferensi AI yang efisien untuk model dan beban kerja bergaya agen.
• CPU Oryon: eksekusi serbaguna, logika aplikasi, serta pekerjaan yang tidak cocok dipercepat oleh akselerator khusus.
• GPU Adreno: pemrosesan paralel untuk AI visual dan grafis, termasuk rendering yang dibantu AI.

Jadi, tidak semua fitur AI di ponsel akan selalu berjalan di NPU. Qualcomm memosisikan CPU, GPU, dan NPU sebagai mesin yang saling melengkapi, sehingga produsen perangkat dapat memakainya untuk bagian berbeda dari pengalaman AI di perangkat.

Detail yang masih menunggu pengumuman

Informasi ini masih berupa pratinjau arsitektur, belum spesifikasi lengkap sebuah platform. Snapdragon Summit Qualcomm dijadwalkan berlangsung pada 22–24 September di Maui, Hawaii. 31

Sampai acara itu digelar, informasi yang ada lebih tepat dibaca sebagai arah teknis ketimbang gambaran performa final. Qualcomm belum memberikan angka kapasitas memori bersama secara absolut, maupun hasil lengkap kinerja dan efisiensi NPU baru yang dapat diverifikasi secara independen. 5 Pengumuman platform final nantinya akan menentukan bagaimana kemampuan tersebut dikonfigurasikan pada produk Snapdragon dan seberapa jauh manfaatnya terasa pada ponsel yang benar-benar dijual.