Qualcomm Perkenal Hexagon NPU Baharu untuk Ejen AI Dalam Telefon dengan Konteks 32K

Qualcomm memberi gambaran jelas tentang hala tuju cip Snapdragon premium seterusnya: AI generatif dan ejen AI yang lebih lama berjalan, multimodal, serta diproses terus dalam telefon. Tumpuannya ialah Hexagon NPU yang direka semula, dengan perkakasan khusus untuk transformer dan kumpulan memori setempat yang lebih besar. 1

Apa yang berubah pada Hexagon NPU

Tambahan paling penting ialah Element Accelerator, iaitu blok khusus untuk beban kerja transformer. Transformer ialah asas kepada banyak sistem AI generatif, termasuk model bahasa dan model multimodal. Qualcomm meletakkan pemecut ini sebagai pelengkap kepada sumber pemprosesan skalar, vektor dan tensor sedia ada — bukannya pengganti. 111

Qualcomm juga menyatakan memori dikongsi NPU kini 50% lebih besar berbanding reka bentuk terdahulu. Matlamatnya adalah menyimpan data model yang kerap digunakan lebih dekat dengan NPU, sekali gus mengurangkan keperluan mengambil data berulang kali daripada memori sistem apabila ejen AI mengendalikan konteks lebih panjang, pelbagai alat dan tugasan serentak. Kapasiti mutlak memori dikongsi itu masih belum didedahkan. 15

Konteks lebih panjang, respons awal lebih pantas

Menurut Qualcomm, seni bina Hexagon yang dikemas kini menyokong konteks sehingga 32,000 token dan pemecutan key-value cache (KV-cache). Dalam penggunaan sebenar, konteks yang lebih besar membolehkan model mengekalkan lebih banyak kandungan perbualan, dokumen atau sejarah tugasan sepanjang sesi AI pada peranti. 1112

Syarikat itu turut mendakwa sehingga 50% prefill lebih pantas bagi model INT4. Prefill ialah peringkat apabila model memproses arahan awal pengguna dan membina konteks kerja sebelum mula menjana jawapan. Maka, angka ini tidak boleh dianggap sebagai jaminan output dijana 50% lebih pantas bagi setiap aplikasi atau model. NPU tersebut menyokong format ketepatan INT2, INT4, INT8, FP8 dan FP16. 16

Dakwaan model 30B perlu dibaca dengan konteksnya

Qualcomm mengetengahkan sokongan untuk model Mixture-of-Experts (MoE) dengan sehingga 30 bilion parameter keseluruhan. Namun, contoh yang diberi hanya mengaktifkan kira-kira 3 bilion parameter bagi setiap token. 6

Perbezaan ini penting. Dalam model MoE, mekanisme penghalaan hanya memilih sebahagian daripada model untuk token atau tugasan tertentu. Jadi, dakwaan itu bukan bermaksud telefon menjalankan inferens pada semua 30 bilion parameter untuk setiap token. Keupayaannya bergantung pada pengaktifan pakar secara terpilih, model yang digunakan, pelaksanaan perisian dan konfigurasi peranti. 113

Kedudukan Hexagon dalam strategi Snapdragon yang lebih luas

Pengumuman NPU ini menyusuli pratonton Qualcomm terhadap CPU dan GPU platform berkenaan. CPU Oryon lapan teras yang bakal diperkenalkan dikatakan mempunyai dua teras Prime sehingga 5GHz dan enam teras Performance. Reka bentuk FlexCache pula membolehkan teras CPU berlainan jenis berkongsi kumpulan cache yang diperuntukkan secara dinamik mengikut beban kerja. 2122

Bagi grafik, Qualcomm telah mengumumkan Adreno Matrix Cores dan 18MB Adreno High Performance Memory. Teknologi Neural Fusion menyatukan pemprosesan neural, penskalaan super AI dan penjanaan bingkai dalam saluran grafik. Qualcomm mendakwa teknologi itu boleh mengurangkan penggunaan kuasa sehingga 40% bagi beban kerja pemaparan yang sesuai; ini ialah dakwaan vendor, bukan keputusan penanda aras bebas. 1723

Secara ringkas, Qualcomm membayangkan pembahagian tugas AI tempatan antara tiga enjin:

• Hexagon NPU: inferens cekap untuk model AI dan beban kerja berasaskan ejen.
• CPU Oryon: pelaksanaan serba guna, logik aplikasi serta kerja yang tidak sesuai dipercepatkan oleh unit khusus.
• GPU Adreno: AI visual dan grafik selari, termasuk pemaparan dibantu AI.

Intinya, bukan semua ciri AI telefon akan dijalankan pada NPU. Qualcomm mengetengahkan CPU, GPU dan NPU sebagai enjin saling melengkapi yang boleh dimanfaatkan pengeluar peranti untuk bahagian berlainan dalam pengalaman AI pada peranti.

Perkara yang masih belum disahkan

Pendedahan ini ialah pratonton seni bina, bukannya spesifikasi penuh platform. Snapdragon Summit Qualcomm dijadualkan berlangsung pada 22 hingga 24 September di Maui, Hawaii. 31

Sehingga acara itu berlangsung, pengguna dan pembangun wajar melihat pengumuman ini sebagai petunjuk arah teknikal, bukan gambaran lengkap prestasi. Qualcomm belum memberikan kapasiti mutlak memori dikongsi atau keputusan penuh prestasi dan kecekapan NPU baharu yang boleh disahkan secara bebas. 5 Pengumuman platform akhir nanti akan menentukan cara keupayaan ini dikonfigurasikan pada produk Snapdragon sebenar — dan sejauh mana manfaatnya diterjemahkan ke dalam telefon yang dijual di pasaran.