क्वालकॉम का नया Hexagon NPU: फोन पर AI एजेंट्स के लिए 32K कॉन्टेक्स्ट और 30 अरब-पैरामीटर MoE सपोर्ट

क्वालकॉम ने 9 सितंबर के प्रीव्यू में साफ किया कि उसका अगला प्रीमियम Snapdragon प्लेटफॉर्म सिर्फ तेज फोन प्रोसेसिंग के लिए नहीं, बल्कि फोन पर ही चलने वाले लंबे और मल्टीमॉडल AI कार्यों के लिए तैयार किया जा रहा है। इसका केंद्र नया Hexagon NPU है, जिसे जनरेटिव AI और AI एजेंट्स के लिए बदला गया है। 1

AI एजेंट से आशय ऐसे सॉफ्टवेयर से है जो केवल एक सवाल का जवाब देने के बजाय बातचीत का संदर्भ याद रखे, कई टूल इस्तेमाल करे और किसी काम के चरण पूरे करे। क्वालकॉम का लक्ष्य ऐसे अनुभवों को क्लाउड पर भेजने के बजाय डिवाइस पर चलाना है।

Hexagon NPU में क्या बदला है?

नए NPU में Element Accelerator नाम का एक विशेष हार्डवेयर ब्लॉक जोड़ा गया है। यह ट्रांसफॉर्मर वर्कलोड के लिए बनाया गया है—यही आर्किटेक्चर भाषा मॉडल और टेक्स्ट-इमेज जैसे कई जनरेटिव AI सिस्टम की बुनियाद है। यह मौजूदा स्केलर, वेक्टर और टेंसर प्रोसेसिंग संसाधनों की जगह नहीं लेता, बल्कि उनके साथ काम करता है। 111

क्वालकॉम के मुताबिक NPU की साझा मेमोरी पिछली डिजाइन से 50% बड़ी है। इसका मकसद मॉडल के बार-बार इस्तेमाल होने वाले डेटा को NPU के करीब रखना है, जिससे लंबी बातचीत, अनेक टूल और एक साथ चल रहे कार्यों के दौरान फोन की मुख्य मेमोरी से डेटा बार-बार लाने की जरूरत घटे। हालांकि कंपनी ने इस साझा मेमोरी की वास्तविक क्षमता नहीं बताई है। 15

32,000 टोकन कॉन्टेक्स्ट का व्यावहारिक मतलब

क्वालकॉम का कहना है कि नया Hexagon आर्किटेक्चर अधिकतम 32,000 टोकन तक का कॉन्टेक्स्ट और key-value cache acceleration सपोर्ट करता है। सरल शब्दों में, इससे कोई AI मॉडल एक ही ऑन-डिवाइस सत्र में बातचीत, दस्तावेज़ या किसी टास्क की पहले की जानकारी का बड़ा हिस्सा संभाल सकता है। 1112

कंपनी ने INT4 मॉडलों के लिए प्रीफिल में 50% तक तेजी का भी दावा किया है। प्रीफिल वह शुरुआती चरण है, जिसमें मॉडल यूज़र का प्रॉम्प्ट पढ़कर अपना वर्किंग कॉन्टेक्स्ट तैयार करता है, फिर उत्तर बनाना शुरू करता है। इसलिए इसे हर मॉडल या ऐप में हर अगला शब्द 50% तेज बनने का दावा नहीं समझना चाहिए। NPU INT2, INT4, INT8, FP8 और FP16 सहित कई प्रिसीजन फॉर्मेट सपोर्ट करता है। 16

30 अरब पैरामीटर वाला दावा: महत्वपूर्ण शर्त

क्वालकॉम ने 30 अरब कुल पैरामीटर तक वाले Mixture-of-Experts (MoE) मॉडलों को फोन पर चलाने की क्षमता का उदाहरण दिया है। उसके अनुसार, इस उदाहरण में हर टोकन के लिए करीब 3 अरब पैरामीटर सक्रिय होते हैं। 6

यहीं MoE का फर्क अहम है। ऐसे मॉडल में रूटिंग सिस्टम हर टोकन या काम के लिए मॉडल का केवल जरूरी हिस्सा चुनता है। इसका मतलब यह नहीं कि फोन हर टोकन के लिए पूरे 30 अरब पैरामीटर पर एक साथ गणना करेगा। वास्तविक व्यवहार मॉडल, उसके इम्प्लीमेंटेशन और फोन की कॉन्फ़िगरेशन पर निर्भर करेगा। 113

Snapdragon में CPU, GPU और NPU की अलग-अलग भूमिका

Hexagon NPU का प्रीव्यू क्वालकॉम के अगले CPU और GPU संबंधी खुलासों के बाद आया है। आने वाले आठ-कोर Oryon CPU में दो Prime कोर 5GHz तक और छह Performance कोर होने हैं। FlexCache के जरिए अलग-अलग प्रकार के CPU कोर जरूरत के हिसाब से साझा कैश पूल इस्तेमाल कर सकेंगे। 2122

ग्राफिक्स के लिए क्वालकॉम ने Adreno Matrix Cores और 18MB Adreno High Performance Memory की भी जानकारी दी है। इसकी Neural Fusion तकनीक ग्राफिक्स पाइपलाइन में न्यूरल प्रोसेसिंग, AI सुपर रेजोल्यूशन और फ्रेम जनरेशन को जोड़ती है। कंपनी का दावा है कि उपयुक्त रेंडरिंग वर्कलोड में इससे बिजली की खपत 40% तक घट सकती है; यह कंपनी का दावा है, स्वतंत्र बेंचमार्क का निष्कर्ष नहीं। 1723

इस पूरी रणनीति को तीन हिस्सों में समझा जा सकता है:

• Hexagon NPU: AI मॉडल इन्फरेंस और लंबे समय तक चलने वाले एजेंट-जैसे कार्यों के लिए।
• Oryon CPU: ऐप लॉजिक, सामान्य कंप्यूटिंग और ऐसे काम जिनके लिए विशेष एक्सेलेरेटर उपयुक्त नहीं हैं।
• Adreno GPU: समानांतर विजुअल AI और AI-सहायित ग्राफिक्स रेंडरिंग के लिए।

मुख्य बात यह है कि हर AI फीचर केवल NPU पर नहीं चलेगा। क्वालकॉम CPU, GPU और NPU को एक-दूसरे के पूरक इंजन के रूप में पेश कर रहा है, ताकि फोन निर्माता अलग-अलग कामों के लिए सही हार्डवेयर चुन सकें।

अभी किन जानकारियों का इंतजार है?

ये घोषणाएं आर्किटेक्चर के प्रीव्यू हैं, पूरे प्लेटफॉर्म की अंतिम स्पेसिफिकेशन नहीं। Snapdragon Summit 22 से 24 सितंबर तक माउई, हवाई में निर्धारित है। 31

तब तक इन दावों को तकनीकी दिशा के संकेत के रूप में देखना बेहतर है, न कि पूर्ण प्रदर्शन-तस्वीर के रूप में। क्वालकॉम ने NPU की साझा मेमोरी की वास्तविक क्षमता और पूरी तरह स्वतंत्र रूप से सत्यापित परफॉर्मेंस व दक्षता के नतीजे जारी नहीं किए हैं। 5 अंतिम प्लेटफॉर्म घोषणा से ही पता चलेगा कि ये क्षमताएं अलग-अलग Snapdragon उत्पादों और बाजार में आने वाले फोनों में किस तरह कॉन्फ़िगर की जाती हैं।