Samsung की zHBM ऐसी प्रस्तावित मेमोरी आर्किटेक्चर है, जिसका लक्ष्य AI प्रोसेसर और उसकी सबसे तेज मेमोरी के बीच की भौतिक दूरी को लगभग समाप्त करना है। आज HBM (हाई-बैंडविड्थ मेमोरी) आम तौर पर GPU या दूसरे AI एक्सेलेरेटर के बगल में लगाई जाती है। Samsung का विचार इसे एक्सेलेरेटर के सीधे ऊपर 3D पैकेज में स्टैक करने का है। 16 सितंबर को कैलिफोर्निया के सैंटा क्लारा में हुए AI Infrastructure Summit में कंपनी ने इसे एजेंट-आधारित AI को ज्यादा फुर्तीला बनाने की दिशा में एक कदम बताया।
1
9
मौजूदा HBM पैकेजिंग से अंतर क्या है?
पारंपरिक HBM पैकेजों में मेमोरी और एक्सेलेरेटर एक ही तल पर, एक-दूसरे के बगल में रहते हैं और उन्नत पैकेजिंग से जुड़े होते हैं। इसे अक्सर 2.5D व्यवस्था कहा जाता है। zHBM में HBM को AI एक्सेलेरेटर के ऊपर लंबवत रखा जाएगा—यानी लॉजिक और मेमोरी को 3D में बहुत करीब लाना।
12
13
सिद्धांत सरल है: डेटा को कम दूरी तय करनी पड़े तो बैंडविड्थ और ऊर्जा दक्षता बेहतर हो सकती है, जबकि एक ही जगह में अधिक मेमोरी समाई जा सकती है। Samsung के अनुसार, इस वर्टिकल इंटीग्रेशन के लिए अगली पीढ़ी की वेफर-बॉन्डिंग तकनीक, जिसमें हाइब्रिड कॉपर बॉन्डिंग शामिल है, अहम होगी।
7
48
फिलहाल यह कोई बाजार में उपलब्ध उत्पाद नहीं, बल्कि एक कॉन्सेप्ट मॉडल है। Samsung ने zHBM के व्यावसायिक लॉन्च की समयसीमा घोषित नहीं की है।
13
14
Samsung के प्रदर्शन और दक्षता के दावे
Samsung का अनुमान है कि zHBM को शामिल करने वाला अगली पीढ़ी का इंटरफेस यह दे सकता है:
- HBM5 की तुलना में लगभग 8 गुना प्रदर्शन
- पारंपरिक HBM5 से 10 गुना से अधिक मेमोरी घनत्व
- लगभग 3 गुना ऊर्जा दक्षता
- 50% से अधिक कम थर्मल रेजिस्टेंस—अर्थात गर्मी को बाहर निकालने में कम रुकावट
13
48
AI Infrastructure Summit में Samsung ने यह भी कहा कि zHBM AI सिस्टम की प्रतिक्रिया गति को 10 गुना से अधिक बढ़ा सकता है। कंपनी का लक्ष्य 1,000 टोकन प्रति सेकंड तक पहुंचना है। टोकन, किसी AI मॉडल द्वारा टेक्स्ट को समझने या बनाने के दौरान संसाधित होने वाली छोटी इकाइयां हैं।
1
9
इन आंकड़ों को व्यावसायिक चिप के स्वतंत्र बेंचमार्क की तरह नहीं पढ़ना चाहिए। ये भविष्य की आर्किटेक्चर के लिए Samsung के लक्ष्य हैं। मेमोरी को सीधे लॉजिक के ऊपर रखने में उत्पादन-उपज, गर्मी प्रबंधन और एक्सेलेरेटर भागीदारों के साथ सत्यापन जैसी बड़ी इंजीनियरिंग चुनौतियां हैं।
एजेंट-आधारित AI के लिए यह क्यों महत्वपूर्ण है?
Samsung ने zHBM को AI एजेंटों के संदर्भ में पेश किया। ऐसे सिस्टम को संदर्भ पढ़ना, इन्फरेंस चलाना, टूल इस्तेमाल करना और फिर उत्तर बनाना पड़ता है। इस तरह के काम में केवल कंप्यूट क्षमता बढ़ा देना पर्याप्त नहीं है, क्योंकि चिप को डेटा के आने-जाने का इंतजार भी करना पड़ सकता है।
zHBM का लक्ष्य इसी मेमोरी और डेटा-ट्रांसफर बाधा को कम करना है। एक्सेलेरेटर के पास HBM रखने से डेटा की आवाजाही तेज और अधिक ऊर्जा-कुशल हो सकती है।
1
7 हालांकि, दावा किए गए पूरे सिस्टम-स्तर के प्रतिक्रिया लाभ केवल मेमोरी की जगह पर निर्भर नहीं होंगे; एक्सेलेरेटर, सॉफ्टवेयर, मॉडल और पैकेजिंग—सभी की भूमिका होगी।
zNAND-O: अधिक क्षमता के लिए अलग मेमोरी स्तर
Samsung ने zHBM के साथ zNAND-O भी पेश किया है। यह उच्च-प्रदर्शन NAND आर्किटेक्चर है, जिसे डेटा-गहन और एज-AI वातावरणों के लिए बनाया जा रहा है। इसे DRAM और पारंपरिक NAND स्टोरेज के बीच के स्तर के रूप में रखा गया है: DRAM से अधिक घनत्व, और पारंपरिक NAND की तुलना में बेहतर I/O प्रदर्शन, कम विलंबता तथा बेहतर बिजली दक्षता इसका लक्ष्य है।
49
51
दोनों तकनीकों की भूमिकाएं अलग हैं:
- zHBM: एक्सेलेरेटर के एकदम पास, सबसे तेज मेमोरी स्तर के लिए।
- zNAND-O: मॉडल और डेटा की अधिक क्षमता देने वाले स्तर के लिए, जिसे पूरी तरह DRAM में रखना महंगा हो सकता है।
49
53
Samsung ने 120 अरब-पैरामीटर वाले GPT मॉडल के एक परीक्षण का हवाला दिया, जिसमें zNAND-O ने पारंपरिक DRAM सर्वर के बराबर टोकन-प्रति-सेकंड गति हासिल की, जबकि ऑपरेटिंग लागत उसका छठा हिस्सा बताई गई। यह Samsung द्वारा बताया गया परीक्षण परिणाम है; इसे हर बड़े-मॉडल तैनाती के लिए लागत की गारंटी नहीं माना जा सकता।
54
55
कंपनी ने zNAND-O को बहुत बड़े ऑन-डिवाइस मॉडलों की दीर्घकालिक जरूरत से भी जोड़ा है और कहा है कि 2030 तक एक ट्रिलियन-पैरामीटर स्तर का ऑन-डिवाइस AI प्रासंगिक हो सकता है।
53
CXL, HBM का सीधा विकल्प क्यों नहीं दिखता
सम्मेलन में AI मेमोरी बाजार की एक महत्वपूर्ण बात भी उभरी: अधिक क्षमता उपयोगी है, लेकिन हर तरह की मेमोरी एक-दूसरे की जगह नहीं ले सकती।
OpenAI के एक्सेलेरेटर शोधकर्ता डैनियल मॉरिस ने कहा कि उन्हें AI मॉडल वास्तव में चलाने के लिए CXL का उपयोग-मामला नहीं मिला, हालांकि बड़े मॉडलों के कम इस्तेमाल होने वाले डेटा के लिए इसकी भूमिका हो सकती है। Intel की विद्या थियागराजन ने भी CXL मेमोरी पूलिंग को HBM के विकल्प के बजाय सेकेंडरी स्टोरेज का पूरक बताया और CXL-कनेक्टेड मेमोरी तथा HBM के बीच बैंडविड्थ अंतर का उल्लेख किया।
18
22
CXL का मतलब Compute Express Link है—यह कंप्यूट और मेमोरी संसाधनों को जोड़ने का एक इंटरकनेक्ट मानक है। इसका अर्थ यह नहीं कि CXL की कोई भूमिका नहीं होगी। ज्यादा संभावित मॉडल स्तरीय होगा: सक्रिय और बैंडविड्थ-संवेदनशील AI कंप्यूट के लिए एक्सेलेरेटर के पास HBM; जबकि CXL और अन्य मेमोरी या स्टोरेज स्तर क्षमता-केंद्रित जरूरतों को संभालेंगे।
Samsung और SK hynix के लिए संदेश
निकट अवधि में HBM प्रतिस्पर्धा का फैसला इस बात से होगा कि कौन आपूर्तिकर्ता विशेष एक्सेलेरेटर प्लेटफॉर्म के लिए मेमोरी को विश्वसनीय रूप से बना, योग्य ठहरा और भेज सकता है। zHBM Samsung को लंबी अवधि के लिए अलग आर्किटेक्चर देता है, लेकिन इससे उत्पादन-उपज, तापीय व्यवहार, विश्वसनीयता और ग्राहक इंटीग्रेशन साबित करने की जरूरत खत्म नहीं होती।
HBM बाजार के लिए, सक्रिय मॉडल निष्पादन में CXL द्वारा स्थानीय HBM को बदल पाने पर संदेह, एक्सेलेरेटर-निकट हाई-बैंडविड्थ मेमोरी की अहमियत को मजबूत करता है। इसलिए प्रतिस्पर्धा सिर्फ सबसे आक्रामक 3D मेमोरी विचार की नहीं है; असली सवाल यह भी है कि कौन उन्नत पैकेजिंग और मेमोरी डिजाइन को सबसे पहले योग्य, बड़े पैमाने पर बनने वाले उत्पाद में बदल पाता है।
18
33
36
निष्कर्ष
Samsung का संदेश यह है कि AI प्रदर्शन की सीमा अब सिर्फ कंप्यूट थ्रूपुट से तय नहीं होती। मेमोरी मूवमेंट, क्षमता, बिजली खपत और गर्मी भी उतने ही अहम अवरोध बन रहे हैं। zHBM इन्हें दूर करने के लिए AI एक्सेलेरेटर के ऊपर सीधे 3D मेमोरी रखने का प्रस्ताव है, जबकि zNAND-O बड़े AI वर्कलोड के लिए अधिक घनत्व वाला एक सहायक स्तर दे सकता है।
Samsung के दावे बड़े हैं, लेकिन यह तकनीक अभी कॉन्सेप्ट चरण में है। AI इन्फ्रास्ट्रक्चर की योजना बनाने वालों के लिए तत्काल संकेत किसी निकट लॉन्च से अधिक उस दिशा का है जिसमें बाजार बढ़ रहा है: उच्च-प्रदर्शन AI सिस्टम संभवतः तेजी से विशेषीकृत और वर्टिकली इंटीग्रेटेड मेमोरी स्तरों पर निर्भर होंगे, और सबसे तेज कंप्यूट पथ में HBM केंद्रीय बना रहेगा।
13
14
18