Samsung LPDDR5X-PIM: कम बिजली वाली DRAM में AI के लिए 614 GB/s इन-मेमोरी बैंडविड्थ

Hot Chips 2026 में Samsung ने LPDDR5X-PIM की विस्तृत architecture और AI inference performance पेश की। इसका मूल विचार सीधा है: AI मॉडल के weights और intermediate data को हर छोटे operation के लिए DRAM से processor तक भेजने के बजाय, कुछ गणनाएं memory के भीतर ही कर दी जाएं।

Samsung के अनुसार, 16 GB LPDDR5X-PIM पैकेज में 16 in-memory processing blocks हैं। Llama 3.1 8B चलाने वाले एक edge-AI SoC परीक्षण में कंपनी ने conventional LPDDR5X की तुलना में inference time में 2.28 गुना कमी और token throughput में 3.01 गुना बढ़ोतरी बताई। ये vendor-reported परिणाम हैं; इन्हें हर AI workload पर लागू होने वाला सार्वभौमिक performance multiplier नहीं माना जाना चाहिए। 1 9

LPDDR5X-PIM किस समस्या को हल करता है?

बड़े language model का inference अक्सर केवल compute capacity से सीमित नहीं होता। बहुत-सा समय model weights और intermediate data को DRAM और processor के बीच ले जाने में खर्च होता है। Processing-in-memory यानी PIM इस data-movement bottleneck को कम करने की कोशिश करता है। इसके तहत चुने हुए operations DRAM arrays के पास ही किए जाते हैं, इसलिए हर operand को external memory interface से पार नहीं कराना पड़ता। Samsung LPDDR5X-PIM को AI inference के लिए अपना पहला LPDDR-based PIM solution बताता है। 2 9 13

यह approach खास तौर पर उन workloads के लिए उपयोगी हो सकती है जिनमें GEMV यानी matrix-vector multiplication जैसे दोहराए जाने वाले operations बड़ी भूमिका निभाते हैं। ऐसे मामलों में डेटा को इधर-उधर ले जाने की लागत, अतिरिक्त conventional compute जोड़ने जितनी ही महत्वपूर्ण हो सकती है।

Architecture: चार dies वाले पैकेज में 16 PIM blocks

Samsung की घोषित configuration 16 GB LPDDR5X पैकेज की है। इसमें चार dies, JEDEC-style 561-ball package और 9,600 Mb/s प्रति pin की operating speed शामिल है। चारों dies command और address signals साझा करते हैं, जबकि उनकी data lines अलग रहती हैं—यह LPDDR systems की parallel organization के अनुरूप है। 9 17

पैकेज के DRAM banks में 16 PIM blocks वितरित हैं। प्रत्येक block में दो प्रमुख प्रकार के hardware हैं:

• MAC trees: GEMV और दूसरे matrix operations में होने वाले multiply-accumulate तथा reduction-heavy काम को संभालते हैं।
• Floating-point और integer ALUs: elementwise और अन्य सहायक गणनाएं करते हैं।

इस heterogeneous design से memory केवल एक data type पर सामान्य arithmetic करने तक सीमित नहीं रहती। Samsung की पहले की PIM सामग्री में bank-level PIM placement और SIMD floating-point unit का भी वर्णन मिलता है, जो data के करीब specialized compute रखने की इसी व्यापक दिशा को दिखाता है। 9 11

614 GB/s का मतलब क्या है—and क्या नहीं?

Samsung ने 614 GB/s तक की internal aggregate PIM bandwidth बताई है। यह वह bandwidth नहीं है जो सामान्य LPDDR5X interface के जरिए host processor को package के बाहर उपलब्ध होती है। यह कई memory banks और in-memory processing blocks के समानांतर काम से बनने वाली internal bandwidth है। 1

Samsung की तुलना में यह आंकड़ा conventional LPDDR5X baseline की bandwidth से लगभग आठ गुना अधिक था। लेकिन इसका अर्थ यह नहीं है कि LPDDR5X का external link अचानक 614 GB/s का हो गया। PIM समर्थित operations के लिए memory के भीतर अतिरिक्त parallelism उपलब्ध होता है; सामान्य memory traffic के लिए external interface अपनी सीमाओं के साथ ही काम करता है।

Address Align Mode कैसे काम करता है?

इस architecture का महत्वपूर्ण हिस्सा Address Align Mode है। इसमें participating banks में corresponding operands को matching addresses पर रखा जाता है। इसके बाद एक साझा PIM command कई banks में एक ही operation को समानांतर रूप से trigger कर सकता है।

LPDDR rank के चार dies command और address signals पर lockstep में काम करते हैं, लेकिन उनकी data paths अलग रहती हैं। इसलिए यह व्यवस्था package को एक conventional, बहुत चौड़े external channel में बदलने के बजाय bank-level parallel execution सक्षम करती है। 17

Samsung ने दो operating styles बताए हैं:

• Single-bank operation: अधिक fine-grained control देता है और सामान्य DRAM traffic के साथ PIM work चलाने की गुंजाइश बनाए रखता है।
• Multi-bank operation: एक साथ अधिक PIM blocks सक्रिय करता है, जिससे उपयुक्त kernels में internal parallelism और bandwidth बढ़ती है।

यहां trade-off भी है। अधिक banks को एक साथ सक्रिय करने पर throughput बढ़ सकता है, लेकिन उसी समय सामान्य memory accesses के लिए उपलब्ध banks कम हो जाते हैं। इसलिए PIM कोई ऐसा अदृश्य, plug-and-play accelerator नहीं है जिसे software mapping की चिंता किए बिना इस्तेमाल किया जा सके। Tensor layout, target kernels और bank structure के अनुसार mapping महत्वपूर्ण होगी।

Llama 3.1 8B पर Samsung के परिणाम

एक edge-AI SoC पर Llama 3.1 8B inference की conventional LPDDR5X से तुलना करते हुए Samsung ने ये परिणाम बताए:

• Inference time 2.28 गुना कम
• Token throughput 3.01 गुना अधिक
• 614 GB/s तक internal PIM bandwidth, जबकि presentation coverage में conventional baseline लगभग 76.8 GB/s बताया गया

इन आंकड़ों को Samsung के एक विशिष्ट test configuration के संदर्भ में पढ़ना चाहिए। वास्तविक लाभ model precision, quantization, tensor placement, batch size, memory capacity, software support और GEMV-जैसे operations की हिस्सेदारी पर निर्भर करेगा।

Samsung ने memory और SoC के बीच data movement घटने को कम power consumption का architectural लाभ भी बताया है। हालांकि उपलब्ध सामग्री में watts-per-inference या joules-per-token का स्वतंत्र रूप से सत्यापित तुलनात्मक आंकड़ा नहीं दिया गया है। इसलिए power benefit को फिलहाल design objective और suitable workloads में अपेक्षित लाभ के रूप में देखना अधिक उचित है, प्रकाशित प्रतिशत कमी के रूप में नहीं।

LPDDR5X-PIM बनाम HBM

जब किसी accelerator को अधिकतम external memory bandwidth चाहिए—खासकर बड़े data-center workloads और AI training में—तो HBM अब भी मजबूत विकल्प है। HBM की performance stacked DRAM, through-silicon vias, advanced packaging और बड़े silicon-area तथा thermal requirements से आती है। Hot Chips में Micron ने बताया कि समान capacity के लिए HBM का wafer-area penalty DDR5 की तुलना में लगभग तीन गुना तक पहुंच गया है।

Samsung का समझौता अलग है। LPDDR5X-PIM low-power DRAM का form factor बनाए रखते हुए memory banks के पास सीमित specialized compute जोड़ता है। यह HBM जैसी general-purpose accelerator bandwidth नहीं देता, लेकिन उन inference workloads में आकर्षक हो सकता है जहां मुख्य समस्या peak floating-point throughput नहीं, बल्कि data movement है।

इसलिए इसके संभावित उपयोग क्षेत्र अलग-अलग हैं:

• Mobile और client devices: battery, power और thermal सीमाओं के भीतर on-device AI।
• Edge systems: discrete HBM-based accelerator के बिना local inference।
• Servers: ऐसे inference और data-processing workloads जो memory movement से सीमित हैं और जिन्हें HBM की पूरी bandwidth की जरूरत नहीं।

सबसे सटीक निष्कर्ष यह है कि LPDDR5X-PIM चुने हुए inference workloads के लिए HBM का complement या cost-sensitive alternative हो सकता है—यह HBM का सार्वभौमिक replacement नहीं है।

FMS 2026, DeepX और LPDDR6-PIM roadmap

Samsung ने LPDDR5X-PIM को इससे पहले FMS 2026 में प्रदर्शित किया था। Hot Chips 2026 में कंपनी ने architecture और performance discussion को अधिक विस्तार से सामने रखा। Conference program में Samsung की प्रस्तुति LPDDR-based PIM और AI inference पर केंद्रित memory-session talk के रूप में सूचीबद्ध थी। 9 13

कंपनी की व्यापक दिशा PIM को केवल specialized HBM experiments तक सीमित रखने के बजाय low-power memory में अधिक deployable feature बनाने की है। Samsung का दीर्घकालिक LPDDR6-PIM direction standardization की महत्वाकांक्षा से जुड़ा है, लेकिन उपलब्ध प्रमाण किसी finalized JEDEC specification या ratification date की पुष्टि नहीं करते।

DeepX ने कहा है कि वह अपनी दूसरी पीढ़ी की DX-M2 chip में Samsung LPDDR5X-PIM इस्तेमाल करने की योजना बना रहा है और बाद की DX-M3 design के लिए LPDDR6-PIM को लक्ष्य बना रहा है। 15

XCENA MX1 से समानता और अंतर

Samsung की प्रस्तुति उसी Hot Chips memory session में हुई जिसमें XCENA ने MX1 पेश किया, लेकिन दोनों technologies system के अलग स्तरों पर काम करती हैं।

XCENA MX1 एक CXL Type 3 computational-memory device है, जिसे rack-scale infrastructure के लिए बनाया गया है। इसमें 2 TB तक DDR5 capacity, SSD-backed capacity और near-memory processing के लिए 1,000 से अधिक RISC-V cores शामिल हैं। 4 10

इसके विपरीत, LPDDR5X-PIM सीधे LPDDR DRAM package में specialized compute units जोड़ता है। दोनों का लक्ष्य host और memory के बीच data movement घटाना है, लेकिन MX1 एक CXL-attached server device है, जबकि Samsung का design low-power memory package है जिसे SoC या LPDDR-style system के पास लगाया जा सकता है।

निष्कर्ष: PIM को low-power memory तक लाने की कोशिश

Samsung का Hot Chips 2026 disclosure LPDDR5X-PIM को AI inference में memory bottleneck के लिए एक targeted solution के रूप में पेश करता है। इसके 16 processing blocks, bank-level parallelism, MAC trees और mixed-precision ALUs चुने हुए operations को data के करीब रखने की कोशिश करते हैं। साथ ही package LPDDR5X-compatible form factor और 9,600 Mb/s-per-pin operating point बनाए रखता है। 9

Llama 3.1 8B के reported परिणाम उत्साहजनक हैं, लेकिन वे workload-specific vendor benchmarks हैं। इस technology का बड़ा रणनीतिक महत्व यह है कि Samsung PIM को high-end HBM से आगे low-power DRAM तक लाने की कोशिश कर रहा है। इससे mobile, edge, client और कुछ server systems में memory bandwidth, energy और data-movement constraints को नए तरीके से संबोधित किया जा सकता है—जबकि अधिक general-purpose bandwidth की जरूरत वाले workloads के लिए HBM की भूमिका बनी रहेगी।