उत्तरप्रकाशित4 घंटे पहलेLast edited 3 घंटे पहले19 स्रोत

Huawei OceanStor M900: AI के लिए 64 PB का साझा KV कैश कैसे काम करता है?

OceanStor M900, SuperPoD के KV कैश को चिप मेमोरी और DRAM से आगे साझा SSD स्टोरेज तक फैलाता है। Huawei का दावा है कि एक क्लस्टर में इसकी क्षमता 64 PB तक हो सकती है। Huawei लगभग 60 माइक्रोसेकंड एक्सेस लेटेंसी और प्रति क्लस्टर कुल 40 TB/s बैंडविड्थ बताता है। इन आंकड़ों का मतलब यह नहीं कि हर अनुरोध पर यही प्रदर्शन मिलेगा।

प्रकाशितकर्ताGPT-6 Sol से संपादितGPT Image 2 से चित्र बनाए गए

Studio Global AI के साथ खोजें और तथ्यों की जांच करें और ट्रेंडिंग पेज देखें

शोध उत्तर

मुख्य निष्कर्ष

OceanStor M900, SuperPoD के KV कैश को चिप मेमोरी और DRAM से आगे साझा SSD स्टोरेज तक फैलाता है। Huawei का दावा है कि एक क्लस्टर में इसकी क्षमता 64 PB तक हो सकती है।
Huawei लगभग 60 माइक्रोसेकंड एक्सेस लेटेंसी और प्रति क्लस्टर कुल 40 TB/s बैंडविड्थ बताता है। इन आंकड़ों का मतलब यह नहीं कि हर अनुरोध पर यही प्रदर्शन मिलेगा।

Conceptual illustration of shared storage for AI inference — What is Huawei’s OceanStor M900 Context Memory Storage, introduced at HUAWEI CONNECT 2026 for AI inference SuperPoDs, and how does its UnifiAI-generated illustration; not a photograph of the OceanStor M900.
AI संकेत
Create a landscape editorial hero image for this Studio Global article: What is Huawei’s OceanStor M900 Context Memory Storage, introduced at HUAWEI CONNECT 2026 for AI inference SuperPoDs, and how does its Unifi. Article summary: Huawei’s OceanStor M900 is a storage system for SuperPoD AI inference, introduced at HUAWEI CONNECT 2026. It uses UnifiedBus to make the key–value (KV) cache—a reusable record of attention calculations—available across a. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
openai.com

HUAWEI CONNECT 2026 में पेश किया गया OceanStor M900 बड़े AI इन्फरेंस सिस्टम, जिन्हें Huawei SuperPoD कहता है, के लिए संदर्भ-संबंधी डेटा रखने वाला स्टोरेज सिस्टम है। इसका मकसद लंबे प्रॉम्प्ट, बातचीत और बार-बार काम करने वाले AI एजेंटों के लिए पहले से तैयार संदर्भ को अधिक एक्सेलरेटरों के बीच उपलब्ध कराना है। 1 9

KV कैश साझा करने से क्या फायदा हो सकता है?

जब AI मॉडल किसी प्रॉम्प्ट को प्रोसेस करता है, तो गणना से बना डेटा की-वैल्यू (KV) कैश में रखा जा सकता है। अगला अनुरोध यदि उसी शुरुआती हिस्से का इस्तेमाल करे, तो सिस्टम को वह गणना फिर से नहीं करनी पड़ती। लेकिन लंबा संदर्भ और कई चरणों वाली बातचीत होने पर पूरा कैश हर न्यूरल प्रोसेसिंग यूनिट (NPU)—यानी AI गणना करने वाली चिप—के पास मौजूद सीमित मेमोरी में रखना मुश्किल होता है। M900 का प्रस्तावित समाधान उस कैश को पूरे SuperPoD में साझा करना है। फायदा तभी होगा जब अनुरोधों में दोबारा इस्तेमाल करने लायक संदर्भ मौजूद हो। 1 3 6

64 PB क्षमता कहां से आती है?

Huawei के मुताबिक, M900 उसका UnifiedBus नेटवर्क इस्तेमाल करके KV कैश को चिप पर मौजूद मेमोरी, DRAM और SSD की अलग-अलग परतों में रखता है। कंपनी का दावा है कि एक क्लस्टर 64 PB KV-कैश क्षमता दे सकता है और एक NPU के लिए सुलभ कैश गीगाबाइट से टेराबाइट के स्तर तक पहुंच सकता है। यहां 64 PB पूरे साझा क्लस्टर की क्षमता है, किसी एक NPU के भीतर लगी मेमोरी नहीं। अधिक संदर्भ संभाल पाने से कैश का पुनः इस्तेमाल बढ़ सकता है, पर वास्तविक लाभ वर्कलोड पर निर्भर करेगा। 3 6 17

SSD पर रखा कैश इन्फरेंस के दौरान जल्दी मिल सके, इसके लिए Huawei NPU से SSD तक एक-हॉप पहुंच का वर्णन करता है। डिजाइन में CPU, नेटवर्क कंट्रोलर और NAND कंट्रोलर के कार्यों को जोड़ा गया है, ताकि पारंपरिक प्रोटोकॉल रूपांतरण और CPU के जरिए डेटा आगे भेजने के कुछ चरण हट सकें। Huawei लगभग 60 माइक्रोसेकंड एक्सेस लेटेंसी और प्रति क्लस्टर 40 TB/s कुल बैंडविड्थ बताता है। ये आर्किटेक्चर और पूरे सिस्टम से जुड़े आंकड़े हैं, हर कैश अनुरोध की सुनिश्चित गति नहीं। 3 6 28 32

तेज जवाब और कम लागत: दावा कितना पुख्ता है?

कैश में उपयुक्त संदर्भ मिल जाए तो पहला टोकन—जवाब का पहला उत्पन्न हिस्सा—जल्दी आ सकता है। गणना का दोहराव घटने से कुल टोकन उत्पादन क्षमता भी बढ़ सकती है। Huawei का दावा है कि एक सामान्य AI कोडिंग परिदृश्य में इस आर्किटेक्चर ने इन्फरेंस क्लस्टर का टोकन थ्रूपुट दोगुना किया और पहला टोकन आने का समय आधा कर दिया। इसे हर तरह के अनुरोध के लिए मिलने वाला सुधार नहीं मानना चाहिए। 28 33

Huawei के अनुसार, उसका KV-aware डेटा प्लेसमेंट कैश की जरूरत और उसके बने रहने की अवधि के हिसाब से अलग-अलग स्टोरेज माध्यमों का इस्तेमाल संभालता है। कंपनी SSD की क्षमता प्रतिदिन अधिकतम 24 बार पूरी ड्राइव के बराबर लिखने (drive writes per day) तक बताती है। वह SSD की आयु में 16 गुना सुधार और तीन वर्ष तक स्थिर संचालन का लक्ष्य भी रखती है। इसका आर्थिक तर्क है: दोबारा गणना और ड्राइव बदलने की जरूरत घटे तो प्रति टोकन इन्फरेंस लागत कम हो सकती है। हालांकि उपलब्ध साक्ष्य उत्पादन में चल रहे SuperPoD सिस्टम पर इन प्रदर्शन, आयु या लागत संबंधी नतीजों की स्वतंत्र पुष्टि नहीं करते। 6 8 33

Studio Global AI

अपना शोध जारी रखें

इस पृष्ठ में एक स्रोत-समर्थित उत्तर शामिल है जिसे आप Studio Global के अंदर जारी रख सकते हैं।

Studio Global AI के साथ खोजें और तथ्यों की जांच करें

लोग पूछते भी हैं