उत्तरप्रकाशित18 स्रोत
KV Cache की रुकावट दूर करने के लिए Huawei का स्टोरेज-नेटवर्क तरीका
22 अक्टूबर 2026 को शंघाई में हुए Advanced Storage Conference में Huawei ने GLM 5.2 के लैब परीक्षण में KV Cache ऑफलोडिंग से 7.3 गुना इनफरेंस थ्रूपुट और समन्वित स्टोरेज नेटवर्क I/O शेड्यूलिंग से 20% अतिरिक्त दक्षता सुधा... KV Cache मॉडल के पहले से गणना किए गए Key और Value डेटा को रखता है, ताकि आगे के टोकन बनाते समय वह...
प्रकाशितकर्ताGPT-6 Luna से संपादितGPT Image 2 से चित्र बनाए गए
शोध उत्तर
मुख्य निष्कर्ष
- 22 अक्टूबर 2026 को शंघाई में हुए Advanced Storage Conference में Huawei ने GLM 5.2 के लैब परीक्षण में KV Cache ऑफलोडिंग से 7.3 गुना इनफरेंस थ्रूपुट और समन्वित स्टोरेज नेटवर्क I/O शेड्यूलिंग से 20% अतिरिक्त दक्षता सुधा...
- KV Cache मॉडल के पहले से गणना किए गए Key और Value डेटा को रखता है, ताकि आगे के टोकन बनाते समय वही गणना दोबारा न करनी पड़े। लंबा संदर्भ और कई चरणों वाली बातचीत कैश का आकार, कुल संग्रहित कैश और क्लस्टर के बीच डेटा ट्रैफ...
- Huawei का बताया गया तरीका कंप्यूट, स्टोरेज और नेटवर्क के तालमेल पर जोर देता है। हालांकि, पूरे टेस्ट सेटअप के अभाव में नतीजों का स्वतंत्र आकलन सीमित है; 30% से अधिक स्टोरेज I/O सुधार का दावा भी उपलब्ध रिपोर्टों से पुष्...
AI संकेत
openai.comCreate a landscape editorial hero image for this Studio Global article: What storage-network convergence approach did Huawei present at the ODCC-organized Advanced Storage Conference in Shanghai on October 22, 20. Article summary: Huawei presented storage–network convergence as a way to reduce the cost of moving KV Cache between compute, storage, and network during agentic AI inference at the October 22, 2026 ASC session in Shanghai; ODCC organize. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
22 अक्टूबर 2026 को शंघाई में Open Data Center Committee (ODCC) के आयोजित Advanced Storage Conference में Huawei ने AI इनफरेंस में KV Cache से जुड़ी रुकावटों को कम करने के लिए स्टोरेज और नेटवर्क के समन्वय पर आधारित तरीका पेश किया। कंपनी के मुताबिक, GLM-5.2 के एक लैब परीक्षण में KV Cache को ऑफलोड करने से इनफरेंस थ्रूपुट पारंपरिक मेमोरी-आधारित तरीके के मुकाबले 7.3 गुना हुआ। स्टोरेज-नेटवर्क I/O शेड्यूलिंग जोड़ने पर दक्षता में 20% का अतिरिक्त सुधार दर्ज किया गया। ये Huawei के बताए नतीजे हैं; कंपनी ने परीक्षण का पूरा सेटअप सार्वजनिक नहीं किया।5
8
KV Cache क्यों बनता है इंफ्रास्ट्रक्चर की चुनौती
मॉडल जब इनफरेंस के दौरान टोकन बनाता है, तो वह ध्यान-गणना से जुड़े Key और Value डेटा को KV Cache में रख सकता है। इससे आगे के टोकन तैयार करते समय पहले की गणना फिर से करने की जरूरत कम होती है।47
48
संदर्भ जितना लंबा होता है, एक अनुरोध का कैश उतना बढ़ सकता है। कई चरणों वाली बातचीत में पुराने संदर्भ को भी संभालना या दोबारा इस्तेमाल करना पड़ सकता है। जब अलग-अलग अनुरोधों और कैश को क्लस्टर के कई कंप्यूट नोड्स में बांटा जाता है, तो डेटा को कंप्यूट, स्टोरेज और नेटवर्क के बीच ले जाने से ट्रैफिक बढ़ सकता है और उपलब्ध मेमोरी पर दबाव पड़ सकता है। सम्मेलन की रिपोर्ट के अनुसार, प्रति-अनुरोध कैश, एक साथ रखा गया कुल कैश और नोड्स के बीच ट्रैफिक—इन सबकी बढ़ोतरी से किसी इनफरेंस क्लस्टर का KV Cache पेटाबाइट स्तर तक पहुंच सकता है।5
Huawei ने इन चुनौतियों को तीन “दीवारों” के रूप में बताया: कंप्यूट पक्ष पर सीमित I/O क्षमता, अलग-अलग स्तरों के बीच डेटा ले जाने में लगने वाली देरी, और कई कैश ऑपरेशनों को कुशलता से संभालने के लिए अपर्याप्त IOPS।5
कंप्यूट, स्टोरेज और नेटवर्क को साथ जोड़ने की कोशिश
Huawei का बताया गया तरीका KV Cache को केवल मेमोरी क्षमता की समस्या मानने के बजाय एक्सेलरेटर, स्टोरेज और नेटवर्क के बीच तालमेल पर केंद्रित है। सम्मेलन की रिपोर्टों में कंप्यूट पक्ष पर ऐसा रास्ता बताया गया, जिसमें प्रोसेसर सीधे कैश I/O शुरू कर सकते हैं—AI CPU और वेक्टर-कोर ऐक्सेस से लेकर अधिक बारीक SIMT-स्तर के I/O तक। रिपोर्टों में स्टोरेज और नेटवर्क के समन्वय को भी इस व्यापक डिजाइन का हिस्सा बताया गया है।5
कंपनी के प्रदर्शन आंकड़े दो कदमों से जुड़े हैं: पहले KV Cache को सीधे ऑफलोड करना, फिर उसके ऊपर स्टोरेज-नेटवर्क I/O शेड्यूलिंग का समन्वय करना। लेकिन उपलब्ध सम्मेलन रिपोर्टों में हर तकनीकी घटक की पुष्टि करने या यह स्थापित करने लायक जानकारी नहीं है कि किसी खास Hyper-Converged Fabric (HCF) शेड्यूलिंग कॉन्फ़िगरेशन ने ही ये सुधार दिए। इसलिए इन दावों को Huawei के बताए लैब परिदृश्य के नतीजों के रूप में देखना चाहिए—इन्हें सार्वजनिक रूप से पूरी तरह परिभाषित आर्किटेक्चर का प्रमाण नहीं माना जा सकता।5
7
आंकड़े क्या बताते हैं—और क्या नहीं
GLM-5.2 के लैब परीक्षण में Huawei के अनुसार, सीधे KV Cache ऑफलोड करने से पारंपरिक मेमोरी-आधारित तरीके के मुकाबले इनफरेंस थ्रूपुट 7.3 गुना हुआ। कंपनी ने बताया कि स्टोरेज-नेटवर्क I/O शेड्यूलिंग जोड़ने के बाद इनफरेंस दक्षता में 20% का अतिरिक्त सुधार हुआ।5
इन नतीजों को सावधानी से पढ़ना जरूरी है। Huawei ने परीक्षण का पूरा कॉन्फ़िगरेशन जारी नहीं किया, इसलिए बाहरी पक्षों के लिए वर्कलोड, तुलना के आधार और अलग-अलग डिजाइन घटकों के योगदान का आकलन करना कठिन है। उपलब्ध सम्मेलन रिपोर्टें स्टोरेज-I/O प्रदर्शन में 30% से अधिक सुधार के अलग दावे की पुष्टि नहीं करतीं; इसलिए यहां उस आंकड़े को सत्यापित नतीजे के रूप में शामिल नहीं किया जा सकता।5
7
सितंबर में पेश दिशा, अक्टूबर में प्रदर्शन के आंकड़े
अक्टूबर की प्रस्तुति से पहले Huawei ने सितंबर में HUAWEI CONNECT पर उन्नत Stellar AI Fabric पेश किया था। सम्मेलन की रिपोर्टें अक्टूबर की प्रस्तुति को KV Cache ऑफलोडिंग के लैब आंकड़ों के खुलासे के रूप में बताती हैं। सितंबर में Huawei ने OceanStor M900 Context Memory Storage भी पेश किया था, जिसे AI इनफरेंस के लिए ऑन-चिप मेमोरी और DRAM से आगे साझा, स्तरित KV Cache पूल उपलब्ध कराने के उद्देश्य से बनाया गया है।10
15
16
यह फर्क अहम है: अक्टूबर के आंकड़े Huawei की पहले से घोषित स्टोरेज-और-नेटवर्क दिशा के साथ एक प्रदर्शन दावा जोड़ते हैं। लेकिन उपलब्ध स्रोत यह साबित नहीं करते कि अक्टूबर में चर्चा की गई हर तकनीकी बारीकी सितंबर के डिजाइन से बिल्कुल समान थी। वे अक्टूबर सम्मेलन में किसी अलग नए उत्पाद के लॉन्च की भी पुष्टि नहीं करते।5
10
16
Studio Global AI
अपना शोध जारी रखें
इस पृष्ठ में एक स्रोत-समर्थित उत्तर शामिल है जिसे आप Studio Global के अंदर जारी रख सकते हैं।
लोग पूछते भी हैं
"KV Cache की रुकावट दूर करने के लिए Huawei का स्टोरेज-नेटवर्क तरीका" का संक्षिप्त उत्तर क्या है?
22 अक्टूबर 2026 को शंघाई में हुए Advanced Storage Conference में Huawei ने GLM 5.2 के लैब परीक्षण में KV Cache ऑफलोडिंग से 7.3 गुना इनफरेंस थ्रूपुट और समन्वित स्टोरेज नेटवर्क I/O शेड्यूलिंग से 20% अतिरिक्त दक्षता सुधा...
सबसे पहले सत्यापित करने योग्य मुख्य बिंदु क्या हैं?
22 अक्टूबर 2026 को शंघाई में हुए Advanced Storage Conference में Huawei ने GLM 5.2 के लैब परीक्षण में KV Cache ऑफलोडिंग से 7.3 गुना इनफरेंस थ्रूपुट और समन्वित स्टोरेज नेटवर्क I/O शेड्यूलिंग से 20% अतिरिक्त दक्षता सुधा... KV Cache मॉडल के पहले से गणना किए गए Key और Value डेटा को रखता है, ताकि आगे के टोकन बनाते समय वही गणना दोबारा न करनी पड़े। लंबा संदर्भ और कई चरणों वाली बातचीत कैश का आकार, कुल संग्रहित कैश और क्लस्टर के बीच डेटा ट्रैफ...
मुझे अभ्यास में आगे क्या करना चाहिए?
Huawei का बताया गया तरीका कंप्यूट, स्टोरेज और नेटवर्क के तालमेल पर जोर देता है। हालांकि, पूरे टेस्ट सेटअप के अभाव में नतीजों का स्वतंत्र आकलन सीमित है; 30% से अधिक स्टोरेज I/O सुधार का दावा भी उपलब्ध रिपोर्टों से पुष्...