उत्तरप्रकाशित13 स्रोत
AI जवाब की शुरुआत 56 गुना तेज़? Supermicro, IBM और NVIDIA के KV कैश का दावा
Supermicro, IBM और NVIDIA ने AI इन्फ़रेंस के लिए साझा स्टोरेज वाला KV कैश पेश किया। कंपनियों के संयुक्त परीक्षण में 1.3 लाख टोकन के प्रॉम्प्ट पर पहला टोकन देने का समय 56 गुना तक तेज़ बताया गया है।[5][13] इस सिस्टम में AMD EPYC 9005 प्रोसेसर वाले Supermicro Petascale ऑल फ्लैश सर्वर, IBM Storage Scale, NVIDIA Dynamo औ...
प्रकाशितकर्ताGPT-6 Luna से संपादितGPT Image 2 से चित्र बनाए गए
शोध उत्तर
मुख्य निष्कर्ष
- Supermicro, IBM और NVIDIA ने AI इन्फ़रेंस के लिए साझा स्टोरेज वाला KV कैश पेश किया। कंपनियों के संयुक्त परीक्षण में 1.3 लाख टोकन के प्रॉम्प्ट पर पहला टोकन देने का समय 56 गुना तक तेज़ बताया गया है।[5][13]
- इस सिस्टम में AMD EPYC 9005 प्रोसेसर वाले Supermicro Petascale ऑल फ्लैश सर्वर, IBM Storage Scale, NVIDIA Dynamo और Spectrum X Ethernet शामिल हैं।[6]
- 56 गुना का आंकड़ा जवाब शुरू होने से पहले के इंतज़ार यानी TTFT से जुड़ा है, पूरे जवाब की गति से नहीं। असली लाभ इस बात पर निर्भर करेगा कि नए अनुरोध पहले से कैश किए गए संदर्भ का कितना पुनः उपयोग कर पाते हैं।
AI संकेत
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Supermicro, IBM and NVIDIA announce on November 5, 2026, about a shared-flash AI key-value (KV) cache stored outside GPU memory; ho. Article summary: On November 5, 2026, Supermicro announced a joint KV-cache storage solution with IBM and NVIDIA that keeps reusable, previously computed AI context in shared storage beyond GPU memory.[5][7] The advertised up-to-56× gain. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Supermicro, IBM और NVIDIA ने 5 नवंबर 2026 को AI इन्फ़रेंस के लिए साझा स्टोरेज वाला key-value (KV) कैश समाधान घोषित किया। इसका मकसद है कि सिस्टम पहले से प्रोसेस किए गए संदर्भ को दोबारा इस्तेमाल कर सके, बजाय इसके कि हर अनुरोध पर वही काम फिर से करे। कंपनियों ने 1,30,000 टोकन वाले प्रॉम्प्ट पर संयुक्त परीक्षण में पहला टोकन देने का समय 56 गुना तक तेज़ होने की बात कही है। यह जवाब शुरू होने से पहले के इंतज़ार का दावा है—पूरा जवाब 56 गुना तेज़ी से तैयार होने का नहीं।5
13
सिस्टम में क्या-क्या शामिल है?
घोषित समाधान में AMD EPYC 9005 सीरीज़ प्रोसेसर वाले Supermicro Petascale ऑल-फ्लैश स्टोरेज सर्वर, IBM Storage Scale सॉफ़्टवेयर, NVIDIA Dynamo इन्फ़रेंस सॉफ़्टवेयर और NVIDIA Spectrum-X Ethernet नेटवर्किंग शामिल हैं।6
KV कैश में मॉडल के काम के दौरान तैयार हुई कुछ मध्यवर्ती जानकारी रखी जाती है। इस समाधान का उद्देश्य उस पुनः उपयोग योग्य संदर्भ को GPU की स्थानीय मेमोरी से आगे साझा स्टोरेज में उपलब्ध कराना है। इससे लंबे प्रॉम्प्ट या बार-बार आने वाले संदर्भ को फिर से प्रोसेस करने की ज़रूरत घट सकती है। हालांकि, उपलब्ध घोषणा से यह स्पष्ट नहीं होता कि अलग-अलग सर्वरों के बीच कैश का स्थानांतरण और उसका संचालन ठीक किस तरह होता है।5
13
56 गुना का दावा किस चीज़ के लिए है?
Time-to-first-token (TTFT) वह समय है जो अनुरोध मिलने के बाद AI सिस्टम के जवाब का पहला टोकन दिखाने तक लगता है। Supermicro और NVIDIA के बताए परीक्षण में लंबे संदर्भ वाले प्रॉम्प्ट पर कैश के साथ और बिना कैश के इस शुरुआती देरी की तुलना की गई। रिपोर्ट में 120 अरब पैरामीटर वाले मॉडल और 1,30,000 टोकन के प्रॉम्प्ट का उल्लेख है।5
13
इसलिए कम TTFT का मतलब है कि सिस्टम जवाब देना जल्दी शुरू कर सकता है। इससे यह साबित नहीं होता कि पहला टोकन आने के बाद बाकी पूरा जवाब भी उतनी ही तेज़ी से बनेगा। और किसी खास परीक्षण का नतीजा हर मॉडल, प्रॉम्प्ट या ग्राहक के सेटअप में वैसा ही प्रदर्शन सुनिश्चित नहीं करता।
असली फ़ायदा कैश के पुनः उपयोग पर निर्भर
कैशिंग का लाभ तब मिलता है जब कोई नया अनुरोध पहले से प्रोसेस किए गए संदर्भ का दोबारा इस्तेमाल कर सके। बार-बार इस्तेमाल होने वाले निर्देश, दस्तावेज़ या बातचीत का इतिहास ऐसी संभावना पैदा कर सकते हैं। इसके उलट, नया या पहले से कैश किए गए संदर्भ से मेल न खाने वाला इनपुट फिर भी प्रोसेस करना होगा।
इसलिए प्रदर्शन इस बात पर निर्भर करेगा कि उपयोगी कैश कितनी बार उपलब्ध है और स्टोरेज व नेटवर्क से उसे पाने में कितना समय लगता है। 56 गुना का आंकड़ा कंपनियों के परीक्षण का नतीजा है, हर कार्यभार के लिए तय लाभ की गारंटी नहीं।5
13 किसी भी टीम के लिए अहम सवाल सिर्फ यह नहीं कि कैश मौजूद है या नहीं—बल्कि यह है कि उसका काम उस कैश का कितना पुनः उपयोग कर सकता है और उससे शुरुआती जवाब या कुल थ्रूपुट जैसे ज़रूरी मापदंडों में कितना सुधार आता है।
Studio Global AI
अपना शोध जारी रखें
इस पृष्ठ में एक स्रोत-समर्थित उत्तर शामिल है जिसे आप Studio Global के अंदर जारी रख सकते हैं।
लोग पूछते भी हैं
"AI जवाब की शुरुआत 56 गुना तेज़? Supermicro, IBM और NVIDIA के KV कैश का दावा" का संक्षिप्त उत्तर क्या है?
Supermicro, IBM और NVIDIA ने AI इन्फ़रेंस के लिए साझा स्टोरेज वाला KV कैश पेश किया। कंपनियों के संयुक्त परीक्षण में 1.3 लाख टोकन के प्रॉम्प्ट पर पहला टोकन देने का समय 56 गुना तक तेज़ बताया गया है।[5][13]
सबसे पहले सत्यापित करने योग्य मुख्य बिंदु क्या हैं?
Supermicro, IBM और NVIDIA ने AI इन्फ़रेंस के लिए साझा स्टोरेज वाला KV कैश पेश किया। कंपनियों के संयुक्त परीक्षण में 1.3 लाख टोकन के प्रॉम्प्ट पर पहला टोकन देने का समय 56 गुना तक तेज़ बताया गया है।[5][13] इस सिस्टम में AMD EPYC 9005 प्रोसेसर वाले Supermicro Petascale ऑल फ्लैश सर्वर, IBM Storage Scale, NVIDIA Dynamo और Spectrum X Ethernet शामिल हैं।[6]
मुझे अभ्यास में आगे क्या करना चाहिए?
56 गुना का आंकड़ा जवाब शुरू होने से पहले के इंतज़ार यानी TTFT से जुड़ा है, पूरे जवाब की गति से नहीं। असली लाभ इस बात पर निर्भर करेगा कि नए अनुरोध पहले से कैश किए गए संदर्भ का कितना पुनः उपयोग कर पाते हैं।