GB300 NVL72 को 'नया इंफरेंस/ट्रेनिंग वर्कहॉर्स' बताया गया है, जिसमें कॉस्ट-पर-टोकन पर जोर है। यह उद्योग के उस बदलाव को दर्शाता है जहां AI मॉडल को बड़े पैमाने पर रीयल-टाइम एप्लिकेशन के लिए तैनात किया जा रहा है । NVIDIA के अनुसार, यह NVIDIA Blackwell GPUs की तुलना में 1.5 गुना अधिक डेंस FP4 Tensor Core FLOPS और 2 गुना अधिक अटेंशन परफॉरमेंस देता है
।
इस तैनाती में हाई-बैंडविड्थ नेटवर्किंग अहम भूमिका निभाती है। NVIDIA GB300 NVL72 सिस्टम NVIDIA Spectrum-X ईथरनेट नेटवर्किंग के ज़रिए आपस में जुड़ेंगे। यह एक लॉसलेस, हाई-थ्रूपुट ईथरनेट फैब्रिक है जो मल्टी-नोड AI वर्कलोड में बॉटलनेक को खत्म करता है ।
तैनाती में 400GbE और 800GbE इंटरकनेक्ट, ऑप्टिकल ट्रांसीवर, NVIDIA Spectrum-X ईथरनेट स्विच और SuperNICs शामिल हैं । इस फैब्रिक के बिना, एंटरप्राइज-ग्रेड इंफरेंस को स्केल करना मुश्किल होता क्योंकि लेटेंसी और बैंडविड्थ में गंभीर बाधाएं आतीं। NVIDIA के एंटरप्राइज रेफरेंस आर्किटेक्चर के अनुसार, यह दोहरी-प्लेन नेटवर्किंग आर्किटेक्चर एंटरप्राइज डेटा सेंटर को भारी पैमाने पर AI ट्रेनिंग और इंफरेंस के लिए तैयार करता है, जिससे ट्रिलियन-पैरामीटर मॉडल और रीयल-टाइम एप्लिकेशन संभव होते हैं
।
हालांकि यह इंफ्रास्ट्रक्चर ट्रेनिंग और इंफरेंस दोनों का समर्थन करता है , घोषणा में एंटरप्राइजेज़ के बढ़ते फोकस को AI इंफरेंस (प्रोडक्शन डिप्लॉयमेंट) पर दिखाया गया है। कई संकेत इस बदलाव की ओर इशारा करते हैं:
इसका स्पष्ट अर्थ है: एंटरप्राइजेज़ प्रयोग के चरण से आगे बढ़ चुके हैं और अब प्रोडक्शन वातावरण में बड़े पैमाने पर AI मॉडल तैनात करने के लिए ऑप्टिमाइज़्ड इंफ्रास्ट्रक्चर चाहते हैं।
Vultr साझेदारी के अलावा, HPE ने कई अन्य पहलों पर प्रकाश डाला:
Vultr द्वारा HPE और NVIDIA को चुनना एक बड़ा संकेत है। सबसे बड़े निजी हाइपरस्केलर के रूप में, Vultr दांव लगा रहा है कि एंटरप्राइज ग्राहकों को ऐसे इंफ्रास्ट्रक्चर की ज़रूरत है जो क्लाउड स्केल पर ट्रेनिंग और रीयल-टाइम इंफरेंस दोनों को संभाल सके। NVIDIA के रैक-स्केल GPU कंप्यूटिंग को HPE की फैक्ट्री आर्किटेक्चर, लिक्विड कूलिंग और सेवाओं के साथ जोड़कर, Vultr एंटरप्राइज AI वर्कलोड की अगली लहर—मॉडल ट्रेनिंग से लेकर ट्रिलियन-पैरामीटर मॉडल पर प्रोडक्शन इंफरेंस—की सेवा के लिए खुद को तैयार कर रहा है।
Comments
0 comments