MLPerf ट्रेनिंग v6.0: Nvidia ने ब्लैकवेल अल्ट्रा से सबको पछाड़ा, कोरवीव ने DeepSeek-V3 को महज 2 मिनट में ट्रेन किया

MLPerf ट्रेनिंग v6.0 की बड़ी बातें

Nvidia ने MLPerf ट्रेनिंग v6.0 में हर बेंचमार्क पर जीत हासिल की। बड़े पैमाने पर सबसे तेज़ ट्रेनिंग टाइम से लेकर प्रति-एक्सेलेरेटर उच्चतम प्रदर्शन तक, Nvidia ही एकमात्र कंपनी थी जिसने सभी सात वर्कलोड में अपनी एंट्री दी और सबमें अव्वल रही ।

---

नए MoE वर्कलोड: DeepSeek-V3 671B और GPT-OSS-20B

• MLCommons ने दो बिल्कुल नए मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) बेंचमार्क पेश किए: DeepSeek-V3 (कुल 671 बिलियन पैरामीटर, प्रति टोकन 37 बिलियन सक्रिय) और छोटा GPT-OSS-20B ।
• Nvidia अकेला ऐसा प्लेटफॉर्म था जिसने इन दोनों नए बेंचमार्क पर परिणाम दिए। इसके लिए कस्टम सॉफ्टवेयर स्टैक, CUDA ग्राफ्स और एडवांस्ड MoE रूटिंग से ऑप्टिमाइज़ किए गए GB300 NVL72 सिस्टम का इस्तेमाल किया गया ।
• DeepSeek-V3 अपने आप में कई अत्याधुनिक तकनीकों का इस्तेमाल करता है, जैसे मल्टी-हेड लेटेंट अटेंशन (MLA), बारीक एक्सपर्ट सेगमेंटेशन (160 रूटेड एक्सपर्ट), मल्टी-टोकन प्रिडिक्शन, और ऑक्ज़िलरी-लॉस-फ्री लोड बैलेंसिंग ।

कोरवीव का DeepSeek-V3 पर कीर्तिमान

• कोरवीव ने DeepSeek-V3 671B को 8,192 Nvidia GB300 NVL72 GPU के विशाल क्लस्टर पर केवल 2.02 मिनट में ट्रेन कर दिया। यह इस राउंड का सबसे बड़ा GB300 क्लस्टर था और यह उपलब्ध क्लाउड इंफ्रास्ट्रक्चर पर ही चलाया गया ।
• यह बेंचमार्क में DeepSeek-V3 का अब तक का सबसे तेज़ ट्रेनिंग परिणाम था। यह उपलब्धि नेटवर्किंग, ऑर्केस्ट्रेशन और स्टोरेज लेयर्स में फुल-स्टैक ऑप्टिमाइज़ेशन के ज़रिए हासिल हुई ।

Nvidia GB300 NVL72 बनाम GB200 NVL72

• GB300 NVL72 (ब्लैकवेल अल्ट्रा) सिस्टम ने इन्फ्रेंस में GB200 NVL72 के मुकाबले 2.77 गुना तक ज़्यादा टोकन-प्रति-सेकंड की गति दिखाई। इसी राउंड में ट्रेनिंग थ्रूपुट में भी काफ़ी बढ़ोतरी देखी गई ।
• ब्लैकवेल अल्ट्रा को बड़ी मेमोरी और पावर बजट का फ़ायदा मिलता है, जिससे मॉडल लोकैलिटी और थ्रूपुट में GB200 के मुकाबले काफ़ी सुधार होता है ।
• Nvidia के सॉफ्टवेयर स्टैक ने इसमें और इज़ाफ़ा किया: एक जैसे हार्डवेयर पर सिर्फ तीन महीनों में DeepSeek-V3 ट्रेनिंग थ्रूपुट में 1.3 गुना का सुधार हुआ, जो फुल-इटरेशन CUDA ग्राफ्स और CuTe DSL फ्यूज़न जैसे सॉफ्टवेयर इनोवेशन से संभव हुआ ।

रिकॉर्ड भागीदारी और तकनीकी विविधता

• 24 संगठनों ने 13 अलग-अलग हार्डवेयर एक्सेलेरेटर्स का इस्तेमाल करते हुए 95 विशिष्ट सिस्टम्स पर अपने परिणाम पेश किए ।
• MLPerf ट्रेनिंग के को-चेयर श्रिया ऋषभ के अनुसार, इस राउंड में FP4 प्रेसिजन रेसिपीज़ (AMD का MXFP4 भी शामिल) और विभिन्न सॉफ्टवेयर फ्रेमवर्क्स की ओर बढ़ती तकनीकी विविधता देखी गई ।
• AMD के Instinct MI355X ने MXFP4 का उपयोग करते हुए Llama 2-70B फाइन-ट्यूनिंग और Llama 3.1-8B प्री-ट्रेनिंग में Nvidia B200 के मुकाबले स्पर्धात्मक प्रदर्शन दिया ।

स्केल-आउट नेटवर्किंग और सिस्टम-लेवल की जीत

• Nvidia के पार्टनर्स ने हाइपरस्केल क्लस्टर्स में 8,192 ब्लैकवेल GPU तक का स्केल किया। इसमें Spectrum-X ईथरनेट का इस्तेमाल हुआ, जो अडैप्टिव रूटिंग और कंजेशन कंट्रोल के साथ MoE के अचानक बढ़ने वाले ऑल-टू-ऑल कम्युनिकेशन पैटर्न के लिए लगभग सैद्धांतिक फैब्रिक बैंडविड्थ बनाए रखता है ।
• NVLink-स्विच डोमेन और स्केल-आउट फैब्रिक के इस संयोजन ने सभी बेंचमार्क पर रिकॉर्ड समय दिया, जिनमें Llama 3.1 8B प्री-ट्रेनिंग (5.2 मिनट), Llama 2 70B फाइन-ट्यूनिंग (0.40 मिनट), FLUX.1 इमेज जनरेशन (12.5 मिनट), DLRM-DCNv2 (0.71 मिनट) और RetinaNet (1.4 मिनट) शामिल हैं ।