उत्तरप्रकाशित16 स्रोत
MLPerf Inference v6.1: AI इन्फ्रेंस में अब सिर्फ GPU नहीं, पूरा सिस्टम मायने रखता है
AMD के 512 GPU Instinct MI355X सबमिशन ने कुल टोकन थ्रूपुट पर ध्यान खींचा, लेकिन सही तुलना के लिए GPU संख्या, मॉडल, लेटेंसी शर्तें और क्लस्टर आकार समान होना चाहिए। NVIDIA ने Vera Rubin NVL72 के प्रीव्यू नतीजे पेश किए, जबकि Blackwell और Blackwell Ultra मौजूदा तैनाती के लिए अलग अलग मॉडल व स्केल पर मजबूत बने हुए हैं। रि...
प्रकाशितकर्ताGPT-5.6 Terra से संपादितGPT Image 2 से चित्र बनाए गए
शोध उत्तर
मुख्य निष्कर्ष
- AMD के 512 GPU Instinct MI355X सबमिशन ने कुल टोकन थ्रूपुट पर ध्यान खींचा, लेकिन सही तुलना के लिए GPU संख्या, मॉडल, लेटेंसी शर्तें और क्लस्टर आकार समान होना चाहिए।
- NVIDIA ने Vera Rubin NVL72 के प्रीव्यू नतीजे पेश किए, जबकि Blackwell और Blackwell Ultra मौजूदा तैनाती के लिए अलग अलग मॉडल व स्केल पर मजबूत बने हुए हैं।
- रिकॉर्ड 30 संगठनों और 486 डेटासेंटर व एज परिणामों वाले इस दौर में एंड टू एंड RAG और एज एजेंटिक इन्फ्रेंस टेस्ट जोड़े गए—यानी बेंचमार्क वास्तविक AI ऐप्लिकेशन के और करीब आया है।
- खरीदारों के लिए संदेश साफ है: GPU के शिखर प्रदर्शन के बजाय उपलब्ध हार्डवेयर, सॉफ्टवेयर, नेटवर्किंग, लागत और सर्विस लेवल लक्ष्य वाले पूरे स्टैक को परखें।
AI संकेत
openai.comCreate a landscape editorial hero image for this Studio Global article: What were the key results and broader implications of MLCommons’ MLPerf Inference v6.1 benchmarks, including AMD’s record-setting MI355X per. Article summary: MLPerf Inference v6.1 showed a more competitive and more deployment-oriented inference market: AMD set aggregate-scale records, NVIDIA demonstrated its next platform while retaining strong Blackwell results, Intel broade. Topic tags: general, documentation, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
MLPerf Inference v6.1 को किसी एक चिप की रैंकिंग के तौर पर देखना अधूरा होगा। यह दौर बताता है कि AI मॉडल चलाने—यानी इन्फ्रेंस—की दुनिया बदल रही है। AMD का बहुत बड़े पैमाने का MI355X सबमिशन, NVIDIA Vera Rubin के शुरुआती प्रीव्यू नतीजे, Intel की CPU और वर्कस्टेशन-GPU श्रेणियों में मौजूदगी, तथा रिट्रीवल-ऑगमेंटेड जेनरेशन (RAG) और एजेंटिक AI के नए टेस्ट, सभी एक ही बात की ओर इशारा करते हैं: तुलना की उपयोगी इकाई अब केवल GPU नहीं, बल्कि प्रासंगिक वर्कलोड पर लेटेंसी की तय शर्तों के भीतर चल रहा पूरा, उपलब्ध सर्विंग सिस्टम है।
AMD: MI355X के नतीजों ने बड़े क्लस्टर की क्षमता दिखाई
AMD की सबसे चर्चित एंट्री Crusoe की 512-GPU Instinct MI355X कॉन्फ़िगरेशन रही। इसने v6.1 दौर में रिपोर्ट किए गए कुल टोकन-थ्रूपुट के सबसे बड़े आंकड़े दर्ज किए। 5 यह केवल एक एक्सेलरेटर की क्षमता का परीक्षण नहीं है; इतने बड़े डिप्लॉयमेंट में डिस्ट्रीब्यूटेड इन्फ्रेंस, नेटवर्किंग और सिस्टम इंटीग्रेशन भी निर्णायक होते हैं।
फिर भी, इसे हर परिस्थिति में प्लेटफ़ॉर्म-लीडरशिप का अंतिम फैसला नहीं माना जा सकता। 512 GPU के कुल नतीजे की तुलना एक रैक या छोटे क्लस्टर से सीधे नहीं की जानी चाहिए। GPU संख्या, मॉडल, बेंचमार्क परिदृश्य और सेवा-स्तर की शर्तों को सामान्यीकृत करना जरूरी है। बड़े इन्फ्रेंस फ्लीट के लिए कुल थ्रूपुट अहम हो सकता है, जबकि किसी खास तैनाती में प्रति-एक्सेलरेटर प्रदर्शन, रैक घनत्व, बिजली खपत, उपलब्धता और संचालन की जटिलता अधिक महत्वपूर्ण हो सकती है।
ROCm की प्रगति क्यों महत्वपूर्ण है
AMD की कहानी हार्डवेयर के साथ-साथ सॉफ्टवेयर की भी है। कंपनी ने एक ही MI355X हार्डवेयर पर पिछले MLPerf दौर की तुलना में बेहतर प्रदर्शन को ROCm ऑप्टिमाइज़ेशन से जोड़ा। इसका बड़ा अर्थ यह है कि कंपाइलर, कर्नेल, मॉडल रनटाइम और डिस्ट्रीब्यूटेड-सर्विंग सॉफ्टवेयर, नए GPU खरीदे बिना मौजूदा फ्लीट की उपयोगी क्षमता बढ़ा सकते हैं।
AMD ने ROCm के लिए छह-सप्ताह के रिलीज़ चक्र की प्रतिबद्धता भी जताई है। यदि इस गति से लगातार, तैनाती योग्य सुधार आते हैं, तो सॉफ्टवेयर की रफ्तार प्रति टोकन लागत के गणित में महत्वपूर्ण कारक बन सकती है। लेकिन किसी संगठन को अपने मॉडल मिश्रण, क्वांटाइज़ेशन, फ्रेमवर्क, ट्रैफिक पैटर्न और लेटेंसी लक्ष्यों पर इन दावों की जांच करनी चाहिए। एक बेंचमार्क में मिली बढ़त उत्पादन वातावरण में उसी अनुपात में मिले, यह जरूरी नहीं।
NVIDIA: Vera Rubin ने अगली पीढ़ी की झलक दी
NVIDIA Vera Rubin NVL72 ने MLPerf Inference में पहली बार प्रीव्यू श्रेणी में प्रवेश किया। NVIDIA के अनुसार, Qwen3-VL पर इसका थ्रूपुट GB300 NVL72 की तुलना में अधिकतम 3.7 गुना रहा। कंपनी ने यह भी बताया कि चार रैक में फैले 288-GPU GB300 NVL72 सबमिशन ने 99% स्केलिंग दक्षता हासिल की। 2
यहां मुख्य सावधानी उपलब्धता की है। प्रीव्यू नतीजे आर्किटेक्चर की दिशा और सॉफ्टवेयर की तैयारी का उपयोगी संकेत हैं, मगर इन्हें आम तौर पर उपलब्ध प्रणालियों के साथ सीधे खरीद-निर्णय की तुलना नहीं माना जा सकता। इस दौर में प्रीव्यू सबमिशन अलग-अलग क्लस्टर आकारों में हुए, इसलिए कुल सिस्टम थ्रूपुट के बजाय प्रति-GPU या अन्य सामान्यीकृत तुलना अधिक सार्थक है। 8
निकट अवधि की तैनाती में Blackwell और Blackwell Ultra अभी भी अहम हैं। उदाहरण के लिए, CoreWeave ने Qwen3-VL, DeepSeek-R1 और GPT-OSS-120B वर्कलोड पर कई Blackwell तथा Blackwell Ultra कॉन्फ़िगरेशन के लिए क्लाउड-प्रोवाइडर श्रेणी में अग्रणी नतीजों की रिपोर्ट दी। 4 व्यावहारिक निष्कर्ष एक ही विजेता चुनना नहीं, बल्कि उपयोग के हिसाब से सही सिस्टम चुनना है: बहुत बड़े क्लस्टर की कुल क्षमता, रैक-स्केल सर्विंग, मल्टीमॉडल इन्फ्रेंस और इंटरैक्टिव लेटेंसी अलग-अलग कॉन्फ़िगरेशन के पक्ष में जा सकते हैं।
Intel ने इन्फ्रेंस सिस्टमों की दायरा बढ़ाया
Intel के सबमिशन ने CPU और वर्कस्टेशन-श्रेणी GPU इन्फ्रेंस को अधिक प्रतिनिधित्व दिया। इसके चार-GPU Arc Pro B70 नोड में कुल 128 GB VRAM था और उसे Llama, GPT-OSS-120B, Whisper तथा नए एंड-टू-एंड RAG वर्कलोड के लिए सबमिट किया गया। Intel ने उसी Arc Pro B70 कॉन्फ़िगरेशन पर पिछले दौर के मुकाबले सॉफ्टवेयर-आधारित सुधारों की भी रिपोर्ट की। 3
इसका अर्थ यह नहीं कि Arc Pro, हाइपरस्केल एक्सेलरेटर क्लस्टरों का सीधा विकल्प है। लेकिन इससे बेंचमार्क उन संगठनों के लिए अधिक प्रासंगिक बनता है जो छोटे, कम लागत वाले या अधिक लचीले डिप्लॉयमेंट का आकलन कर रहे हैं—खासकर जहां मेमोरी क्षमता, स्थानीय इन्फ्रेंस या मौजूदा सर्वर इन्फ्रास्ट्रक्चर निर्णय को प्रभावित करते हैं।
नए RAG और एजेंटिक टेस्ट: बेंचमार्क उत्पादन-जैसे वर्कलोड के करीब
MLCommons के अनुसार, v6.1 में रिकॉर्ड 30 संगठनों ने भाग लिया और डेटासेंटर व एज श्रेणियों में 486 नतीजे आए। इस सुइट में डेटासेंटर के लिए एंड-टू-एंड RAG टेस्ट और Edge Agentic Inference बेंचमार्क जोड़ा गया। 9
RAG में मॉडल उत्तर तैयार करने से पहले बाहरी दस्तावेज़ों या ज्ञान-स्रोतों से जानकारी खोजता है। वहीं, एजेंटिक AI बहु-चरणीय काम कर सकता है—जैसे टूल इस्तेमाल करना, पिछले उत्तर के आधार पर अगला कदम तय करना या कोडिंग कार्य पूरा करना। ऐसे वर्कलोड में केवल ऑफलाइन टोकन-थ्रूपुट से छिप जाने वाली अड़चनें सामने आ सकती हैं: कई चरणों की बातचीत, टूल कॉल, ऑर्केस्ट्रेशन ओवरहेड और हर चरण के बीच प्रतिक्रिया की गति। MLCommons एज बेंचमार्क को एजेंटिक कोडिंग जैसे जटिल, बहु-टर्न कार्यों से जोड़ता है। 9
ये नियंत्रित बेंचमार्क हैं, किसी लाइव प्रोडक्शन सेवा की पूरी तस्वीर नहीं। फिर भी, ये उन AI ऐप्लिकेशन के अधिक नजदीक हैं जिन्हें टीमें अब वास्तविक रूप से तैनात करने की कोशिश कर रही हैं।
MLPerf Endpoints की दिशा में क्या बदल सकता है
MLCommons ने MLPerf Endpoints को संभावित अगली दिशा के रूप में भी प्रीव्यू किया है। अंतर समझना जरूरी है: एक ओर समय-समय पर होने वाले बेंचमार्क सबमिशन हैं, दूसरी ओर चल रहे सर्विंग एंडपॉइंट के प्रत्यक्ष रूप से देखे जा सकने वाले प्रदर्शन का आकलन।
एक परिपक्व एंडपॉइंट-केंद्रित कार्यक्रम पीक स्कोर से आगे जाकर लोड में व्यवहार, लेटेंसी की स्थिरता, उपलब्धता और परिचालन की दोहराने योग्य गुणवत्ता पर ज्यादा जोर दे सकता है। फिलहाल इसे मौजूदा सबमिशन प्रक्रिया का तय विकल्प नहीं, बल्कि उभरती माप-दिशा मानना चाहिए।
खरीद का सबक: हेडलाइन नहीं, पूरा स्टैक तुलना करें
MLPerf v6.1 का स्पष्ट संदेश है कि इन्फ्रेंस प्रतिस्पर्धा तीन जुड़ी हुई चीजों से तय हो रही है—एक्सेलरेटर क्षमता, सॉफ्टवेयर सुधार और सिस्टम इंटीग्रेशन। AMD का MI355X सबमिशन स्केल का महत्व दिखाता है; NVIDIA का Vera Rubin प्रीव्यू अगले प्रदर्शन-चरण का संकेत देता है, जबकि Blackwell वर्तमान डिप्लॉयमेंट का प्रमुख आधार है; Intel के Arc Pro B70 नतीजे उपलब्ध हार्डवेयर विकल्पों का दायरा बढ़ाते हैं; और नए टेस्ट स्वीकार करते हैं कि RAG व एजेंट अलग तरह की प्रदर्शन मांगें पैदा करते हैं।
किसी प्लेटफ़ॉर्म का मूल्यांकन वर्कलोड और संचालन लक्ष्य से शुरू करें: मॉडल, कॉन्टेक्स्ट लंबाई, समवर्ती उपयोगकर्ता, लेटेंसी SLO, बिजली सीमा, डिप्लॉयमेंट का आकार और उपयोगी आउटपुट की प्रति-टोकन लागत। फिर समान स्केल और समान उपलब्धता वाले सिस्टमों की तुलना करें। किसी एक MLPerf हेडलाइन को सार्वभौमिक उत्तर मानने से यह तरीका कहीं अधिक उपयोगी है।
Studio Global AI
अपना शोध जारी रखें
इस पृष्ठ में एक स्रोत-समर्थित उत्तर शामिल है जिसे आप Studio Global के अंदर जारी रख सकते हैं।
लोग पूछते भी हैं
"MLPerf Inference v6.1: AI इन्फ्रेंस में अब सिर्फ GPU नहीं, पूरा सिस्टम मायने रखता है" का संक्षिप्त उत्तर क्या है?
AMD के 512 GPU Instinct MI355X सबमिशन ने कुल टोकन थ्रूपुट पर ध्यान खींचा, लेकिन सही तुलना के लिए GPU संख्या, मॉडल, लेटेंसी शर्तें और क्लस्टर आकार समान होना चाहिए।
सबसे पहले सत्यापित करने योग्य मुख्य बिंदु क्या हैं?
AMD के 512 GPU Instinct MI355X सबमिशन ने कुल टोकन थ्रूपुट पर ध्यान खींचा, लेकिन सही तुलना के लिए GPU संख्या, मॉडल, लेटेंसी शर्तें और क्लस्टर आकार समान होना चाहिए। NVIDIA ने Vera Rubin NVL72 के प्रीव्यू नतीजे पेश किए, जबकि Blackwell और Blackwell Ultra मौजूदा तैनाती के लिए अलग अलग मॉडल व स्केल पर मजबूत बने हुए हैं।
मुझे अभ्यास में आगे क्या करना चाहिए?
रिकॉर्ड 30 संगठनों और 486 डेटासेंटर व एज परिणामों वाले इस दौर में एंड टू एंड RAG और एज एजेंटिक इन्फ्रेंस टेस्ट जोड़े गए—यानी बेंचमार्क वास्तविक AI ऐप्लिकेशन के और करीब आया है।