Huawei ने कुछ ऐतिहासिक किया। Ascend 950DT + CANN फ्रेमवर्क ने Nvidia की तरह ही Day-0 फुल-स्टैक सपोर्ट दिया — यह पहली बार है जब किसी गैर-CUDA प्लेटफ़ॉर्म ने किसी फ्रंटियर-स्केल मॉडल के लिए लॉन्च-डे रेडिनेस में Nvidia को टक्कर दी । स्वतंत्र बेंचमार्क में शिपिंग Ascend 950PR ने FP4 कंप्यूट में H20 से 2.87 गुना तेज़ प्रदर्शन और MoE इन्फ़रेंस में RL रोलआउट में 1.96 गुना तक तेज़ी दिखाई । हालांकि, चीन की हार्डवेयर परफ़ॉर्मेंस अभी भी फैब्रिकेशन सीमाओं से बंधी है, इसलिए एब्सोल्यूट थ्रूपुट Nvidia के सबसे अच्छे प्रदर्शन से पीछे है।

AMD का लॉन्च सीधे तौर पर एक आपदा था। MI355X Day 0 पर केवल FP8 चला सका — देशी FP4+FP8 चेकपॉइंट बेकार था — और 8K/1K वर्कलोड पर सिर्फ 20.4 tok/s/GPU और 2.4 tok/s/user का प्रदर्शन दिया । ROCm स्टैक ऑप्टिमाइज़ नहीं था; वह सिर्फ़ एक प्लेसहोल्डर था।

AMD का 110.5x रिकवरी: सॉफ़्टवेयर की स्प्रिंट

इसके बाद जो हुआ वह हालिया AI इन्फ़्रास्ट्रक्चर मेमोरी में सबसे नाटकीय सॉफ़्टवेयर-संचालित परफ़ॉर्मेंस रिकवरी है। 26 दिनों में, HaiShaw के तकनीकी नेतृत्व में AMD SGLang इंजीनियरिंग टीम ने amd/deepseek_v4 साइड ब्रांच पर 31 परफ़ॉर्मेंस ऑप्टिमाइज़ेशन पुल रिक्वेस्ट मर्ज कीं । हर PR ने ROCm स्टैक की एक ऐसी लेयर को संबोधित किया जो इस स्केल के MoE मॉडल के साथ मूल रूप से अप्रयुक्त थी।

Day 26 (20 मई 2026) तक, MI355X ने 8K/1K वर्कलोड पर 2,256 tok/s/GPU at 9.4 tok/s/user हासिल किया — जो प्रति GPU थ्रूपुट में 110.5 गुना सुधार है, साथ ही इंटरैक्टिविटी में 3.85 गुना सुधार हुआ । यह एक दुर्लभ ऑप्टिमाइज़ेशन परिणाम है जहाँ दोनों अक्ष एक साथ बढ़ते हैं: आपको आमतौर पर एक ही हार्डवेयर से तेज़ प्रति-उपयोगकर्ता प्रतिक्रिया समय और उच्च कुल थ्रूपुट नहीं मिलता।

InferenceX पर तुलनीय इंटरैक्टिविटी बिंदुओं पर, Day-26 का MI355X लगभग 1,411 tok/s/GPU प्राप्त करता है, जो इसे कम इंटरैक्टिविटी सेटिंग्स पर Nvidia के B200 के समान प्रतिस्पर्धी स्तर पर रखता है । यह अभी भी Nvidia GB300 NVL72 (जो इष्टतम परिस्थितियों में 11,474 tok/s/GPU तक पहुँचता है) से पीछे है, लेकिन प्रक्षेपवक्र मायने रखता है: MI355X एक गैर-कार्यात्मक लॉन्च से एक व्यवहार्य इन्फ़रेंस SKU बन गया ।

43 दिनों की पूरी लीडरबोर्ड

प्रति-मिलियन-टोकन लागत आर्थिक कहानी बताती है। कम इंटरैक्टिविटी पर, GB300 NVL72 टोकन $0.064/M tok पर वितरित करता है — जो MI355X के $0.291/M tok से लगभग 4.5 गुना सस्ता है । उच्च इंटरैक्टिविटी (कम कंकरेंसी, उच्च प्रति-उपयोगकर्ता गति) पर, MI355X B200 के मुकाबले लागत-प्रतिस्पर्धी हो जाता है, दोनों 23–24 समवर्ती उपयोगकर्ताओं पर लगभग $1.22–$1.45/M tok पर मंडराते हैं ।

असली सक्षमकर्ता: DeepSeek V4 का हाइब्रिड अटेंशन आर्किटेक्चर

बेंचमार्क संख्याएँ नाटकीय हैं, लेकिन वे DeepSeek के मॉडल पक्ष पर आर्किटेक्चरल सफलता के बिना आर्थिक रूप से अर्थहीन होंगी। मानक Transformer अटेंशन कॉन्टेक्स्ट लंबाई के साथ द्विघात रूप से बढ़ता है। 1 मिलियन टोकन पर, कंप्यूट और मेमोरी की लागत किसी भी हार्डवेयर पर सर्विस को आर्थिक रूप से अव्यवहार्य बना देती है। DeepSeek V4 मानक अटेंशन को दो पूरक तंत्रों के संकर से बदलता है:

संपीड़ित विरल ध्यान (Compressed Sparse Attention - CSA) महीन दाने वाले स्तर पर काम करता है। यह ओवरलैपिंग विंडो के साथ डेटा-निर्भर वेटिंग का उपयोग करके लगभग 4 टोकन को एक सीखे गए KV एंट्री में समूहित करता है, फिर विरल चयन लागू करता है — प्रत्येक क्वेरी केवल सबसे प्रासंगिक संपीड़ित प्रविष्टियों के शीर्ष-k पर ध्यान देती है, जिसे लाइटनिंग इंडेक्सर नामक घटक द्वारा अनुक्रमित किया जाता है । स्थानीय सटीकता बनाए रखने के लिए एक स्लाइडिंग विंडो अटेंशन शाखा समानांतर चलती है ।

भारी संपीड़ित ध्यान (Heavily Compressed Attention - HCA) एक मोटा दांव लगाता है। यह 128 टोकन तक को एक KV एंट्री में संपीड़ित करता है और भारी संपीड़ित स्ट्रीम पर घने ध्यान लागू करता है । यह शून्य-सीमांत लागत पर व्यापक वैश्विक कवरेज के लिए पुनर्प्राप्ति सटीकता का व्यापार करता है। HCA प्रारंभिक परतों में एक सस्ता प्रासंगिक पैनोरमा प्रदान करने के लिए चलता है; अंतिम परत अधिकतम सटीकता के लिए पूर्ण ध्यान बनाए रखती है ।

1M टोकन पर DeepSeek V3.2 की तुलना में संयुक्त दक्षता लाभ चौंका देने वाले हैं:

• प्रति-टोकन इन्फ़रेंस FLOPs: V3.2 का 27% (73% की कमी)
• KV कैश मेमोरी: V3.2 का लगभग 10% (लगभग 90% की कमी)
• GQA bfloat16 बेसलाइन की तुलना में: लगभग 2% कैश फ़ुटप्रिंट

छोटे V4 Flash मॉडल के लिए, ये संख्याएँ और भी कम हो जाती हैं: FLOPs का 10% और KV कैश का 7% ।

CSA और HCA के बिना, 1M कॉन्टेक्स्ट पर 1.6-ट्रिलियन-पैरामीटर Pro मॉडल एक विज्ञान परियोजना होता — दिलचस्प लेकिन व्यावसायिक रूप से अप्राप्य। उनके साथ, यह एक उत्पाद है।

इसका क्या मतलब है

43-दिवसीय SemiAnalysis डेटा समानांतर रूप से तीन कहानियाँ बताता है। पहला, Nvidia का इकोसिस्टम लाभ संरचनात्मक रूप से बहुत बड़ा है: CUDA हर बार Day 0 पर काम करता है, और हार्डवेयर वास्तव में आगे है। दूसरा, Huawei ने सॉफ़्टवेयर तत्परता के अंतर को पूरी तरह से बंद कर दिया है — भू-राजनीतिक निहितार्थों के साथ एक ऐतिहासिक बदलाव जो अगली हार्डवेयर पीढ़ी में सामने आएगा। तीसरा, AMD का हार्डवेयर सक्षम है, लेकिन ROCm सॉफ़्टवेयर स्टैक अभी भी एक अड़चन है, जिसमें प्रत्येक नए फ्रंटियर मॉडल के लिए वीरतापूर्ण इंजीनियरिंग प्रयास की आवश्यकता होती है — 26 दिनों में 110.5 गुना सुधार प्रभावशाली है, लेकिन यह आवश्यक नहीं होना चाहिए।

बड़ी तस्वीर आर्किटेक्ट्स की है। DeepSeek का CSA + HCA हाइब्रिड अटेंशन न केवल दक्षता में सुधार करता है — यह मौलिक रूप से बदलता है कि सेवा के लिए व्यावसायिक रूप से क्या संभव है। जब सही हार्डवेयर पर मिलियन-टोकन कॉन्टेक्स्ट वाला 1.6-ट्रिलियन-पैरामीटर मॉडल प्रति मिलियन टोकन एकल अंकों में सेंट खर्च करता है, तो बातचीत "क्या हम यह कर सकते हैं?" से "हम इसके साथ क्या बनाएंगे?" में बदल जाती है।

Huawei ने कुछ ऐतिहासिक किया। Ascend 950DT + CANN फ्रेमवर्क ने Nvidia की तरह ही Day-0 फुल-स्टैक सपोर्ट दिया — यह पहली बार है जब किसी गैर-CUDA प्लेटफ़ॉर्म ने किसी फ्रंटियर-स्केल मॉडल के लिए लॉन्च-डे रेडिनेस में Nvidia को टक्कर दी । स्वतंत्र बेंचमार्क में शिपिंग Ascend 950PR ने FP4 कंप्यूट में H20 से 2.87 गुना तेज़ प्रदर्शन और MoE इन्फ़रेंस में RL रोलआउट में 1.96 गुना तक तेज़ी दिखाई । हालांकि, चीन की हार्डवेयर परफ़ॉर्मेंस अभी भी फैब्रिकेशन सीमाओं से बंधी है, इसलिए एब्सोल्यूट थ्रूपुट Nvidia के सबसे अच्छे प्रदर्शन से पीछे है।

AMD का लॉन्च सीधे तौर पर एक आपदा था। MI355X Day 0 पर केवल FP8 चला सका — देशी FP4+FP8 चेकपॉइंट बेकार था — और 8K/1K वर्कलोड पर सिर्फ 20.4 tok/s/GPU और 2.4 tok/s/user का प्रदर्शन दिया । ROCm स्टैक ऑप्टिमाइज़ नहीं था; वह सिर्फ़ एक प्लेसहोल्डर था।

AMD का 110.5x रिकवरी: सॉफ़्टवेयर की स्प्रिंट

इसके बाद जो हुआ वह हालिया AI इन्फ़्रास्ट्रक्चर मेमोरी में सबसे नाटकीय सॉफ़्टवेयर-संचालित परफ़ॉर्मेंस रिकवरी है। 26 दिनों में, HaiShaw के तकनीकी नेतृत्व में AMD SGLang इंजीनियरिंग टीम ने amd/deepseek_v4 साइड ब्रांच पर 31 परफ़ॉर्मेंस ऑप्टिमाइज़ेशन पुल रिक्वेस्ट मर्ज कीं । हर PR ने ROCm स्टैक की एक ऐसी लेयर को संबोधित किया जो इस स्केल के MoE मॉडल के साथ मूल रूप से अप्रयुक्त थी।

Day 26 (20 मई 2026) तक, MI355X ने 8K/1K वर्कलोड पर 2,256 tok/s/GPU at 9.4 tok/s/user हासिल किया — जो प्रति GPU थ्रूपुट में 110.5 गुना सुधार है, साथ ही इंटरैक्टिविटी में 3.85 गुना सुधार हुआ । यह एक दुर्लभ ऑप्टिमाइज़ेशन परिणाम है जहाँ दोनों अक्ष एक साथ बढ़ते हैं: आपको आमतौर पर एक ही हार्डवेयर से तेज़ प्रति-उपयोगकर्ता प्रतिक्रिया समय और उच्च कुल थ्रूपुट नहीं मिलता।

InferenceX पर तुलनीय इंटरैक्टिविटी बिंदुओं पर, Day-26 का MI355X लगभग 1,411 tok/s/GPU प्राप्त करता है, जो इसे कम इंटरैक्टिविटी सेटिंग्स पर Nvidia के B200 के समान प्रतिस्पर्धी स्तर पर रखता है । यह अभी भी Nvidia GB300 NVL72 (जो इष्टतम परिस्थितियों में 11,474 tok/s/GPU तक पहुँचता है) से पीछे है, लेकिन प्रक्षेपवक्र मायने रखता है: MI355X एक गैर-कार्यात्मक लॉन्च से एक व्यवहार्य इन्फ़रेंस SKU बन गया ।

43 दिनों की पूरी लीडरबोर्ड

प्रति-मिलियन-टोकन लागत आर्थिक कहानी बताती है। कम इंटरैक्टिविटी पर, GB300 NVL72 टोकन $0.064/M tok पर वितरित करता है — जो MI355X के $0.291/M tok से लगभग 4.5 गुना सस्ता है । उच्च इंटरैक्टिविटी (कम कंकरेंसी, उच्च प्रति-उपयोगकर्ता गति) पर, MI355X B200 के मुकाबले लागत-प्रतिस्पर्धी हो जाता है, दोनों 23–24 समवर्ती उपयोगकर्ताओं पर लगभग $1.22–$1.45/M tok पर मंडराते हैं ।

असली सक्षमकर्ता: DeepSeek V4 का हाइब्रिड अटेंशन आर्किटेक्चर

बेंचमार्क संख्याएँ नाटकीय हैं, लेकिन वे DeepSeek के मॉडल पक्ष पर आर्किटेक्चरल सफलता के बिना आर्थिक रूप से अर्थहीन होंगी। मानक Transformer अटेंशन कॉन्टेक्स्ट लंबाई के साथ द्विघात रूप से बढ़ता है। 1 मिलियन टोकन पर, कंप्यूट और मेमोरी की लागत किसी भी हार्डवेयर पर सर्विस को आर्थिक रूप से अव्यवहार्य बना देती है। DeepSeek V4 मानक अटेंशन को दो पूरक तंत्रों के संकर से बदलता है:

संपीड़ित विरल ध्यान (Compressed Sparse Attention - CSA) महीन दाने वाले स्तर पर काम करता है। यह ओवरलैपिंग विंडो के साथ डेटा-निर्भर वेटिंग का उपयोग करके लगभग 4 टोकन को एक सीखे गए KV एंट्री में समूहित करता है, फिर विरल चयन लागू करता है — प्रत्येक क्वेरी केवल सबसे प्रासंगिक संपीड़ित प्रविष्टियों के शीर्ष-k पर ध्यान देती है, जिसे लाइटनिंग इंडेक्सर नामक घटक द्वारा अनुक्रमित किया जाता है । स्थानीय सटीकता बनाए रखने के लिए एक स्लाइडिंग विंडो अटेंशन शाखा समानांतर चलती है ।

भारी संपीड़ित ध्यान (Heavily Compressed Attention - HCA) एक मोटा दांव लगाता है। यह 128 टोकन तक को एक KV एंट्री में संपीड़ित करता है और भारी संपीड़ित स्ट्रीम पर घने ध्यान लागू करता है । यह शून्य-सीमांत लागत पर व्यापक वैश्विक कवरेज के लिए पुनर्प्राप्ति सटीकता का व्यापार करता है। HCA प्रारंभिक परतों में एक सस्ता प्रासंगिक पैनोरमा प्रदान करने के लिए चलता है; अंतिम परत अधिकतम सटीकता के लिए पूर्ण ध्यान बनाए रखती है ।

1M टोकन पर DeepSeek V3.2 की तुलना में संयुक्त दक्षता लाभ चौंका देने वाले हैं:

• प्रति-टोकन इन्फ़रेंस FLOPs: V3.2 का 27% (73% की कमी)
• KV कैश मेमोरी: V3.2 का लगभग 10% (लगभग 90% की कमी)
• GQA bfloat16 बेसलाइन की तुलना में: लगभग 2% कैश फ़ुटप्रिंट

छोटे V4 Flash मॉडल के लिए, ये संख्याएँ और भी कम हो जाती हैं: FLOPs का 10% और KV कैश का 7% ।

CSA और HCA के बिना, 1M कॉन्टेक्स्ट पर 1.6-ट्रिलियन-पैरामीटर Pro मॉडल एक विज्ञान परियोजना होता — दिलचस्प लेकिन व्यावसायिक रूप से अप्राप्य। उनके साथ, यह एक उत्पाद है।

इसका क्या मतलब है

43-दिवसीय SemiAnalysis डेटा समानांतर रूप से तीन कहानियाँ बताता है। पहला, Nvidia का इकोसिस्टम लाभ संरचनात्मक रूप से बहुत बड़ा है: CUDA हर बार Day 0 पर काम करता है, और हार्डवेयर वास्तव में आगे है। दूसरा, Huawei ने सॉफ़्टवेयर तत्परता के अंतर को पूरी तरह से बंद कर दिया है — भू-राजनीतिक निहितार्थों के साथ एक ऐतिहासिक बदलाव जो अगली हार्डवेयर पीढ़ी में सामने आएगा। तीसरा, AMD का हार्डवेयर सक्षम है, लेकिन ROCm सॉफ़्टवेयर स्टैक अभी भी एक अड़चन है, जिसमें प्रत्येक नए फ्रंटियर मॉडल के लिए वीरतापूर्ण इंजीनियरिंग प्रयास की आवश्यकता होती है — 26 दिनों में 110.5 गुना सुधार प्रभावशाली है, लेकिन यह आवश्यक नहीं होना चाहिए।

बड़ी तस्वीर आर्किटेक्ट्स की है। DeepSeek का CSA + HCA हाइब्रिड अटेंशन न केवल दक्षता में सुधार करता है — यह मौलिक रूप से बदलता है कि सेवा के लिए व्यावसायिक रूप से क्या संभव है। जब सही हार्डवेयर पर मिलियन-टोकन कॉन्टेक्स्ट वाला 1.6-ट्रिलियन-पैरामीटर मॉडल प्रति मिलियन टोकन एकल अंकों में सेंट खर्च करता है, तो बातचीत "क्या हम यह कर सकते हैं?" से "हम इसके साथ क्या बनाएंगे?" में बदल जाती है।