Nvidia और d-Matrix कम-लेटेंसी AI इन्फरेंस को कैसे तेज़ करना चाहते हैं

जेनरेटिव AI सेवाओं में अब केवल उत्तर की गुणवत्ता नहीं, बल्कि यह भी अहम है कि जवाब शुरू होने और आगे के शब्द आते रहने में कितना समय लगता है। Nvidia और d-Matrix की सितंबर 2026 की साझेदारी इसी समस्या को लक्ष्य करती है। योजना है कि d-Matrix के आने वाले Raptor इन्फरेंस XPU को सीधे Nvidia-डिज़ाइन की AI इन्फ्रास्ट्रक्चर में जोड़ा जाए, ताकि एक रैक में LLM अनुरोध के अलग-अलग हिस्से उस प्रोसेसर को दिए जा सकें जो उन्हें बेहतर ढंग से संभालता है। 134

मुख्य बात यह है कि Raptor को Nvidia GPU की जगह लेने वाले उत्पाद के रूप में पेश नहीं किया गया है। प्रस्तावित व्यवस्था एक हेटेरोजीनियस सिस्टम है: GPU कंप्यूट-इंटेंसिव प्रीफिल चरण संभालेंगे, जबकि d-Matrix के एक्सेलरेटर आउटपुट टोकन एक-एक करके बनाने वाले, बार-बार दोहराए जाने वाले और लेटेंसी-संवेदनशील डिकोड चरण पर केंद्रित होंगे। 45

प्रीफिल और डिकोड को अलग करने से प्रतिक्रिया तेज़ क्यों हो सकती है

एक LLM अनुरोध में प्रदर्शन की जरूरतें अलग-अलग होती हैं। प्रीफिल चरण में मॉडल प्रॉम्प्ट और संदर्भ को प्रोसेस करता है; डिकोड चरण में वह अगला टोकन बार-बार बनाता है। d-Matrix अपने मौजूदा Corsair उत्पाद समेत अपनी इन्फरेंस आर्किटेक्चर को डिकोड कार्य के लिए रखता है, जबकि GPU को वह कंप्यूट-इंटेंसिव वर्कलोड के लिए उपयुक्त बताता है। 26

यह विभाजन उन इंटरैक्टिव सेवाओं में खास उपयोगी हो सकता है जहां अगले टोकन तक पहुंचने का समय मायने रखता है—जैसे कोडिंग असिस्टेंट, चैट ऐप और वॉइस अनुभव। प्रस्तावित Raptor प्लेटफॉर्म का लक्ष्य d-Matrix के शब्दों में प्रीमियम, अत्यंत कम-लेटेंसी वाली टोकन सेवाएं हैं। 48

हालांकि, दोनों चरणों को अलग करने से सिस्टम-स्तरीय चुनौती भी आती है: प्रोसेसरों के बीच डेटा इतनी तेजी से जाना चाहिए कि संचार की देरी विशेषज्ञ हार्डवेयर से मिलने वाले लाभ को खत्म न कर दे। साझेदारी में चुनी गई इन्फ्रास्ट्रक्चर तकनीकों का उद्देश्य इसी बाधा को कम करना है।

NVLink Fusion, MGX और Spectrum-X की भूमिका

Raptor को Nvidia के NVLink Fusion के जरिये NVLink के स्केल-अप डोमेन से जोड़ने की योजना है, जबकि Spectrum-X सिस्टमों के बीच स्केल-आउट नेटवर्किंग देगा। Nvidia के अनुसार, इससे d-Matrix के कस्टम सिलिकॉन को उसके व्यापक AI इन्फ्रास्ट्रक्चर प्लेटफॉर्म से जुड़ने का मार्ग मिलता है। 3

योजनाबद्ध d-Matrix रैक Nvidia के MGX रेफरेंस आर्किटेक्चर पर आधारित होगा। इसमें Nvidia Vera CPU, NVLink स्विच, BlueField-4 DPU, ConnectX-9 SuperNIC और Spectrum-X Ethernet शामिल होने की उम्मीद है। 48

d-Matrix के लिए अहम लाभ केवल इंटरकनेक्ट नहीं है। नए प्रोसेसर के आसपास सर्वर, नेटवर्क, पावर, कूलिंग और सप्लाई-चेन के हर हिस्से को अलग से जांचने और मान्य करने के बजाय कंपनी एक पहले से वैलिडेटेड रैक इकोसिस्टम के अनुरूप निर्माण कर सकती है। Nvidia, MGX और अपने व्यापक प्लेटफॉर्म को कस्टम सिलिकॉन से बड़े पैमाने की तैनाती तक पहुंचने का तेज़ और कम-जोखिम मार्ग बताता है। 3

व्यावहारिक रूप से, लक्ष्य Raptor को एक अलग इन्फरेंस उपकरण की बजाय Nvidia-शैली की AI फैक्टरी के हिस्से के रूप में तैनात करने का है।

Raptor का नियोजित पैमाना: मेमोरी और बैंडविड्थ पर दांव

d-Matrix ने Raptor के लिए महत्वाकांक्षी रैक-स्तरीय विन्यास बताया है: प्रति रैक अधिकतम 144 XPU, 2.3 TB की 3D-स्टैक्ड DRAM और 7.2 PB/s की कुल मेमोरी बैंडविड्थ। कंपनी का कहना है कि डिजाइन 4-बिट प्रिसिजन पर चार ट्रिलियन से अधिक पैरामीटर वाले मॉडलों को समर्थन देने के लिए है। ये योजनाबद्ध विनिर्देश हैं, न कि स्वतंत्र रूप से सत्यापित, बाजार में उपलब्ध उत्पाद के नतीजे। 4

यह आर्किटेक्चर d-Matrix के उस विचार को दिखाता है कि LLM डिकोड में मेमोरी को स्थानांतरित करने की लागत और उपलब्ध बैंडविड्थ बहुत महत्वपूर्ण हैं। Raptor के प्रस्तावित 3D पैकेज में DRAM मेमोरी चिप और SRAM कंप्यूट चिप को मिलाया गया है, जो कंपनी के मेमोरी-केंद्रित दृष्टिकोण का विस्तार है। 4

d-Matrix के अनुसार Raptor का टेप-आउट 2026 के अंत तक अपेक्षित है और MGX रैक में इसकी शुरुआती उपलब्धता 2027 की चौथी तिमाही में होने की उम्मीद है। यानी ग्राहक वास्तविक प्रदर्शन का आकलन कर सकें, उससे पहले टेप-आउट, निर्माण, पैकेजिंग, सिस्टम वैलिडेशन और रैक-स्तरीय तैनाती जैसे कई चरण सफल होने बाकी हैं। 48

Nvidia तीसरे पक्ष के एक्सेलरेटर के लिए प्लेटफॉर्म क्यों खोल रहा है

इस सहयोग में Nvidia की भूमिका रणनीतिक रूप से उल्लेखनीय है। कंपनी एक बाहरी, विशेषीकृत XPU को अपनी रैक आर्किटेक्चर और नेटवर्किंग फैब्रिक में जुड़ने दे रही है; हर इन्फरेंस चरण को Nvidia GPU पर चलाना अनिवार्य नहीं कर रही।

Nvidia अपने AI प्लेटफॉर्म को “वर्टिकली इंटीग्रेटेड और हॉरिजॉन्टली ओपन” बताता है। यानी वह अपने स्केल-अप फैब्रिक, स्केल-आउट नेटवर्किंग, रैक डिजाइन और इकोसिस्टम का मूल्य बनाए रखते हुए अन्य प्रोसेसरों को भी भाग लेने दे सकता है। 3

इससे प्लेटफॉर्म के लिए संबोधित किए जा सकने वाले वर्कलोड बढ़ते हैं। डिकोड-केंद्रित एक्सेलरेटर चाहने वाले ग्राहक Nvidia-संगत इन्फ्रास्ट्रक्चर में बने रह सकते हैं, यदि वह एक्सेलरेटर NVLink Fusion, MGX और Spectrum-X का उपयोग कर सके। इसे GPU से पीछे हटने की जगह नियंत्रित पूरकता के रूप में देखना अधिक उचित है: व्यापक प्रशिक्षण, इन्फरेंस और कंप्यूट-भारी प्रीफिल के लिए Nvidia GPU केंद्रीय बने रहते हैं, जबकि विशेष डिवाइस को डिकोड के लिए रखा जाता है। 145

Corsair और फंडिंग से व्यावसायिक रणनीति का संकेत

Raptor से पहले d-Matrix का Corsair इन्फरेंस एक्सेलरेटर आ चुका है। कंपनी कहती है कि Corsair डिसएग्रीगेटेड इन्फरेंस में डिकोड चरण के लिए बनाया गया है और GPU को बदलने के बजाय उनके साथ काम करता है। 26

d-Matrix ने Corsair-आधारित हाइब्रिड सिस्टमों की गति, लागत और ऊर्जा दक्षता को लेकर दावे प्रकाशित किए हैं, लेकिन स्वतंत्र रूप से दोहराए जा सकने वाले बेंचमार्क विवरण उपलब्ध न होने तक इन्हें कंपनी के दावों के रूप में ही देखना चाहिए। इस घोषणा से जुड़े साक्ष्य अलग-अलग मॉडल, बैच आकार या तैनाती विन्यासों में सार्वभौमिक प्रदर्शन लाभ साबित नहीं करते। 2528

कंपनी ने 2 अरब डॉलर के रिपोर्टेड मूल्यांकन पर 27.5 करोड़ डॉलर की Series C फंडिंग जुटाई और उसका रिपोर्टेड कुल फंडिंग आंकड़ा 45 करोड़ डॉलर तक पहुंच गया। इस राउंड में Microsoft की वेंचर फंड M12 समेत अन्य निवेशक शामिल थे। 2130 Reuters ने यह भी रिपोर्ट किया कि Microsoft ने 2023 के एक फंडिंग राउंड में d-Matrix का समर्थन किया था और कंपनी ने नवंबर 2024 में अपनी पहली AI चिप भेजी थी। 1

ये पड़ाव बताते हैं कि d-Matrix एकल-उत्पाद इन्फरेंस प्रस्ताव से आगे बढ़कर बड़े रैक-स्तरीय रोडमैप की ओर बढ़ रही है। Nvidia इंटीग्रेशन उन ग्राहकों के लिए इस बदलाव को अधिक विश्वसनीय बना सकता है जो पहले से Nvidia-आधारित इन्फ्रास्ट्रक्चर खरीदते या चलाते हैं।

क्या अब भी स्पष्ट नहीं है

Nvidia समझौते की वित्तीय शर्तों का खुलासा नहीं किया गया है। 1 इसलिए सार्वजनिक घोषणा से यह तय नहीं किया जा सकता कि इसमें लाइसेंस शुल्क, संयुक्त इंजीनियरिंग प्रतिबद्धताएं, बड़ी मात्रा में खरीद, राजस्व-साझाकरण या Nvidia का निवेश शामिल है या नहीं।

बड़ी तस्वीर, व्यावसायिक बारीकियों से अधिक स्पष्ट है: दोनों कंपनियां ऐसे इन्फरेंस बाजार की तैयारी कर रही हैं जहां LLM अनुरोध का हर चरण एक ही प्रकार के प्रोसेसर को नहीं चलाना होगा। d-Matrix को Nvidia-संगत AI फैक्टरियों तक पहुंच का रास्ता मिलता है; Nvidia को विशेष डिकोड विकल्प मिलता है, जिसे उसकी नेटवर्किंग और रैक प्लेटफॉर्म के साथ जोड़ा जा सकता है। यह रणनीति बड़े पैमाने पर कम लेटेंसी या बेहतर अर्थशास्त्र दे पाएगी या नहीं, यह Raptor हार्डवेयर, सॉफ्टवेयर ऑर्केस्ट्रेशन और 2027 की योजनाबद्ध उपलब्धता के बाद ग्राहक बेंचमार्क पर निर्भर करेगा। 348