1,024 चिप, 400 PFLOPS और ₹? नहीं—¥10 से कम प्रति 10 लाख टोकन का दावा: हांगझोउ TPU क्लस्टर कितना अहम है

हांगझोउ में तैनात यह क्लस्टर केवल 1,024 चिपों की संख्या के कारण महत्वपूर्ण नहीं है। इसकी अहमियत इस बात में है कि चिपों के आसपास पूरा AI-कंप्यूटिंग ढांचा जोड़ा गया है। चीन टेलीकॉम की हांगझोउ शाखा, ZTE और झोंगहाओ शिनयिंग ने पहली पीढ़ी के Chana TPU, Taize कंप्यूटिंग प्लेटफॉर्म, सर्वर, क्लस्टर नेटवर्किंग और शेड्यूलिंग को मिलाकर 400 PFLOPS की प्रणाली बनाई है। इसका उपयोग बड़े मॉडलों की ट्रेनिंग, AI इन्फरेंस और वैज्ञानिक कंप्यूटिंग के लिए होना है। इसे चीन टेलीकॉम प्रणाली में बड़े पैमाने पर घरेलू TPU क्लस्टर की पहली तैनाती और पूर्वी चीन का पहला घरेलू TPU हजार-कार्ड क्लस्टर बताया गया है। 1720

पहले चरण में क्या लगाया गया है?

परियोजना के पहले चरण में Taize प्लेटफॉर्म पर 1,024 Chana TPU लगाए गए हैं। साझेदारों के अनुसार, एक्सेलेरेटर, सर्वर हार्डवेयर, क्लस्टर नेटवर्क और कंप्यूट शेड्यूलिंग—इन सभी स्तरों पर यह घरेलू रूप से निर्मित स्टैक है। 1718

यह अंतर अहम है, क्योंकि बड़ा AI क्लस्टर केवल एक्सेलेरेटरों से भरी रैक नहीं होता। वास्तविक उपयोगी प्रदर्शन इस पर निर्भर करता है कि सर्वर, नेटवर्क फैब्रिक, मॉडल सॉफ्टवेयर और शेड्यूलर एक-दूसरे के साथ कितने अच्छे ढंग से काम करते हैं। परियोजना का घोषित लक्ष्य TPU को केवल चिप-डेमो न रखकर संचालित की जा सकने वाली कंप्यूटिंग सेवा बनाना है। 18

लागत घटाने के दावे में Prefill-Decode अलगाव की भूमिका

बड़े भाषा मॉडल के इन्फरेंस में आम तौर पर दो अलग चरण होते हैं:

• प्रीफिल (Prefill): उपयोगकर्ता के प्रॉम्प्ट को संसाधित कर मॉडल के कामकाजी संदर्भ को बनाना।
• डिकोड (Decode): उत्तर के टोकन को एक-एक करके तैयार करना।

दोनों चरणों की कंप्यूट, मेमोरी और शेड्यूलिंग जरूरतें अलग होती हैं। इन्हें अलग करने पर प्लेटफॉर्म प्रॉम्प्ट प्रोसेसिंग और टोकन जनरेशन के लिए क्षमता को स्वतंत्र रूप से आवंटित व शेड्यूल कर सकता है, बजाय इसके कि दोनों काम एक ही डिवाइस-पूल और एक ही शेड्यूल पर चलें। उत्पादन स्तर पर इसके लिए क्लस्टर ऑर्केस्ट्रेशन और नेटवर्क कॉन्फ़िगरेशन भी जरूरी होते हैं, जैसा कि Prefill-Decode अलग SGLang सेवाओं के डिप्लॉयमेंट निर्देशों में दिखता है। 2

हांगझोउ टेलीकॉम ने कहा कि मॉडल संस्करण, ऑपरेटर, सर्वर कॉन्फ़िगरेशन, नेटवर्क बैंडविड्थ और शेड्यूलिंग समेत सॉफ्टवेयर-हार्डवेयर ट्यूनिंग के कई महीनों के बाद क्लस्टर की टोकन-आउटपुट दक्षता साल की शुरुआत के मुकाबले 10 गुना से अधिक बढ़ी। उसके अनुसार, प्रति 10 लाख टोकन लागत लगभग ¥100 से घटकर ¥10 से नीचे आ गई। 911

हालांकि, इन आंकड़ों को ऑपरेटर द्वारा बताए गए तैनाती परिणाम के रूप में पढ़ना चाहिए, न कि हर TPU प्लेटफॉर्म पर लागू होने वाले सार्वभौमिक बेंचमार्क के रूप में। उपलब्ध रिपोर्टों में मॉडल मिश्रण, प्रिसिजन, बैच आकार, ट्रैफिक पैटर्न, उपयोग दर या लागत-गणना पद्धति का खुलासा नहीं किया गया है। इसलिए इन बचत दावों को स्वतंत्र रूप से दोहराना या अन्य इन्फरेंस प्लेटफॉर्म से निष्पक्ष तुलना करना संभव नहीं है।

तीन साझेदारों वाला मॉडल क्यों मायने रखता है?

यह क्लस्टर उन क्षमताओं को एक साथ लाता है जिनका मूल्यांकन अक्सर अलग-अलग किया जाता है:

• झोंगहाओ शिनयिंग ने Chana TPU और Taize प्लेटफॉर्म उपलब्ध कराया है। रिपोर्टों के अनुसार, Chana में स्व-विकसित IP कोर, इंस्ट्रक्शन सेट और कंप्यूटिंग प्लेटफॉर्म है। 1819
• ZTE संचार नेटवर्क, सर्वर इंटीग्रेशन और क्लस्टर इंफ्रास्ट्रक्चर से जुड़े संयुक्त निर्माण का हिस्सा है। 18
• चीन टेलीकॉम हांगझोउ बड़े पैमाने पर कंप्यूटिंग क्षमता की सेवा-डिलीवरी और संचालन का वातावरण उपलब्ध कराता है।

घरेलू AI चिप के लिए दूरसंचार ऑपरेटर जैसा वातावरण उपयोगी है, क्योंकि यहां केवल चिप की पीक स्पेसिफिकेशन नहीं, बल्कि सेवा की वास्तविक डिलीवरी परख में आती है। शेड्यूलिंग, मॉडल अनुकूलन, नेटवर्क व्यवहार और निरंतर संचालन—ये सब तय करते हैं कि ग्राहकों को स्थिर इन्फरेंस क्षमता मिलती है या नहीं। परियोजना की वास्तुकला में कंप्यूट संसाधन, शेड्यूलिंग, मॉडल अनुकूलन, संचालन प्रबंधन और उद्योग-आधारित एप्लिकेशन शामिल हैं। 18

TPU की संभावना, और उससे भी कठिन सॉफ्टवेयर चुनौती

TPU, यानी टेंसर प्रोसेसिंग यूनिट, AI के लिए तैयार किया गया टेंसर-केंद्रित एक्सेलेरेटर है। बड़े मॉडल की ट्रेनिंग और इन्फरेंस में प्रमुख मैट्रिक्स-आधारित कार्यों को कुशलता से चलाना इसका मुख्य उद्देश्य है। लेकिन क्लस्टर स्तर पर प्रदर्शन केवल FLOPS से तय नहीं होता; इंटरकनेक्ट, मेमोरी व्यवहार, सामूहिक संचार, शेड्यूलिंग, विश्वसनीयता और मॉडल-सॉफ्टवेयर संगतता भी उतने ही महत्वपूर्ण हैं।

इसीलिए घरेलू विकल्प के लिए सिर्फ यह दिखा देना काफी नहीं कि सिलिकॉन काम करता है। मॉडल, इन्फरेंस इंजन, ऑपरेटर, क्वांटाइज़ेशन तरीके और ग्राहक वर्कफ़्लो को इस नए स्टैक पर भरोसेमंद ढंग से चलना होगा। उपलब्ध रिपोर्टें हांगझोउ तैनाती और उसके विस्तार योजना की पुष्टि करती हैं, लेकिन वे यह स्थापित नहीं करतीं कि यह मुख्यधारा के GPU सॉफ्टवेयर इकोसिस्टम के बराबर, विभिन्न मॉडलों और फ्रेमवर्कों में व्यापक संगतता हासिल कर चुका है।

दूसरा चरण: Xuyu और 10,000 PFLOPS से अधिक का लक्ष्य

साझेदार दूसरे चरण में झोंगहाओ शिनयिंग के दूसरी पीढ़ी के Xuyu TPU का उपयोग करने की योजना बना रहे हैं। इस चरण के बाद कुल नियोजित कंप्यूट क्षमता 10,000 PFLOPS से अधिक होने का लक्ष्य है। 1719

कंपनी के मुताबिक Xuyu में मिश्रित-प्रिसिजन फ्लोटिंग-पॉइंट प्रदर्शन 896 TFLOPS, 8-बिट इन्फरेंस क्षमता 1,792 TOPS और रेटेड बिजली खपत 600 W है। कंपनी का यह भी दावा है कि Xuyu, Chana की तुलना में लगभग तीन गुना प्रदर्शन देता है और समान प्रदर्शन वाले पारंपरिक चिपों की तुलना में 50% कम बिजली इस्तेमाल करता है। ये कंपनी द्वारा बताए गए विनिर्देश हैं। 1920

कंपनी की सार्वजनिक प्रस्तुति के अनुसार, Xuyu को ऐसे सुपरनोड के लिए डिजाइन किया गया है जिसमें ऑल-ऑप्टिकल इंटरकनेक्ट से अधिकतम 2,048 चिपों को जोड़ा जा सके। 20

हांगझोउ क्लस्टर ने वास्तव में क्या दिखाया?

इस परियोजना ने चिप से लेकर प्लेटफॉर्म तक एक घरेलू AI-कंप्यूटिंग स्टैक बनाने का प्रयास दिखाया है—एक्सेलेरेटर, इंस्ट्रक्शन सेट, सर्वर, नेटवर्किंग, शेड्यूलिंग और सेवा-संचालन तक। 1819

इसकी सबसे महत्वपूर्ण अगली परीक्षा यह होगी कि क्या यह स्टैक विविध उत्पादन वर्कलोड पर संगत सॉफ्टवेयर, अनुमानित प्रदर्शन और पारदर्शी लागत के साथ लगातार काम कर सकता है। 400 PFLOPS की तैनाती और Xuyu-आधारित विस्तार योजना की व्यापक रिपोर्टिंग हुई है। मगर 10 गुना से अधिक टोकन-दक्षता और प्रति 10 लाख टोकन ¥10 से कम लागत जैसे आकर्षक आंकड़े अभी ऑपरेटर और परियोजना साझेदारों के दावे हैं—जब तक बेंचमार्क पद्धति और वर्कलोड का विस्तृत ब्योरा सार्वजनिक नहीं होता। 911