उत्तरप्रकाशित2 घंटे पहलेLast edited 2 घंटे पहले15 स्रोत

Megatron-MUSA-Titan क्या कर सकता है—और किन दावों की पुष्टि अभी बाकी है?

Megatron MUSA Titan, Moore Threads के MUSA GPU पर बड़े मॉडल की प्रीट्रेनिंग और रीइन्फोर्समेंट लर्निंग के लिए Megatron LM पर आधारित स्टैक है। यह 1T+ पैरामीटर मॉडल और 10,000 से अधिक GPU वाले क्लस्टर को लक्ष्य करता है। GitHub रिपॉज़िटरी में Kimi K2 के लिए 1T केंद्रित प्रीट्रेनिंग लॉन्चर है। इससे उदाहरण कॉन्फ़िगरेशन का...

प्रकाशितकर्ताGPT-6 Luna से संपादितGPT Image 2 से चित्र बनाए गए

Studio Global AI के साथ खोजें और तथ्यों की जांच करें और ट्रेंडिंग पेज देखें

शोध उत्तर

मुख्य निष्कर्ष

Megatron MUSA Titan, Moore Threads के MUSA GPU पर बड़े मॉडल की प्रीट्रेनिंग और रीइन्फोर्समेंट लर्निंग के लिए Megatron LM पर आधारित स्टैक है। यह 1T+ पैरामीटर मॉडल और 10,000 से अधिक GPU वाले क्लस्टर को लक्ष्य करता है।
GitHub रिपॉज़िटरी में Kimi K2 के लिए 1T केंद्रित प्रीट्रेनिंग लॉन्चर है। इससे उदाहरण कॉन्फ़िगरेशन का पता चलता है, लेकिन यह साबित नहीं होता कि स्क्रिप्ट ने उत्पादन परिवेश में सफल रन पूरा किया।
रिपोर्टों में blockwise FP8 और slime/miles RL सपोर्ट का उल्लेख है। उपलब्ध सामग्री संचार, मेमोरी, डायग्नोस्टिक्स या बिना बदलाव के कोड चलने से जुड़े विस्तृत दावों की पुष्टि नहीं करती।

Illustrative AI-generated image representing large-scale AI model training on Moore Threads GPUs — What did Moore Threads announce with its October 29, 2026 open-source release of Megatron-MUSA-Titan on GitHub, and how does the stack suppoIllustrative AI-generated artwork; not a photograph of Moore Threads hardware.
AI संकेत
Create a landscape editorial hero image for this Studio Global article: What did Moore Threads announce with its October 29, 2026 open-source release of Megatron-MUSA-Titan on GitHub, and how does the stack suppo. Article summary: Moore Threads announced the open-source release of Megatron-MUSA-Titan, a Megatron-LM-based stack targeting pretraining and reinforcement learning for models with 1 trillion-plus parameters on clusters of more than 10,00. Topic tags: general, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
openai.com

Moore Threads का Megatron-MUSA-Titan, कंपनी के MUSA GPU पर बड़े AI मॉडल की प्रीट्रेनिंग और रीइन्फोर्समेंट लर्निंग के लिए बनाया गया ओपन-सोर्स ट्रेनिंग स्टैक है। यह Megatron-LM पर आधारित है और 1 ट्रिलियन से अधिक पैरामीटर वाले मॉडल तथा 10,000 से ज्यादा Moore Threads GPU वाले क्लस्टर को लक्ष्य करता है। पैमाना बड़ा है, लेकिन परियोजना के दावों में कुछ बातें उपलब्ध स्रोतों से साफ़ तौर पर समर्थित हैं, जबकि कुछ के लिए पर्याप्त विवरण नहीं मिलता। 2 13

परियोजना के मुताबिक इसमें क्या है

GitHub रिपॉज़िटरी Megatron-MUSA-Titan को प्रीट्रेनिंग और रीइन्फोर्समेंट लर्निंग—दोनों के लिए इंफ्रास्ट्रक्चर बताती है। इसके अनुसार, स्टैक Megatron-LM के परिचित इकोसिस्टम के करीब रहते हुए MUSA के लिए विशेष ऑप्टिमाइज़ेशन जोड़ता है। इसका घोषित लक्ष्य 1T+ पैरामीटर मॉडल को 10,000 से अधिक Moore Threads GPU वाले क्लस्टर पर ट्रेन करना है। 13

रिपॉज़िटरी यह भी कहती है कि 1T MoE प्रीट्रेनिंग के दौरान ट्रेनिंग स्थिर रही और Model FLOPs Utilization (MFU) ऊंचा हासिल हुआ। लेकिन उपलब्ध अंश में MFU का कोई संख्यात्मक आंकड़ा या दूसरे सिस्टम से तुलना नहीं दी गई है। इसलिए इन दावों से प्रदर्शन का परिमाण तय नहीं किया जा सकता। 13

ओपन-सोर्स रिलीज़ पर आई रिपोर्टें blockwise FP8 और slime तथा miles रीइन्फोर्समेंट-लर्निंग फ्रेमवर्क के सपोर्ट का भी उल्लेख करती हैं। ये रिपोर्टेड क्षमताएं हैं; उपलब्ध रिपोर्टिंग यह स्वतंत्र रूप से नहीं दिखाती कि बताई गई क्लस्टर क्षमता पर इनका प्रदर्शन कैसा रहा। 4 11

1T मॉडल के लिए एक उदाहरण स्क्रिप्ट

रिपॉज़िटरी में Kimi-K2 प्रीट्रेनिंग के लिए pretrain_kimi_1000B.sh नाम की लॉन्चर स्क्रिप्ट है। इसके निर्देशों में क्लस्टर के हिसाब से environment variables सेट करने और चाहें तो बाहरी TransformerEngine इंस्टॉलेशन शुरू करने की बात शामिल है। यह 1T-केंद्रित कॉन्फ़िगरेशन का ठोस उदाहरण है, लेकिन सिर्फ़ स्क्रिप्ट मौजूद होने से यह साबित नहीं होता कि कोई खास कॉन्फ़िगरेशन उत्पादन में सफलतापूर्वक चला। 17

किन बातों की पुष्टि नहीं होती

उपलब्ध स्रोत कुछ ज्यादा विशिष्ट तकनीकी दावों की पुष्टि नहीं करते। इनमें expert communication को overlap करने के लिए Async Copy Engine पर DeepEP का इस्तेमाल; activation offloading को virtual pipeline parallelism और one-forward-one-backward schedule के साथ जोड़ना; और Mooncake RDMA से pipeline communication का overlap करना शामिल है।

इसी तरह, प्रति-GPU PyTorch traces का विश्लेषण करके कुछ ही घंटों में pipeline bubbles या धीमे GPU की पहचान करने के दावे का भी यहां पर्याप्त आधार नहीं मिलता। उपलब्ध सामग्री यह भी स्थापित नहीं करती कि बिना बदलाव वाला Megatron-LM, slime और miles कोड MUSA परिवेश में सीधे चल जाएगा, या RL में Megatron ट्रेनिंग और MUSA-सक्षम SGLang rollouts के बीच काम का सटीक बंटवारा क्या है।

ये जानकारी की कमी है—इसका मतलब यह नहीं कि ऐसी सुविधाएं मौजूद ही नहीं हैं।

डेवलपर्स के लिए इसका मतलब

Megatron-MUSA-Titan को Megatron-LM इकोसिस्टम पर बना, MUSA-केंद्रित कार्यान्वयन समझना सबसे ठीक है। इसे इस गारंटी की तरह नहीं लेना चाहिए कि मौजूदा CUDA ट्रेनिंग कोड बिना किसी बदलाव के चलने लगेगा। परियोजना upstream इकोसिस्टम के करीब रहने की बात करती है, लेकिन उपलब्ध सामग्री शून्य-बदलाव वाली पोर्टेबिलिटी की पुष्टि नहीं करती। 13

माइग्रेशन पर विचार कर रही टीमों के लिए बेहतर शुरुआत एक छोटे रन से होगी। इस्तेमाल हो रहे सॉफ्टवेयर संस्करण, कस्टम kernels, distributed communication, संख्यात्मक व्यवहार, checkpoint compatibility और RL integrations की जांच करें। उत्पादन में स्थिरता और ऊंचे MFU के दावों को फिलहाल परियोजना द्वारा बताए गए नतीजे मानें—जब तक दोहराए जा सकने वाले माप उपलब्ध न हों। अभी के सबूत स्टैक का घोषित दायरा और एक उदाहरण लॉन्चर दिखाते हैं, लेकिन हर कार्यान्वयन-विवरण या कोई संख्यात्मक प्रदर्शन परिणाम नहीं।

Studio Global AI

अपना शोध जारी रखें

इस पृष्ठ में एक स्रोत-समर्थित उत्तर शामिल है जिसे आप Studio Global के अंदर जारी रख सकते हैं।

Studio Global AI के साथ खोजें और तथ्यों की जांच करें

लोग पूछते भी हैं