คำตอบเผยแพร่แล้ว15 แหล่งที่มา
Moore Threads เปิดซอร์ส Megatron-MUSA-Titan: สแต็กฝึกโมเดลใหญ่ที่ยังต้องรอตัวเลขยืนยัน
Megatron MUSA Titan สร้างบนระบบนิเวศ Megatron LM สำหรับ pretraining และ reinforcement learning บน GPU MUSA โดยตั้งเป้ารองรับโมเดล 1T+ และคลัสเตอร์ Moore Threads มากกว่า 10,000 GPU ใน GitHub มีสคริปต์ pretraining สำหรับ Kimi K2 ระดับ 1T แต่การมีตัวอย่างสคริปต์ไม่ได้ยืนยันว่าการตั้งค่านั้นผ่านการรันจริงในระบบ producti...
เผยแพร่โดยแก้ไขด้วย GPT-6 Lunaรูปภาพสร้างด้วย GPT Image 2
คำตอบการวิจัย
ประเด็นสำคัญ
- Megatron MUSA Titan สร้างบนระบบนิเวศ Megatron LM สำหรับ pretraining และ reinforcement learning บน GPU MUSA โดยตั้งเป้ารองรับโมเดล 1T+ และคลัสเตอร์ Moore Threads มากกว่า 10,000 GPU
- ใน GitHub มีสคริปต์ pretraining สำหรับ Kimi K2 ระดับ 1T แต่การมีตัวอย่างสคริปต์ไม่ได้ยืนยันว่าการตั้งค่านั้นผ่านการรันจริงในระบบ production
- มีรายงานถึง blockwise FP8 และการรองรับ slime/miles แต่ข้อมูลที่มีไม่ยืนยันตัวเลข MFU หรือรายละเอียดกลไกสื่อสาร หน่วยความจำ และความเข้ากันได้แบบไม่ต้องแก้โค้ด
AI พรอมต์
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Moore Threads announce with its October 29, 2026 open-source release of Megatron-MUSA-Titan on GitHub, and how does the stack suppo. Article summary: Moore Threads announced the open-source release of Megatron-MUSA-Titan, a Megatron-LM-based stack targeting pretraining and reinforcement learning for models with 1 trillion-plus parameters on clusters of more than 10,00. Topic tags: general, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
Megatron-MUSA-Titan คือสแต็กโอเพนซอร์สสำหรับฝึกโมเดลขนาดใหญ่บน GPU ตระกูล MUSA ของ Moore Threads โดยต่อยอดจาก Megatron-LM และครอบคลุมทั้งการฝึกล่วงหน้า (pretraining) กับการเรียนรู้แบบเสริมกำลัง (reinforcement learning) โครงการตั้งเป้ารองรับโมเดลที่มีพารามิเตอร์มากกว่า 1 ล้านล้านตัว และคลัสเตอร์ที่มี GPU ของ Moore Threads มากกว่า 10,000 ตัว 2
13
เป้าหมายระดับนี้สะดุดตา แต่สิ่งที่ยืนยันได้จากข้อมูลที่เปิดเผยมีทั้งรายละเอียดใน repository และรายงานจากสื่อ ขณะที่ตัวเลขเปรียบเทียบประสิทธิภาพและกลไกการทำงานบางอย่างยังไม่มีหลักฐานเพียงพอ
สิ่งที่โครงการระบุว่ารองรับ
repository ของโครงการอธิบายว่า Megatron-MUSA-Titan เพิ่มการปรับแต่งเฉพาะสำหรับ MUSA โดยยังคงใกล้กับระบบนิเวศต้นทางของ Megatron-LM และมุ่งรองรับทั้ง pretraining กับ reinforcement learning สำหรับโมเดลขนาด 1T+ บนคลัสเตอร์ขนาดใหญ่ 13
repository ยังระบุว่าการฝึก MoE ระดับ 1T บนคลัสเตอร์ที่มี GPU มากกว่า 10,000 ตัวทำได้อย่างมีเสถียรภาพและมี Model FLOPs Utilization (MFU) สูง อย่างไรก็ตาม ข้อความที่มีไม่ได้ให้ค่า MFU เป็นตัวเลขหรือผลเปรียบเทียบกับระบบอื่น จึงยังประเมินระดับประสิทธิภาพเทียบกับแพลตฟอร์มอื่นไม่ได้ 13
รายงานเกี่ยวกับการเปิดซอร์สกล่าวถึงการฝึกแบบ blockwise FP8 และการรองรับเฟรมเวิร์ก reinforcement learning อย่าง slime และ miles ด้วย แต่ข้อมูลจากรายงานเหล่านั้นยังไม่ยืนยันผลการทำงานของความสามารถดังกล่าวบนคลัสเตอร์ตามขนาดที่ระบุ 4
11
มีตัวอย่างสคริปต์สำหรับ Kimi-K2 ระดับ 1T
ใน repository มีสคริปต์ pretraining ชื่อ pretrain_kimi_1000B.sh สำหรับ Kimi-K2 โดยคำอธิบายในสคริปต์บอกให้ผู้ใช้ตั้งค่าตัวแปรสภาพแวดล้อมตามคลัสเตอร์ของตน และสามารถเริ่มต้นใช้งาน TransformerEngine ภายนอกได้หากต้องการ 17
นี่เป็นตัวอย่างที่จับต้องได้ของการตั้งค่าซึ่งมุ่งไปที่การฝึกระดับ 1T แต่การมีสคริปต์อยู่ใน repository เพียงอย่างเดียวไม่ได้แสดงว่าการตั้งค่าเฉพาะนั้นรันสำเร็จใน production แล้ว 17
รายละเอียดที่ยังไม่มีหลักฐานยืนยัน
ข้อมูลที่มีอยู่ยังไม่เพียงพอสำหรับยืนยันรายละเอียดบางข้อ เช่น การใช้ DeepEP ผ่าน Async Copy Engine เพื่อซ้อนทับการสื่อสารของ expert กับการคำนวณ การจับคู่ activation offloading กับ virtual pipeline parallelism และตารางการทำงานแบบ one-forward-one-backward รวมถึงการใช้ Mooncake RDMA เพื่อซ้อนทับการสื่อสารใน pipeline
นอกจากนี้ ยังไม่มีข้อมูลที่ยืนยันวิธีวิเคราะห์ trace แยกตาม GPU เพื่อหาช่วง pipeline ที่หยุดรอหรือเครื่องที่ทำงานช้ากว่าตัวอื่นภายในไม่กี่ชั่วโมง หรือยืนยันว่าโค้ด Megatron-LM, slime และ miles ที่ไม่ผ่านการแก้ไขจะทำงานบน MUSA ได้ทันที ข้อมูลที่มียังไม่ระบุชัดด้วยว่าแบ่งงาน reinforcement learning ระหว่างการฝึกด้วย Megatron กับการทำ rollout ผ่าน SGLang ที่รองรับ MUSA อย่างไร
ประเด็นเหล่านี้คือช่องว่างของหลักฐานที่ตรวจสอบได้ ไม่ใช่ข้อพิสูจน์ว่าความสามารถดังกล่าวไม่มีอยู่
นักพัฒนาควรอ่านประกาศนี้อย่างไร
ควรมอง Megatron-MUSA-Titan เป็นการนำระบบนิเวศ Megatron-LM มาปรับใช้กับ GPU MUSA โดยเฉพาะ มากกว่าจะตีความว่าเป็นการรับประกันว่าโค้ดฝึกโมเดลที่เขียนสำหรับ CUDA จะย้ายมารันได้โดยไม่ต้องแก้ไข โครงการระบุว่าพยายามรักษาความใกล้เคียงกับระบบต้นทาง แต่ข้อมูลที่มีไม่ได้ยืนยันการย้ายระบบแบบไม่ต้องเปลี่ยนโค้ด 13
ทีมที่กำลังประเมินการย้ายระบบควรเริ่มจากการทดลองขนาดเล็ก แล้วตรวจสอบเวอร์ชันซอฟต์แวร์ เคอร์เนลเฉพาะ การสื่อสารแบบกระจาย ผลลัพธ์เชิงตัวเลข ความเข้ากันได้ของ checkpoint และการเชื่อมต่อกับระบบ reinforcement learning ก่อนขยายไปสู่คลัสเตอร์ใหญ่ ส่วนคำกล่าวอ้างเรื่องความเสถียรในการฝึกและ MFU สูง ควรถือเป็นข้อมูลที่โครงการระบุไว้ จนกว่าจะมีผลวัดที่ทำซ้ำและตรวจสอบได้ โดยหลักฐานที่มีอยู่ตอนนี้ยืนยันขอบเขตที่โครงการตั้งเป้าและตัวอย่างสคริปต์ แต่ยังไม่ยืนยันรายละเอียดการทำงานทุกส่วนหรือผลประสิทธิภาพเป็นตัวเลข
Studio Global AI
ทำการวิจัยต่อ
หน้านี้รวมคำตอบที่ได้รับการสนับสนุนจากแหล่งที่มาซึ่งคุณสามารถดำเนินการต่อภายใน Studio Global
คนยังถาม
คำตอบสั้น ๆ สำหรับ "Moore Threads เปิดซอร์ส Megatron-MUSA-Titan: สแต็กฝึกโมเดลใหญ่ที่ยังต้องรอตัวเลขยืนยัน" คืออะไร
Megatron MUSA Titan สร้างบนระบบนิเวศ Megatron LM สำหรับ pretraining และ reinforcement learning บน GPU MUSA โดยตั้งเป้ารองรับโมเดล 1T+ และคลัสเตอร์ Moore Threads มากกว่า 10,000 GPU
ประเด็นสำคัญที่ต้องตรวจสอบก่อนคืออะไร?
Megatron MUSA Titan สร้างบนระบบนิเวศ Megatron LM สำหรับ pretraining และ reinforcement learning บน GPU MUSA โดยตั้งเป้ารองรับโมเดล 1T+ และคลัสเตอร์ Moore Threads มากกว่า 10,000 GPU ใน GitHub มีสคริปต์ pretraining สำหรับ Kimi K2 ระดับ 1T แต่การมีตัวอย่างสคริปต์ไม่ได้ยืนยันว่าการตั้งค่านั้นผ่านการรันจริงในระบบ production
ฉันควรทำอย่างไรต่อไปในทางปฏิบัติ?
มีรายงานถึง blockwise FP8 และการรองรับ slime/miles แต่ข้อมูลที่มีไม่ยืนยันตัวเลข MFU หรือรายละเอียดกลไกสื่อสาร หน่วยความจำ และความเข้ากันได้แบบไม่ต้องแก้โค้ด
แหล่งที่มา
elites.zoneMoore Threads Launches Open-Source Megatron-MUSA-Titan Training Infrastructure
github.comGitHub - MooreThreads/Megatron-MUSA-Titan
aigc.newsReportedly: Moore Threads open-sources Megatron-MUSA-Titan ...