สถาปัตยกรรมและนวัตกรรม

Instella-MoE ใช้การกำหนดค่าแบบ Shared-plus-Routed Expert โดยมีผู้เชี่ยวชาญที่แชร์กัน (Shared Experts) 2 คนที่ทำงานตลอดเวลา และผู้เชี่ยวชาญแบบกำหนดเส้นทาง (Routed Experts) 6 คนที่ถูกเลือกจากทั้งหมด 64 คนต่อ Token โมเดลประกอบด้วย 27 ชั้น Decoder แต่ละชั้นมี Hidden Size ขนาด 2,048 นวัตกรรมทางสถาปัตยกรรมที่โดดเด่นมี 2 ประการ:

• Gated Multi-head Latent Attention (Gated MLA): เป็นการปรับปรุงจาก Multi-head Latent Attention (MLA) มาตรฐาน โดยเพิ่ม Learned Output Gate แบบน้ำหนักเบา ซึ่งเพิ่มความไม่เป็นเชิงเส้น (Non-linearity) ที่ขับเคลื่อนด้วยข้อมูล ช่วยลดการตอบสนองของ Attention ที่มีประโยชน์ต่ำลง เลือกสรรเพื่อเพิ่มความสามารถในการแสดงออก โดยใช้ต้นทุนการคำนวณเพียงเล็กน้อย
• FarSkip-Collective: เป็นการปรับเปลี่ยนการเชื่อมต่อ MoE ที่ให้การสื่อสารซ้อนทับกับการคำนวณระหว่างการฝึกแบบ Expert-Parallel ลดฟองอากาศในการสื่อสาร (Communication Bubbles) ในระหว่างการ Pre-training เทคนิคนี้ช่วยเร่งความเร็วการฝึกได้ถึง 12.7%

นอกจากนี้ โมเดลยังใช้ Multi-Token Prediction (MTP) ระหว่างช่วง Pre-training และ Mid-training อีกด้วย

หน้าต่างบริบท (Context Window)

หลังจากขั้นตอนการฝึกขยายบริบทระยะยาวโดยเฉพาะ Instella-MoE รองรับบริบทได้สูงสุดถึง 64,000 Token

กระบวนการฝึกสอน 6 ขั้นตอน

AMD เผยแพร่กระบวนการฝึกสอนทั้งหมด ซึ่งประกอบด้วย 6 ขั้นตอนตามลำดับ :

1. Pre-training (การฝึกสอนล่วงหน้า)
2. Mid-training (การฝึกสอนช่วงกลาง)
3. Long-Context Extension (การขยายบริบทระยะไกลเป็น 64K Token)
4. Supervised Fine-Tuning (SFT) — รวมถึงขั้นตอนการจัดข้อมูลที่ขับเคลื่อนด้วยข้อเสนอแนะโดยใช้การวิเคราะห์ข้อผิดพลาดแบบละเอียดและการดึงข้อมูลตามความคล้ายคลึง
5. Direct Preference Optimization (DPO) — พร้อมการอัปเดต Router Bias และปิดการใช้งาน Auxiliary Load-balancing Loss เพื่อรักษาเสถียรภาพในการฝึก
6. Reinforcement Learning (RL) — โดยใช้กรอบงาน Miles RL ที่รองรับ ROCm บน GPU AMD Instinct ซึ่งรวมถึงการฝึก RL เฉพาะทาง IF และ Multi-Teacher On-Policy Distillation (MOPD)

ประสิทธิภาพในเกณฑ์มาตรฐาน

โมเดลพื้นฐาน Instella-MoE-16B-A3B ได้คะแนนเฉลี่ย 76.7 ในการทดสอบมาตรฐาน ทำให้ติดอันดับต้นๆ ในบรรดาโมเดลโอเพนซอร์สเต็มรูปแบบในระดับเดียวกัน รายงานระบุว่าโมเดลนี้มีประสิทธิภาพเหนือกว่า SmolLM3-3B และ OLMo-3-7B และสามารถแข่งขันกับโมเดลที่มีขนาดใหญ่กว่าได้ แม้จะเปิดใช้งานเพียง 2.8 พันล้านพารามิเตอร์ต่อ Token

ความโปร่งใสและสิทธิ์การใช้งาน

ตามความมุ่งมั่นในด้าน AI แบบเปิด AMD ได้เผยแพร่สิ่งที่เกี่ยวข้องกับการฝึกสอนทั้งหมดอย่างเปิดเผย :

• น้ำหนักโมเดลจากทุกขั้นตอนการฝึก
• การกำหนดค่าการฝึกและส่วนผสมของข้อมูล (Data Mixtures)
• จุดตรวจสอบระหว่างกลาง (Intermediate Checkpoints)
• โค้ดสำหรับการอนุมาน (Inference Code)

สิ่งประดิษฐ์ทั้งหมดนี้มีให้ใช้งานบน Hugging Face ภายใต้เนมสเปซ amd/Instella-MoE-16B-A3B โดยใช้สิทธิ์การใช้งานแบบ Research RAIL (Responsible AI License) สำหรับวัตถุประสงค์ทางวิชาการและการวิจัยเท่านั้น

ความสำคัญเชิงกลยุทธ์

Instella-MoE ไม่ใช่แค่การปล่อยโมเดลเท่านั้น แต่มันคือการพิสูจน์โดยตรงว่า ซอฟต์แวร์สแต็ก ROCm และฮาร์ดแวร์ GPU Instinct ของ AMD สามารถรองรับการพัฒนา AI ในระดับแนวหน้าได้ ตั้งแต่การฝึกสอนล่วงหน้าไปจนถึงการเรียนรู้แบบเสริมแรง โดยใช้โครงสร้างพื้นฐานแบบโอเพนซอร์สทั้งหมด ด้วยการส่งมอบประสิทธิภาพที่แข่งขันได้เมื่อเทียบกับโมเดลโอเพนซอร์สชั้นนำที่ฝึกบนฮาร์ดแวร์ NVIDIA ทำให้ AMD วางตำแหน่งระบบนิเวศของตนเองให้เป็นทางเลือกที่ใช้งานได้จริงแทนที่ CUDA ของ NVIDIA สำหรับการวิจัยและพัฒนา AI ขนาดใหญ่

สถาปัตยกรรมและนวัตกรรม

Instella-MoE ใช้การกำหนดค่าแบบ Shared-plus-Routed Expert โดยมีผู้เชี่ยวชาญที่แชร์กัน (Shared Experts) 2 คนที่ทำงานตลอดเวลา และผู้เชี่ยวชาญแบบกำหนดเส้นทาง (Routed Experts) 6 คนที่ถูกเลือกจากทั้งหมด 64 คนต่อ Token โมเดลประกอบด้วย 27 ชั้น Decoder แต่ละชั้นมี Hidden Size ขนาด 2,048 นวัตกรรมทางสถาปัตยกรรมที่โดดเด่นมี 2 ประการ:

• Gated Multi-head Latent Attention (Gated MLA): เป็นการปรับปรุงจาก Multi-head Latent Attention (MLA) มาตรฐาน โดยเพิ่ม Learned Output Gate แบบน้ำหนักเบา ซึ่งเพิ่มความไม่เป็นเชิงเส้น (Non-linearity) ที่ขับเคลื่อนด้วยข้อมูล ช่วยลดการตอบสนองของ Attention ที่มีประโยชน์ต่ำลง เลือกสรรเพื่อเพิ่มความสามารถในการแสดงออก โดยใช้ต้นทุนการคำนวณเพียงเล็กน้อย
• FarSkip-Collective: เป็นการปรับเปลี่ยนการเชื่อมต่อ MoE ที่ให้การสื่อสารซ้อนทับกับการคำนวณระหว่างการฝึกแบบ Expert-Parallel ลดฟองอากาศในการสื่อสาร (Communication Bubbles) ในระหว่างการ Pre-training เทคนิคนี้ช่วยเร่งความเร็วการฝึกได้ถึง 12.7%

นอกจากนี้ โมเดลยังใช้ Multi-Token Prediction (MTP) ระหว่างช่วง Pre-training และ Mid-training อีกด้วย

หน้าต่างบริบท (Context Window)

หลังจากขั้นตอนการฝึกขยายบริบทระยะยาวโดยเฉพาะ Instella-MoE รองรับบริบทได้สูงสุดถึง 64,000 Token

กระบวนการฝึกสอน 6 ขั้นตอน

AMD เผยแพร่กระบวนการฝึกสอนทั้งหมด ซึ่งประกอบด้วย 6 ขั้นตอนตามลำดับ :

1. Pre-training (การฝึกสอนล่วงหน้า)
2. Mid-training (การฝึกสอนช่วงกลาง)
3. Long-Context Extension (การขยายบริบทระยะไกลเป็น 64K Token)
4. Supervised Fine-Tuning (SFT) — รวมถึงขั้นตอนการจัดข้อมูลที่ขับเคลื่อนด้วยข้อเสนอแนะโดยใช้การวิเคราะห์ข้อผิดพลาดแบบละเอียดและการดึงข้อมูลตามความคล้ายคลึง
5. Direct Preference Optimization (DPO) — พร้อมการอัปเดต Router Bias และปิดการใช้งาน Auxiliary Load-balancing Loss เพื่อรักษาเสถียรภาพในการฝึก
6. Reinforcement Learning (RL) — โดยใช้กรอบงาน Miles RL ที่รองรับ ROCm บน GPU AMD Instinct ซึ่งรวมถึงการฝึก RL เฉพาะทาง IF และ Multi-Teacher On-Policy Distillation (MOPD)

ประสิทธิภาพในเกณฑ์มาตรฐาน

โมเดลพื้นฐาน Instella-MoE-16B-A3B ได้คะแนนเฉลี่ย 76.7 ในการทดสอบมาตรฐาน ทำให้ติดอันดับต้นๆ ในบรรดาโมเดลโอเพนซอร์สเต็มรูปแบบในระดับเดียวกัน รายงานระบุว่าโมเดลนี้มีประสิทธิภาพเหนือกว่า SmolLM3-3B และ OLMo-3-7B และสามารถแข่งขันกับโมเดลที่มีขนาดใหญ่กว่าได้ แม้จะเปิดใช้งานเพียง 2.8 พันล้านพารามิเตอร์ต่อ Token

ความโปร่งใสและสิทธิ์การใช้งาน

ตามความมุ่งมั่นในด้าน AI แบบเปิด AMD ได้เผยแพร่สิ่งที่เกี่ยวข้องกับการฝึกสอนทั้งหมดอย่างเปิดเผย :

• น้ำหนักโมเดลจากทุกขั้นตอนการฝึก
• การกำหนดค่าการฝึกและส่วนผสมของข้อมูล (Data Mixtures)
• จุดตรวจสอบระหว่างกลาง (Intermediate Checkpoints)
• โค้ดสำหรับการอนุมาน (Inference Code)

สิ่งประดิษฐ์ทั้งหมดนี้มีให้ใช้งานบน Hugging Face ภายใต้เนมสเปซ amd/Instella-MoE-16B-A3B โดยใช้สิทธิ์การใช้งานแบบ Research RAIL (Responsible AI License) สำหรับวัตถุประสงค์ทางวิชาการและการวิจัยเท่านั้น

ความสำคัญเชิงกลยุทธ์

Instella-MoE ไม่ใช่แค่การปล่อยโมเดลเท่านั้น แต่มันคือการพิสูจน์โดยตรงว่า ซอฟต์แวร์สแต็ก ROCm และฮาร์ดแวร์ GPU Instinct ของ AMD สามารถรองรับการพัฒนา AI ในระดับแนวหน้าได้ ตั้งแต่การฝึกสอนล่วงหน้าไปจนถึงการเรียนรู้แบบเสริมแรง โดยใช้โครงสร้างพื้นฐานแบบโอเพนซอร์สทั้งหมด ด้วยการส่งมอบประสิทธิภาพที่แข่งขันได้เมื่อเทียบกับโมเดลโอเพนซอร์สชั้นนำที่ฝึกบนฮาร์ดแวร์ NVIDIA ทำให้ AMD วางตำแหน่งระบบนิเวศของตนเองให้เป็นทางเลือกที่ใช้งานได้จริงแทนที่ CUDA ของ NVIDIA สำหรับการวิจัยและพัฒนา AI ขนาดใหญ่