Kiến trúc và Đổi mới

Instella-MoE sử dụng cấu hình shared-plus-routed expert với 2 chuyên gia chia sẻ luôn hoạt động và 6 chuyên gia định tuyến được chọn từ tổng số 64 chuyên gia mỗi token . Mô hình bao gồm 27 tầng giải mã, mỗi tầng có kích thước ẩn là 2.048 . Hai cải tiến kiến trúc nổi bật gồm:

• Gated Multi-head Latent Attention (Gated MLA): Là phiên bản nâng cấp của cơ chế Multi-head Latent Attention (MLA). Cơ chế này bổ sung một cổng đầu ra (output gate) có thể học, tạo ra tính phi tuyến dựa trên dữ liệu, cho phép giảm thiểu các phản hồi chú ý kém hiệu quả, từ đó tăng khả năng biểu đạt của mô hình mà không làm tăng đáng kể chi phí tính toán .
• FarSkip-Collective: Một kỹ thuật cải tiến kết nối trong MoE, cho phép chồng chéo (overlap) quá trình giao tiếp với tính toán trong quá trình huấn luyện song song chuyên gia. Kỹ thuật này đã giúp tăng tốc quá trình tiền huấn luyện lên 12,7% .

Mô hình cũng áp dụng mục tiêu Multi-Token Prediction (MTP) trong các giai đoạn tiền huấn luyện và huấn luyện giữa kỳ .

Ngữ cảnh (Context Window)

Sau một giai đoạn huấn luyện mở rộng ngữ cảnh chuyên biệt, Instella-MoE hỗ trợ lên tới 64K token .

Quy trình Huấn luyện 6 Giai đoạn

AMD đã công bố toàn bộ quy trình huấn luyện, bao gồm 6 giai đoạn tuần tự :

1. Tiền huấn luyện (Pre-training)
2. Huấn luyện giữa kỳ (Mid-training)
3. Mở rộng ngữ cảnh dài (Long-Context Extension) - mở rộng lên 64K token
4. Tinh chỉnh có giám sát (Supervised Fine-Tuning - SFT) — bao gồm giai đoạn quản lý dữ liệu dựa trên phản hồi, sử dụng phân tích lỗi chi tiết và truy xuất dựa trên độ tương tự
5. Tối ưu hóa ưu tiên trực tiếp (Direct Preference Optimization - DPO) — với các cập nhật độ lệch bộ định tuyến và tắt hàm mất cân bằng tải phụ trợ để duy trì sự ổn định
6. Học tăng cường (Reinforcement Learning - RL) — sử dụng framework Miles với hỗ trợ ROCm trên GPU AMD Instinct, kết hợp huấn luyện RL chuyên biệt cho kỹ năng làm theo hướng dẫn (IF) và phương pháp Chưng cất Đa Giáo viên trên Chính sách (Multi-Teacher On-Policy Distillation - MOPD)

Hiệu suất Benchmark

Mô hình Instella-MoE-16B-A3B base đạt điểm trung bình 76,7 trên các benchmark tiêu chuẩn, đưa nó vào nhóm các mô hình mã nguồn mở hàng đầu ở quy mô này . Theo công bố, nó vượt qua SmolLM3-3B và OLMo-3-7B, và cạnh tranh tốt với các mô hình lớn hơn dù chỉ kích hoạt 2,8 tỷ tham số mỗi token .

Minh bạch Hoàn toàn và Cấp phép

Đúng với cam kết về AI mở, AMD đã công bố tất cả các tạo phẩm huấn luyện :

• Trọng số mô hình từ mọi giai đoạn huấn luyện
• Cấu hình huấn luyện và tỷ lệ dữ liệu
• Các điểm kiểm tra trung gian (checkpoints)
• Mã nguồn suy luận (inference code)

Toàn bộ đều có sẵn trên Hugging Face trong không gian tên amd/Instella-MoE-16B-A3B, được cấp phép theo Research RAIL (Responsible AI License) cho mục đích học thuật và nghiên cứu .

Ý nghĩa Chiến lược

Instella-MoE không chỉ đơn thuần là một bản phát hành mô hình. Nó là một minh chứng trực tiếp rằng phần cứng GPU Instinct và phần mềm ROCm của AMD có thể hỗ trợ phát triển AI ở quy mô tiên tiến, từ tiền huấn luyện đến học tăng cường, sử dụng cơ sở hạ tầng mã nguồn mở hoàn toàn. Bằng cách đạt được các benchmark cạnh tranh so với các mô hình nguồn mở hàng đầu được huấn luyện trên Nvidia, AMD định vị hệ sinh thái của mình như một giải pháp thay thế khả thi cho CUDA của Nvidia cho nghiên cứu và phát triển AI quy mô lớn .

Kiến trúc và Đổi mới

Instella-MoE sử dụng cấu hình shared-plus-routed expert với 2 chuyên gia chia sẻ luôn hoạt động và 6 chuyên gia định tuyến được chọn từ tổng số 64 chuyên gia mỗi token . Mô hình bao gồm 27 tầng giải mã, mỗi tầng có kích thước ẩn là 2.048 . Hai cải tiến kiến trúc nổi bật gồm:

• Gated Multi-head Latent Attention (Gated MLA): Là phiên bản nâng cấp của cơ chế Multi-head Latent Attention (MLA). Cơ chế này bổ sung một cổng đầu ra (output gate) có thể học, tạo ra tính phi tuyến dựa trên dữ liệu, cho phép giảm thiểu các phản hồi chú ý kém hiệu quả, từ đó tăng khả năng biểu đạt của mô hình mà không làm tăng đáng kể chi phí tính toán .
• FarSkip-Collective: Một kỹ thuật cải tiến kết nối trong MoE, cho phép chồng chéo (overlap) quá trình giao tiếp với tính toán trong quá trình huấn luyện song song chuyên gia. Kỹ thuật này đã giúp tăng tốc quá trình tiền huấn luyện lên 12,7% .

Mô hình cũng áp dụng mục tiêu Multi-Token Prediction (MTP) trong các giai đoạn tiền huấn luyện và huấn luyện giữa kỳ .

Ngữ cảnh (Context Window)

Sau một giai đoạn huấn luyện mở rộng ngữ cảnh chuyên biệt, Instella-MoE hỗ trợ lên tới 64K token .

Quy trình Huấn luyện 6 Giai đoạn

AMD đã công bố toàn bộ quy trình huấn luyện, bao gồm 6 giai đoạn tuần tự :

1. Tiền huấn luyện (Pre-training)
2. Huấn luyện giữa kỳ (Mid-training)
3. Mở rộng ngữ cảnh dài (Long-Context Extension) - mở rộng lên 64K token
4. Tinh chỉnh có giám sát (Supervised Fine-Tuning - SFT) — bao gồm giai đoạn quản lý dữ liệu dựa trên phản hồi, sử dụng phân tích lỗi chi tiết và truy xuất dựa trên độ tương tự
5. Tối ưu hóa ưu tiên trực tiếp (Direct Preference Optimization - DPO) — với các cập nhật độ lệch bộ định tuyến và tắt hàm mất cân bằng tải phụ trợ để duy trì sự ổn định
6. Học tăng cường (Reinforcement Learning - RL) — sử dụng framework Miles với hỗ trợ ROCm trên GPU AMD Instinct, kết hợp huấn luyện RL chuyên biệt cho kỹ năng làm theo hướng dẫn (IF) và phương pháp Chưng cất Đa Giáo viên trên Chính sách (Multi-Teacher On-Policy Distillation - MOPD)

Hiệu suất Benchmark

Mô hình Instella-MoE-16B-A3B base đạt điểm trung bình 76,7 trên các benchmark tiêu chuẩn, đưa nó vào nhóm các mô hình mã nguồn mở hàng đầu ở quy mô này . Theo công bố, nó vượt qua SmolLM3-3B và OLMo-3-7B, và cạnh tranh tốt với các mô hình lớn hơn dù chỉ kích hoạt 2,8 tỷ tham số mỗi token .

Minh bạch Hoàn toàn và Cấp phép

Đúng với cam kết về AI mở, AMD đã công bố tất cả các tạo phẩm huấn luyện :

• Trọng số mô hình từ mọi giai đoạn huấn luyện
• Cấu hình huấn luyện và tỷ lệ dữ liệu
• Các điểm kiểm tra trung gian (checkpoints)
• Mã nguồn suy luận (inference code)

Toàn bộ đều có sẵn trên Hugging Face trong không gian tên amd/Instella-MoE-16B-A3B, được cấp phép theo Research RAIL (Responsible AI License) cho mục đích học thuật và nghiên cứu .

Ý nghĩa Chiến lược

Instella-MoE không chỉ đơn thuần là một bản phát hành mô hình. Nó là một minh chứng trực tiếp rằng phần cứng GPU Instinct và phần mềm ROCm của AMD có thể hỗ trợ phát triển AI ở quy mô tiên tiến, từ tiền huấn luyện đến học tăng cường, sử dụng cơ sở hạ tầng mã nguồn mở hoàn toàn. Bằng cách đạt được các benchmark cạnh tranh so với các mô hình nguồn mở hàng đầu được huấn luyện trên Nvidia, AMD định vị hệ sinh thái của mình như một giải pháp thay thế khả thi cho CUDA của Nvidia cho nghiên cứu và phát triển AI quy mô lớn .