Naive-N0.5-Flash: bên trong mô hình MoE 309 tỷ tham số của NaiveAI

Naive-N0.5-Flash là mô hình trọng số mở của NaiveAI, nhắm đến các tác vụ lập trình và nghiên cứu, phát triển AI. Điểm đáng chú ý nằm ở sự kết hợp giữa kiến trúc mixture-of-experts (MoE) có tổng cộng 309 tỷ tham số, cửa sổ ngữ cảnh được công bố là 1 triệu token và bộ suy luận riêng mang tên NaiveRT.24

Con số 15,5 tỷ tham số hoạt động cho mỗi token không có nghĩa toàn bộ mô hình chỉ có 15,5 tỷ tham số. Đây là phần tham số được kích hoạt trong quá trình xử lý từng token; tổng quy mô mô hình vẫn là 309 tỷ. NaiveAI cho biết trọng số mô hình và mã suy luận được phát hành theo giấy phép MIT.247

MoE 309 tỷ tham số hoạt động ra sao?

Với kiến trúc MoE, mô hình chỉ kích hoạt một phần các tham số cho mỗi token thay vì dùng toàn bộ cùng lúc. Theo thẻ mô hình, Naive-N0.5-Flash có 309 tỷ tham số tổng cộng và 15,5 tỷ tham số hoạt động mỗi token.2

NaiveAI định vị mô hình cho lập trình và nghiên cứu, phát triển AI. Đây là mô hình được huấn luyện tiếp từ nền tảng MiMo-V2.5 của Xiaomi, chứ không được giới thiệu là xây dựng hoàn toàn từ đầu.12

Ngữ cảnh 1 triệu token, không dùng lớp full-attention

NaiveAI cho biết mô hình hỗ trợ cửa sổ ngữ cảnh gốc 1 triệu token bằng cách kết hợp Sliding-Window Attention (SWA) với DeepSeek Sparse Attention (DSA) nhẹ, đồng thời không sử dụng các lớp full-attention. Tài liệu mô hình mô tả bố cục chủ yếu theo tỷ lệ SWA–DSA khoảng 5:1.27

Nói đơn giản, SWA tập trung vào một vùng nội dung lân cận, còn DSA dùng cơ chế chú ý thưa để xử lý thông tin ở phạm vi xa hơn. Thiết kế này hướng đến việc hỗ trợ ngữ cảnh dài mà không dựa vào các lớp full-attention. Tuy vậy, tuyên bố về cửa sổ 1 triệu token tự nó không chứng minh rằng mọi tác vụ dài đều sẽ đạt hiệu quả như nhau.

Tốc độ NaiveRT công bố cần được hiểu thế nào?

NaiveRT là hệ thống suy luận đi kèm mô hình. NaiveAI cho biết hệ thống sử dụng các kỹ thuật như hợp nhất mega-kernel, Programmatic Dependent Launch (PDL) và giải mã suy đoán. Theo hãng, tốc độ đạt 50 token/giây cho mỗi người dùng ở chế độ Standard và tối đa 2.000 token/giây ở chế độ Ultrafast.2

Đây là các con số do nhà phát triển công bố, không phải mức tốc độ được đảm bảo trong mọi cấu hình hay với mọi tác vụ. Tài liệu cũng tách riêng mức Standard tính theo từng người dùng với mức tối đa của Ultrafast, vì vậy không nên xem chúng là hai phép đo tương đương hoặc một tốc độ mà người dùng nào cũng sẽ nhận được.2

Điều đáng lưu ý

Naive-N0.5-Flash nổi bật nhờ tổ hợp thông số mà NaiveAI công bố: trọng số mở theo giấy phép MIT, kiến trúc MoE 309 tỷ tham số với 15,5 tỷ tham số hoạt động mỗi token, ngữ cảnh gốc 1 triệu token không dùng lớp full-attention và một bộ suy luận chuyên biệt.247

Khi đánh giá mô hình, nên tách biệt thông số kỹ thuật được công bố với chất lượng thực tế trên từng tác vụ và hiệu năng khi triển khai. Các tài liệu được dẫn nêu năng lực và tốc độ mà hãng tuyên bố, nhưng riêng những thông tin đó chưa đủ để khẳng định kết quả trong một quy trình lập trình hay nghiên cứu cụ thể.