openPangu-2.0-Pro: Đã mở để triển khai trên Ascend, chưa đủ để tái lập toàn bộ quá trình huấn luyện

Huawei phát hành openPangu-2.0-Pro có ý nghĩa lớn hơn việc đưa một checkpoint lên mạng. Tuy vậy, cần phân biệt rõ: đây là bước mở đáng kể để kiểm tra và triển khai một mô hình lớn trên nền tảng Ascend của Huawei, không phải công thức hoàn chỉnh để bất kỳ tổ chức nào cũng có thể tái tạo lại lần huấn luyện quy mô tiền tuyến ban đầu.

Thông số của Pro cũng thường bị nhầm. Đây là mô hình mixture-of-experts (MoE, hỗn hợp chuyên gia) có khoảng 505 tỷ tham số tổng, nhưng chỉ khoảng 18 tỷ tham số được kích hoạt trên mỗi token. Mô hình hỗ trợ ngữ cảnh 512K token và được huấn luyện trên khoảng 34 nghìn tỷ token, theo thẻ mô hình. 21

Huawei đã phát hành những gì?

Ngày 31/7/2026, Huawei thông báo mở openPangu-2.0-Pro, gồm trọng số mô hình, mã suy luận cơ bản và báo cáo kỹ thuật. Công ty cũng cho biết các thành phần liên quan của openPangu 2.0 sẽ tiếp tục được đưa lên các kênh mã nguồn mở theo từng đợt. 12

Mỗi thành phần phục vụ một mục đích khác nhau:

• Trọng số cho phép tổ chức đánh giá và vận hành mô hình đã được huấn luyện.
• Mã suy luận cung cấp một lộ trình triển khai phù hợp với môi trường Ascend mục tiêu.
• Báo cáo kỹ thuật và tài liệu mô hình giúp người dùng xem xét kiến trúc cùng các lựa chọn thiết kế mà Huawei công bố. 1221

Lộ trình tại HDC 2026 — hội nghị dành cho nhà phát triển của Huawei — còn đề cập việc mở dần bảy thành phần, trong đó có mã tiền huấn luyện, mã hậu huấn luyện và các toán tử huấn luyện. 210 Nếu các phần này được phát hành ở dạng có thể sử dụng, dự án sẽ tiến gần hơn đáng kể tới một bộ công cụ xuyên suốt từ huấn luyện đến suy luận, thay vì chỉ công bố trọng số.

Vì sao chưa thể gọi là “tái lập hoàn toàn”?

Một mô hình có trọng số mở không đồng nghĩa nó có thể được tái lập ở quy mô huấn luyện ban đầu. Trọng số tải về cho phép kiểm thử checkpoint đã phát hành; chúng không tự tiết lộ toàn bộ điều kiện để tạo ra checkpoint đó từ đầu.

Để tái tạo một đợt tiền huấn luyện 34 nghìn tỷ token, tối thiểu cần dữ liệu chính xác hoặc đặc tả quy trình tạo dữ liệu có thể lặp lại; mã tiền huấn luyện và hậu huấn luyện hoàn chỉnh; siêu tham số; cấu trúc cụm máy; phiên bản phần mềm và trình biên dịch; cấu hình huấn luyện phân tán; toán tử tùy biến; quy trình đánh giá; cùng lượng phần cứng tương thích đủ lớn. Tài liệu hiện có xác nhận trọng số, mã suy luận cơ bản và báo cáo; trong khi Huawei mô tả những thành phần khác đang được phát hành dần. 1221

Vì thế, mô tả chính xác hơn ở thời điểm này là: một bản phát hành mô hình mở, ưu tiên Ascend, với lộ trình công bố minh bạch hơn cho toàn bộ ngăn xếp. Nó chưa phải bằng chứng rằng một đơn vị bên ngoài đã có thể độc lập tái tạo lần huấn luyện gốc.

Những lựa chọn kiến trúc để xử lý ngữ cảnh 512K

openPangu-2.0-Pro kết hợp quy mô tham số rất lớn với các cơ chế nhằm hạn chế chi phí sinh văn bản và xử lý ngữ cảnh dài.

MoE: sức chứa lớn nhưng không tính toàn bộ tham số mỗi lần

Mô hình MoE điều phối mỗi token đi qua một phần các “chuyên gia” thay vì kích hoạt toàn bộ tham số. Thẻ mô hình của Pro ghi khoảng 505 tỷ tham số tổng và khoảng 18 tỷ tham số hoạt động cho mỗi token. 21

Điều này không biến mô hình thành hệ thống nhẹ: việc lưu trữ, phục vụ và truyền thông một mô hình 505 tỷ tham số vẫn đòi hỏi hạ tầng lớn. Nhưng nó có thể giảm khối lượng tính toán tham số cho từng token so với mô hình dense có quy mô tổng tương đương.

DSA kết hợp SWA: cân bằng ngữ cảnh gần và xa

Mô hình giữ MLA và kết hợp DSA với attention cửa sổ trượt (SWA) theo tỷ lệ lớp 1:2. Huawei mô tả lớp SWA phụ trách mô hình hóa trong cửa sổ cục bộ, còn lớp DSA thu nhận ngữ cảnh toàn cục thưa. Mục tiêu là giảm chi phí tính toán, bộ nhớ và truy cập bộ nhớ khi suy luận ngữ cảnh dài, đồng thời duy trì độ chính xác. 21

Đây là cách tiếp cận trực diện với bài toán của ngữ cảnh 512K: attention đầy đủ trên mọi token nhanh chóng trở nên tốn kém. Attention cục bộ xử lý thông tin lân cận rẻ hơn, trong khi cơ chế toàn cục thưa cố giữ khả năng truy cập tới nội dung liên quan ở xa.

mHC bốn luồng, dự đoán nhiều token và Muon

Huawei cũng mô tả cấu trúc phần dư mHC bốn luồng nhằm tăng tính đa dạng biểu diễn và khả năng khái quát hóa. Mô-đun dự đoán nhiều token ba đầu dự đoán thêm các token tương lai, với mục tiêu tăng tốc suy luận. Thẻ mô hình còn nêu Muon là bộ tối ưu dùng trong huấn luyện, nhằm đạt hội tụ nhanh hơn. 21

Đây là các tuyên bố về kiến trúc và tối ưu hóa từ tài liệu Huawei công bố, không phải bằng chứng độc lập rằng mọi cấu hình triển khai đều có cùng mức tăng tốc. Thông lượng và độ trễ còn phụ thuộc rất lớn vào cấu hình bộ tăng tốc, độ chính xác tính toán, cách gom lô, độ dài ngữ cảnh, kiểu lưu lượng và phần mềm phục vụ.

Ngữ cảnh dài có thể hữu ích ở đâu?

Cửa sổ 512K có thể cho phép tác tử AI xem xét khối lượng tư liệu lớn hơn trong một phiên: tài liệu hướng dẫn, quy định, nhật ký vận hành, đầu ra từ công cụ và đặc tả kỹ thuật. Điều này giúp giảm việc chia nhỏ tài liệu quá mức, nhưng không loại bỏ nhu cầu truy xuất thông tin, phân quyền, đối chiếu nguồn và phê duyệt của con người.

Một số hướng ứng dụng có giá trị gồm:

• Cơ quan công quyền: hỗ trợ phân tích quy định, hồ sơ vụ việc, ý kiến công chúng và tài liệu liên cơ quan, đi kèm kiểm soát truy cập chặt chẽ và quyết định có thể kiểm toán của con người.
• Tài chính: rà soát nghiên cứu, hồ sơ công bố, hợp đồng và tài liệu tuân thủ; không để đầu ra chưa được kiểm chứng chi phối quyết định giao dịch, tín dụng hoặc quản lý.
• Sản xuất và năng lượng: tổng hợp sổ tay thiết bị, lịch sử cảnh báo, hồ sơ bảo trì, tài liệu quy trình và báo cáo ca trực để hỗ trợ điều tra, lập kế hoạch.
• Y tế: tóm tắt tài liệu chuyên ngành và hồ sơ theo thời gian dưới cơ chế quản trị lâm sàng, thay vì tự động chẩn đoán hay chỉ định điều trị.
• Kỹ thuật xe tự hành: phân tích ngoại tuyến nhật ký thử nghiệm, mô tả kịch bản, hồ sơ an toàn và tài liệu kỹ thuật; không thay thế hệ thống điều khiển thời gian thực đã được kiểm định.

Với nhiều tổ chức nhỏ, Pro vẫn khó tự triển khai dù chỉ kích hoạt thưa. Huawei cũng phát hành biến thể openPangu-2.0-Flash nhỏ hơn, có 92 tỷ tham số tổng và 6 tỷ tham số kích hoạt mỗi token; đây có thể là lựa chọn dễ tiếp cận hơn để đánh giá và triển khai. 1520

Kỹ nghệ phần mềm: trợ lý hữu ích, chưa phải người bảo trì tự chủ

Huawei báo cáo điểm 68,5 trên SWE-bench Verified cho phiên bản Thinking của openPangu-2.0-Pro. 24 Đây là kết quả đáng chú ý, nhưng không nên diễn giải thành mô hình có thể tự chịu trách nhiệm một cách đáng tin cậy cho công việc phần mềm sản xuất phức tạp.

Kho mã thực tế còn phụ thuộc vào thiết lập môi trường, thư viện phụ thuộc, chạy kiểm thử, rà soát bảo mật, quyết định kiến trúc, yêu cầu sản phẩm thay đổi và gỡ lỗi kéo dài qua nhiều bước. Mô hình triển khai hợp lý là tác tử lập trình có giám sát: quyền truy cập giới hạn theo kho mã, thực thi trong môi trường cô lập, kiểm thử tự động, phân tích tĩnh, duyệt mã và quy trình quay lui — thay vì tự động gộp mã.

Vì sao đây là nước đi xây hệ sinh thái?

Giá trị chiến lược không nằm ở trọng số mô hình đơn thuần. Một mô hình tham chiếu tối ưu cho Ascend có thể khuyến khích lập trình viên xây dựng, thử nghiệm và tối ưu khối lượng công việc trên Ascend. Những khối lượng công việc đó, ngược lại, tạo nhu cầu cho runtime, toán tử, công cụ và dịch vụ quản lý tốt hơn. Huawei mời nhà phát triển, đối tác doanh nghiệp và giới nghiên cứu tải về, sử dụng, phản hồi qua cộng đồng Ascend Tribe và dịch vụ MaaS của Huawei Cloud. 12

Việc cung cấp Flash và Pro ở hai quy mô khác nhau mở rộng nhóm người dùng tiềm năng. Còn các thành phần huấn luyện, hậu huấn luyện và toán tử dự kiến công bố sẽ nhắm vào những lớp phần mềm quyết định một nền tảng phần cứng có thực sự tiện dụng với người xây mô hình hay không. 1015

Do đó, nên hiểu openPangu 2.0 như nỗ lực củng cố hệ sinh thái phát triển Ascend kết hợp Pangu. Tính mở hiện đã có giá trị thực cho triển khai, kiểm tra và thử nghiệm. Còn tuyên bố về khả năng tái lập hoàn toàn chỉ nên được đánh giá khi mã, cấu hình và chi tiết liên quan đến dữ liệu còn thiếu được công bố — và khi các nhóm độc lập kiểm nghiệm được những gì thực sự có thể dựng lại.