Huawei membuka wajaran, kod inferens asas dan laporan teknikal openPangu 2.0 Pro: model MoE dengan kira kira 505B parameter keseluruhan dan 18B parameter aktif bagi setiap token, bukannya 180B. Reka bentuk MoE, gabungan perhatian DSA+SWA, topologi residu mHC empat aliran, ramalan berbilang token dan pengoptimum Muon...
Research answer

Create a landscape editorial hero image for this Studio Global article: How does Huawei’s open-sourcing of openPangu-2.0-Pro—a 505B-parameter MoE model with roughly 180B active parameters, 512K context, 34T-token. Article summary: One correction: openPangu-2.0-Pro has about 505B total parameters but roughly 18B—not 180B—activated per token. The release is significant because it makes an Ascend-native, non-NVIDIA path inspectable from model design . Topic tags: general, general web, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fak
Huawei telah membuka openPangu-2.0-Pro, tetapi istilah yang paling tepat bukanlah “boleh dihasilkan semula sepenuhnya”. Pelepasan ini menyediakan laluan penting untuk memeriksa, menilai dan menyajikan model besar pada platform Ascend Huawei—bukan resipi siap guna untuk mengulangi latihan asal pada skala frontier.
Spesifikasi utamanya juga perlu dibaca dengan tepat. openPangu-2.0-Pro ialah model mixture-of-experts (MoE) dengan kira-kira 505 bilion parameter keseluruhan, tetapi hanya sekitar 18 bilion parameter diaktifkan bagi setiap token. Ia menyokong tetingkap konteks 512K token dan dilatih menggunakan kira-kira 34 trilion token. 21
Huawei mengumumkan pada 31 Julai 2026 bahawa ia membuka wajaran model openPangu-2.0-Pro, kod inferens asas serta laporan teknikal. Komponen openPangu 2.0 lain pula dinyatakan akan diterbitkan secara berperingkat melalui saluran sumber terbuka syarikat. 12
Setiap bahan ini mempunyai kegunaan berbeza:
Peta hala tuju HDC 2026 Huawei turut menyebut pembukaan berperingkat tujuh komponen, termasuk kod pra-latihan, kod pascalatihan dan operator latihan. 2
10 Jika tersedia dalam bentuk yang benar-benar boleh digunakan, komponen tersebut akan membawa projek ini lebih dekat kepada tindanan menyeluruh daripada latihan hingga inferens, berbanding pelepasan yang hanya menawarkan wajaran.
Model yang mempunyai wajaran terbuka tidak semestinya boleh dihasilkan semula pada skala latihan asal. Wajaran yang boleh dimuat turun membolehkan titik semakan (checkpoint) diuji, tetapi tidak mendedahkan setiap syarat yang diperlukan untuk membinanya semula.
Untuk mengulangi pra-latihan pada skala 34 trilion token, pihak luar sekurang-kurangnya memerlukan data tepat atau spesifikasi penjanaan data yang boleh diulang, pelaksanaan latihan dan pascalatihan yang lengkap, hiperparameter, topologi kluster, versi perisian dan pengkompil, konfigurasi latihan teragih, operator tersuai, persediaan penilaian serta perkakasan serasi yang mencukupi. Bahan yang disahkan tersedia ialah wajaran, kod inferens asas dan laporan, manakala komponen lain dinyatakan akan tiba secara berperingkat. 12
21
Justeru, gambaran yang paling adil buat masa ini ialah: model terbuka berorientasikan Ascend dengan laluan yang dinyatakan ke arah ketelusan tindanan yang lebih luas. Ia belum membuktikan bahawa organisasi luar boleh mengulangi keseluruhan latihan asal hari ini.
Dalam model MoE, setiap token dihalakan kepada sebahagian pakar atau parameter sahaja. Bagi Pro, kad model menyenaraikan kira-kira 505B parameter keseluruhan dan kira-kira 18B yang aktif bagi setiap token. 21
Ini tidak menjadikan sistem kecil—penyimpanan, penyajian dan komunikasi model 505B masih memerlukan infrastruktur besar—namun ia mengurangkan pengiraan parameter bagi token individu berbanding model padat (dense) yang setara dari segi jumlah parameter.
Model ini mengekalkan MLA dan menggabungkan DSA dengan perhatian tetingkap gelongsor (sliding-window attention, SWA) pada nisbah lapisan 1:2. Huawei menyatakan lapisan SWA mengendalikan pemodelan tetingkap setempat, manakala DSA menangkap konteks global secara jarang. Matlamatnya ialah mengurangkan kos pengiraan, memori dan capaian memori untuk inferens konteks panjang sambil mengekalkan ketepatan. 21
Ini menangani masalah utama konteks 512K: perhatian penuh ke atas semua token menjadi sangat mahal. Perhatian setempat mengurus maklumat berdekatan dengan lebih murah, sementara mekanisme global jarang cuba mengekalkan akses kepada maklumat jauh yang relevan.
Huawei turut menerangkan topologi residu mHC empat aliran bagi meningkatkan kepelbagaian perwakilan dan kebolehumuman. Modul ramalan berbilang token tiga kepala meramal token masa hadapan tambahan, yang bertujuan mempercepat inferens. Kad model juga menyenaraikan Muon sebagai pengoptimum latihan untuk mempercepat penumpuan. 21
Ini ialah dakwaan seni bina dan pengoptimuman daripada bahan Huawei. Ia bukan bukti bebas bahawa peningkatan kelajuan tertentu akan berlaku dalam setiap pelaksanaan. Daya pemprosesan dan kependaman tetap bergantung pada konfigurasi pemecut, ketepatan numerik, pengelompokan permintaan, panjang konteks, corak trafik dan perisian penyajian.
Tetingkap 512K boleh membolehkan agen mempertimbangkan lebih banyak bahan dalam satu sesi, termasuk manual, dasar, log, output alat terdahulu dan spesifikasi. Ini mungkin mengurangkan keperluan memecah dokumen secara agresif, tetapi tidak menghapuskan keperluan untuk carian maklumat, kawalan akses, semakan sumber atau kelulusan manusia.
Antara kegunaan bernilai tinggi yang berpotensi:
Bagi banyak organisasi kecil, Pro mungkin masih sukar dihoskan sendiri walaupun menggunakan pengaktifan jarang. Huawei turut membuka openPangu-2.0-Flash, yang disenaraikan dengan 92B parameter keseluruhan dan 6B parameter aktif bagi setiap token; ini mungkin pilihan lebih mudah didekati untuk penilaian dan penggunaan. 15
20
Huawei melaporkan skor 68.5 pada SWE-bench Verified bagi versi Thinking openPangu-2.0-Pro. 24 Itu keputusan penanda aras yang ketara, tetapi bukan bukti bahawa model boleh mengendalikan kerja perisian produksi yang kompleks secara andal tanpa pengawasan.
Repositori sebenar bergantung pada penyediaan persekitaran, kebergantungan, pelaksanaan ujian, semakan keselamatan, keputusan seni bina, keperluan produk yang berubah dan penyahpepijatan berpanjangan. Corak penggunaan yang lebih munasabah ialah agen pengekodan dengan akses terhad kepada repositori, pelaksanaan dalam persekitaran terpencil (sandbox), ujian automatik, analisis statik, semakan kod dan prosedur undur semula—bukan penggabungan kod secara autonomi.
Nilai strategiknya bukan hanya pada wajaran model. Model rujukan yang dibina untuk Ascend boleh menggalakkan pembangun membina, menguji dan mengoptimumkan beban kerja pada Ascend. Beban kerja tersebut pula mencipta permintaan untuk masa jalan (runtime), operator, alat pembangunan dan perkhidmatan terurus yang lebih baik.
Huawei secara jelas mengarahkan pembangun, rakan perusahaan dan penyelidik ke komuniti Ascend Tribe serta tawaran Huawei Cloud MaaS untuk muat turun, penggunaan dan maklum balas. 12 Pelepasan Flash dan Pro pada skala berlainan memperluas kumpulan pengguna berpotensi, sementara komponen latihan, pascalatihan dan operator yang dirancang menyasarkan lapisan perisian yang menentukan sama ada sesebuah platform perkakasan benar-benar praktikal untuk pembina model.
10
15
Maka, openPangu 2.0 lebih tepat difahami sebagai usaha memperkukuh ekosistem pembangunan Ascend-plus-Pangu. Keterbukaannya sudah bermakna untuk penyajian, pemeriksaan dan eksperimen. Namun, dakwaan kebolehulangan penuh hanya patut dinilai apabila baki kod, konfigurasi dan butiran berkaitan data tersedia—serta apabila kumpulan bebas menguji apa yang benar-benar boleh dibina semula.
Studio Global AI
This page includes a source-backed answer you can continue inside Studio Global.
Huawei membuka wajaran, kod inferens asas dan laporan teknikal openPangu 2.0 Pro: model MoE dengan kira kira 505B parameter keseluruhan dan 18B parameter aktif bagi setiap token, bukannya 180B.
Huawei membuka wajaran, kod inferens asas dan laporan teknikal openPangu 2.0 Pro: model MoE dengan kira kira 505B parameter keseluruhan dan 18B parameter aktif bagi setiap token, bukannya 180B. Reka bentuk MoE, gabungan perhatian DSA+SWA, topologi residu mHC empat aliran, ramalan berbilang token dan pengoptimum Muon disasarkan untuk menjadikan pemprosesan konteks 512K lebih praktikal pada perkakasan Ascend.
Pelepasan ini sesuai untuk penilaian, penyajian dan eksperimen terkawal, tetapi penghasilan semula latihan asal masih memerlukan data, konfigurasi, kod latihan lengkap dan sumber pengkomputeran yang belum semuanya ter...