AscendNPU IR bukan bahasa pengaturcaraan baharu untuk pengguna akhir. Ia ialah asas pengkompil terbuka di bawah pengkompil BiSheng Huawei—lapisan perantaraan yang cuba menghubungkan Triton dan ekosistem operator lain dengan perkakasan Ascend. Pada salon teknikal Meet AI Compiler ke-9 anjuran HyperAI pada 1 Ogos 2026, arkitek AscendNPU IR Hai Lijuan menerangkan bagaimana susunan berasaskan MLIR ini dibangunkan untuk tujuan tersebut. 37

Bagi pembangun, kepentingan praktikalnya terletak pada usaha memisahkan cara operator ditulis daripada kerja rumit seperti membahagikan pengiraan kepada tile, mengalihkan data antara tahap memori pada cip, menyelaras pengiraan Cube dan Vector serta menghasilkan kod peranti.

Peranan AscendNPU IR dalam pengkompil BiSheng

AscendNPU IR ialah perwakilan perantaraan (IR) berasaskan MLIR untuk menyusun operator yang dioptimumkan bagi Ascend. Reka bentuk berbilangnya tahap menyediakan antara muka aras tinggi yang menyembunyikan butiran arahan dan penyegerakan, selain antara muka aras rendah untuk pembangun yang memerlukan kawalan terperinci terhadap penempatan memori dan tingkah laku saluran paip. 411

Stack ini boleh menerima input melalui beberapa laluan. Bahasa khusus domain (DSL) seperti Triton dan TileLang boleh diturunkan ke AscendNPU IR. Input daripada framework dan pengkompil pula boleh disambungkan melalui Torch IR, Linalg/HFusion IR atau HIVM IR. Laluan aras lebih tinggi boleh melakukan penggabungan, tiling, pemecahan dan penjadualan secara automatik, manakala HIVM memberikan kawalan lebih langsung terhadap tahap storan dan saluran paip pengiraan Ascend. 522

Aliran ringkasnya kelihatan seperti berikut:

Triton, TileLang atau IR framework
              ↓
       AscendNPU IR berasaskan MLIR
              ↓
       Penurunan HFusion → HIVM
              ↓
       Arahan peranti dan binari Ascend

Dokumentasi repositori menunjukkan bahawa bishengir-compile boleh menukarkan MLIR kepada objek pada sisi peranti, yang kemudiannya didaftarkan dan dijalankan melalui runtime CANN. 6

Mengapa abstraksi aras tile penting

Tile ialah blok data tensor dan pengiraan yang bersaiz lebih mudah diurus. Tanpa abstraksi bersama, setiap bahasa hadapan perlu menerangkan satu demi satu pemindahan data, keputusan tahap memori, titik penyegerakan dan arahan perkakasan. AscendNPU IR sebaliknya menyediakan perwakilan berorientasikan tile yang boleh digunakan oleh pelbagai laluan pengkompil.

Abstraksi ini dibina secara berlapis. Pada tahap lebih tinggi, pembangun boleh menerangkan operasi tensor tanpa menetapkan setiap perincian perkakasan. Pada tahap lebih rendah, pengkompil boleh mendedahkan atau membuat inferens tentang penempatan data dalam GM, UB, L1 dan L0, serta penggunaan sumber Vector, Cube dan pemindahan data. 522

Hasilnya ialah pertukaran antara mudah alih dan penalaan prestasi. Kod Triton atau input daripada framework boleh menyasarkan asas pengkompil yang sama, sementara kod yang sangat sensitif terhadap prestasi boleh diturunkan ke perwakilan yang lebih memahami perkakasan. Dokumentasi seni bina rasmi menerangkan pendekatan ini sebagai abstraksi yang dipisahkan, yang secara berperingkat memodelkan arahan Ascend, sumber dalam teras, sumber antara teras dan sumber system-on-chip. 11

HFusion dan HIVM membahagikan tugas pengoptimuman

HFusion: penggabungan dan penjadualan aras tinggi

HFusion ialah lapisan yang agak bebas daripada butiran perkakasan dalam model pengkompil dua lapisan ini. Ia mewakili operasi tensor pada aras lebih tinggi dan melakukan transformasi seperti penggabungan, bufferization, tiling serta penjadualan sebelum pengkompil menetapkan arahan perkakasan secara terperinci. 1122

Pada tahap inilah beberapa operasi boleh digabungkan dan pengiraan yang besar boleh dibahagikan kepada tile yang sesuai dengan model pelaksanaan sasaran. Matlamatnya adalah mengekalkan makna pengiraan pada aras tinggi sambil menyediakan kerja tersebut untuk penurunan khusus Ascend.

HIVM: penurunan yang memahami perkakasan

HIVM ialah lapisan yang mengambil kira butiran perkakasan. Ia menukarkan ungkapan tile kepada operasi yang mencerminkan unit pengiraan, hierarki storan dan tingkah laku saluran paip Ascend. Tugasnya termasuk:

• memetakan operasi matriks kepada teras Cube dan operasi vektor kepada teras Vector;
• mengurus atau memasukkan komunikasi serta penyegerakan antara unit tersebut;
• mengurus memori workspace perantaraan;
• memetakan tensor logik kepada memori fizikal pada cip;
• mengendalikan susun atur berorientasikan Cube seperti perwakilan matriks fraktal; dan
• menerapkan vektorisasi, tensorisasi, saluran paip serta transformasi aras arahan. 214

Pembahagian ini membolehkan pengkompil mengoptimumkan pada dua jarak berbeza daripada perkakasan. HFusion boleh menilai struktur tensor yang lebih luas dan peluang penggabungan, manakala HIVM boleh menentukan memori serta sumber pelaksanaan yang diperlukan untuk menjalankan tile yang terhasil.

Perubahan yang dibawa oleh Ascend 950

Pembahagian HFusion/HIVM masih dikekalkan, tetapi lapisan yang memahami perkakasan kini perlu menyokong lebih daripada laluan SIMD berasaskan memori yang lebih awal. Bahan berkaitan Ascend 950 menerangkan sokongan untuk SIMD berasaskan daftar dan SIMT, di samping model pelaksanaan sedia ada. 2

SIMD berasaskan daftar

Dalam SIMD berasaskan daftar, data dimuatkan daripada memori pada cip ke dalam daftar, diproses di situ dan ditulis semula. Penggabungan pada peringkat daftar boleh mengekalkan nilai perantaraan dalam daftar merentasi beberapa operasi, sekali gus mengurangkan pemuatan dan penyimpanan berulang apabila bentuk pengiraan mengizinkannya. 2

SIMT untuk kerja yang kurang seragam

SIMT menyediakan pendekatan lain untuk bahagian operator yang sesuai dengan akses tidak teratur atau percabangan. Pendekatan yang diterangkan memisahkan kerja yang mendapat manfaat daripada SIMT daripada kerja padat yang lebih sesuai untuk SIMD, menggunakan transformasi yang sepadan bagi setiap bahagian dan kemudian menggabungkan hasilnya semula ke dalam pengiraan vektor yang lebih besar. 2

Komunikasi Cube–Vector yang lebih rapat

Pembentangan itu turut mengetengahkan perubahan pada interaksi Cube–Vector. Dalam sesetengah aliran A2/A3 terdahulu, pertukaran antara pengiraan Cube dan Vector menggunakan memori global. Pada Ascend 950, laluan yang diterangkan boleh memindahkan hasil Cube daripada L0C ke memori pada cip Vector, kemudian mengembalikan hasil Vector ke memori Cube. Ini mengurangkan jarak antara kedua-dua domain pelaksanaan. 2

Perubahan ini penting untuk operator yang melakukan kerja matriks pada Cube sebelum meneruskan pemprosesan vektor. Namun, pengkompil masih perlu menentukan lokasi tensor dan masa pemindahan yang diperlukan, khususnya apabila operasi Cube dan Vector muncul dalam cabang aliran kawalan yang berbeza.

Pass pengkompil yang menjadikan model ini praktikal

Beberapa pass yang dinamakan dalam dokumentasi menunjukkan bagaimana AscendNPU IR menukarkan abstraksi kepada keputusan sebenar berkaitan penjadualan dan memori.

InsertCVLoadStore

Aliran InsertCVLoadStore yang dipertingkatkan menganalisis komunikasi Cube–Vector merentasi aliran kawalan kompleks, bukannya memasukkan pemindahan berdasarkan padanan corak tempatan semata-mata. Ia menetapkan sauh lokasi memori—contohnya input matriks di L1, output matriks di L0C dan data vektor di UB—kemudian menyebarkan kekangan itu melalui program serta memasukkan penukaran atau salinan apabila domain memori bercanggah. 2

Bagi A2/A3, pertukaran yang diterangkan boleh menggunakan operasi muat dan simpan melalui memori global. Ascend 950 pula boleh menggunakan laluan pada cip yang lebih rapat apabila disokong. 2

MultiBuffer

MultiBuffer mewakili beberapa salinan tensor sedia ada. Ini menyokong penimbal ping-pong dan boleh membantu pertindihan pemindahan data dengan pengiraan, bergantung pada bajet memori dan jadual pelaksanaan. 1718

AutoBlockify dan DynamicCVPipeline

AutoBlockify dan DynamicCVPipeline ialah antara pass khusus Ascend dalam stack pengkompil Triton-Ascend. Namanya mencerminkan dua tugas utama: membahagikan pengiraan kepada blok yang boleh dilaksanakan dan membina tingkah laku saluran paip Cube–Vector. 19

Set ciri yang didokumentasikan turut merangkumi perancangan memori, penyegerakan, penjadualan dan pengoptimuman Cube–Vector secara automatik. 24

Pemecahan CV 1:2

Pembentangan itu menerangkan hubungan satu teras Cube kepada dua teras Vector bagi konfigurasi Ascend yang berkaitan. AutoSubTiling boleh membahagikan kerja Vector supaya dua teras Vector memproses bahagian berasingan secara serentak. 214

Apa maknanya kepada pembangun

Huawei membuka sumber AscendNPU IR bersama Triton-Ascend untuk pembangunan bersama komuniti. Triton-Ascend ialah framework kompilasi Triton yang disesuaikan untuk platform Ascend. Ia mengekalkan sintaks teras Triton sambil menambah sokongan kompilasi dan deployment khusus Ascend bagi produk siri A2, A3 dan 950. 3037

Pembukaan ini turut menyediakan laluan lebih terus kepada pembangun yang mahu mengusahakan pass pengkompil, integrasi bahasa hadapan, penurunan operator atau pengoptimuman yang memahami perkakasan, tanpa perlu membina keseluruhan stack pengkompil dari awal. Program komuniti yang dilaporkan merangkumi latihan industri berkaitan repositori dan ganjaran berasaskan tugasan. Pembangun boleh menuntut tugasan yang disenaraikan dan menghantar hasil kerja mengikut peraturan program. 31

Pembangun yang tidak mempunyai perkakasan Ascend tempatan pula dilaporkan boleh menggunakan HiDevLab, persekitaran awan komuniti Ascend, dengan 100 jam pengiraan percuma. Sumber yang tersedia mengesahkan jumlah tersebut, tetapi tidak memperincikan semua syarat kelayakan, pengesahan, tarikh luput atau ketersediaan mengikut wilayah. Oleh itu, terma semasa pendaftaran perlu disemak. 31

Kesimpulan

Cadangan utama AscendNPU IR bersifat seni bina: menjadikan perkakasan Ascend lebih mudah dicapai melalui pintu masuk pengkompil yang biasa, sambil mengekalkan laluan untuk penalaan perkakasan secara terperinci. Triton, TileLang dan IR framework boleh masuk pada tahap abstraksi lebih tinggi; HFusion melakukan transformasi menyeluruh; dan HIVM menurunkan tile kepada keputusan berkaitan memori, teras, komunikasi serta saluran paip yang diperlukan oleh peranti Ascend. 511

Ascend 950 meningkatkan ruang pengoptimuman dengan SIMD berasaskan daftar, SIMT dan laluan data Cube–Vector pada cip yang lebih rapat. Namun, peningkatan itu tidak semestinya menghasilkan prestasi dunia sebenar yang lebih baik untuk semua operator. Hasilnya masih bergantung pada bentuk operator, tekanan memori, aliran kawalan, kematangan pengkompil dan cip sasaran.

Dengan membuka sumber stack ini, Huawei menjadikan pertukaran tersebut lebih mudah diperiksa—dan memberi pembangun pengkompil serta operator peluang untuk membantu memperbaikinya.

AscendNPU IR bukan bahasa pengaturcaraan baharu untuk pengguna akhir. Ia ialah asas pengkompil terbuka di bawah pengkompil BiSheng Huawei—lapisan perantaraan yang cuba menghubungkan Triton dan ekosistem operator lain dengan perkakasan Ascend. Pada salon teknikal Meet AI Compiler ke-9 anjuran HyperAI pada 1 Ogos 2026, arkitek AscendNPU IR Hai Lijuan menerangkan bagaimana susunan berasaskan MLIR ini dibangunkan untuk tujuan tersebut. 37

Bagi pembangun, kepentingan praktikalnya terletak pada usaha memisahkan cara operator ditulis daripada kerja rumit seperti membahagikan pengiraan kepada tile, mengalihkan data antara tahap memori pada cip, menyelaras pengiraan Cube dan Vector serta menghasilkan kod peranti.

Peranan AscendNPU IR dalam pengkompil BiSheng

AscendNPU IR ialah perwakilan perantaraan (IR) berasaskan MLIR untuk menyusun operator yang dioptimumkan bagi Ascend. Reka bentuk berbilangnya tahap menyediakan antara muka aras tinggi yang menyembunyikan butiran arahan dan penyegerakan, selain antara muka aras rendah untuk pembangun yang memerlukan kawalan terperinci terhadap penempatan memori dan tingkah laku saluran paip. 411

Stack ini boleh menerima input melalui beberapa laluan. Bahasa khusus domain (DSL) seperti Triton dan TileLang boleh diturunkan ke AscendNPU IR. Input daripada framework dan pengkompil pula boleh disambungkan melalui Torch IR, Linalg/HFusion IR atau HIVM IR. Laluan aras lebih tinggi boleh melakukan penggabungan, tiling, pemecahan dan penjadualan secara automatik, manakala HIVM memberikan kawalan lebih langsung terhadap tahap storan dan saluran paip pengiraan Ascend. 522

Aliran ringkasnya kelihatan seperti berikut:

Triton, TileLang atau IR framework
              ↓
       AscendNPU IR berasaskan MLIR
              ↓
       Penurunan HFusion → HIVM
              ↓
       Arahan peranti dan binari Ascend

Dokumentasi repositori menunjukkan bahawa bishengir-compile boleh menukarkan MLIR kepada objek pada sisi peranti, yang kemudiannya didaftarkan dan dijalankan melalui runtime CANN. 6

Mengapa abstraksi aras tile penting

Tile ialah blok data tensor dan pengiraan yang bersaiz lebih mudah diurus. Tanpa abstraksi bersama, setiap bahasa hadapan perlu menerangkan satu demi satu pemindahan data, keputusan tahap memori, titik penyegerakan dan arahan perkakasan. AscendNPU IR sebaliknya menyediakan perwakilan berorientasikan tile yang boleh digunakan oleh pelbagai laluan pengkompil.

Abstraksi ini dibina secara berlapis. Pada tahap lebih tinggi, pembangun boleh menerangkan operasi tensor tanpa menetapkan setiap perincian perkakasan. Pada tahap lebih rendah, pengkompil boleh mendedahkan atau membuat inferens tentang penempatan data dalam GM, UB, L1 dan L0, serta penggunaan sumber Vector, Cube dan pemindahan data. 522

Hasilnya ialah pertukaran antara mudah alih dan penalaan prestasi. Kod Triton atau input daripada framework boleh menyasarkan asas pengkompil yang sama, sementara kod yang sangat sensitif terhadap prestasi boleh diturunkan ke perwakilan yang lebih memahami perkakasan. Dokumentasi seni bina rasmi menerangkan pendekatan ini sebagai abstraksi yang dipisahkan, yang secara berperingkat memodelkan arahan Ascend, sumber dalam teras, sumber antara teras dan sumber system-on-chip. 11

HFusion dan HIVM membahagikan tugas pengoptimuman

HFusion: penggabungan dan penjadualan aras tinggi

HFusion ialah lapisan yang agak bebas daripada butiran perkakasan dalam model pengkompil dua lapisan ini. Ia mewakili operasi tensor pada aras lebih tinggi dan melakukan transformasi seperti penggabungan, bufferization, tiling serta penjadualan sebelum pengkompil menetapkan arahan perkakasan secara terperinci. 1122

Pada tahap inilah beberapa operasi boleh digabungkan dan pengiraan yang besar boleh dibahagikan kepada tile yang sesuai dengan model pelaksanaan sasaran. Matlamatnya adalah mengekalkan makna pengiraan pada aras tinggi sambil menyediakan kerja tersebut untuk penurunan khusus Ascend.

HIVM: penurunan yang memahami perkakasan

HIVM ialah lapisan yang mengambil kira butiran perkakasan. Ia menukarkan ungkapan tile kepada operasi yang mencerminkan unit pengiraan, hierarki storan dan tingkah laku saluran paip Ascend. Tugasnya termasuk:

• memetakan operasi matriks kepada teras Cube dan operasi vektor kepada teras Vector;
• mengurus atau memasukkan komunikasi serta penyegerakan antara unit tersebut;
• mengurus memori workspace perantaraan;
• memetakan tensor logik kepada memori fizikal pada cip;
• mengendalikan susun atur berorientasikan Cube seperti perwakilan matriks fraktal; dan
• menerapkan vektorisasi, tensorisasi, saluran paip serta transformasi aras arahan. 214

Pembahagian ini membolehkan pengkompil mengoptimumkan pada dua jarak berbeza daripada perkakasan. HFusion boleh menilai struktur tensor yang lebih luas dan peluang penggabungan, manakala HIVM boleh menentukan memori serta sumber pelaksanaan yang diperlukan untuk menjalankan tile yang terhasil.

Perubahan yang dibawa oleh Ascend 950

Pembahagian HFusion/HIVM masih dikekalkan, tetapi lapisan yang memahami perkakasan kini perlu menyokong lebih daripada laluan SIMD berasaskan memori yang lebih awal. Bahan berkaitan Ascend 950 menerangkan sokongan untuk SIMD berasaskan daftar dan SIMT, di samping model pelaksanaan sedia ada. 2

SIMD berasaskan daftar

Dalam SIMD berasaskan daftar, data dimuatkan daripada memori pada cip ke dalam daftar, diproses di situ dan ditulis semula. Penggabungan pada peringkat daftar boleh mengekalkan nilai perantaraan dalam daftar merentasi beberapa operasi, sekali gus mengurangkan pemuatan dan penyimpanan berulang apabila bentuk pengiraan mengizinkannya. 2

SIMT untuk kerja yang kurang seragam

SIMT menyediakan pendekatan lain untuk bahagian operator yang sesuai dengan akses tidak teratur atau percabangan. Pendekatan yang diterangkan memisahkan kerja yang mendapat manfaat daripada SIMT daripada kerja padat yang lebih sesuai untuk SIMD, menggunakan transformasi yang sepadan bagi setiap bahagian dan kemudian menggabungkan hasilnya semula ke dalam pengiraan vektor yang lebih besar. 2

Komunikasi Cube–Vector yang lebih rapat

Pembentangan itu turut mengetengahkan perubahan pada interaksi Cube–Vector. Dalam sesetengah aliran A2/A3 terdahulu, pertukaran antara pengiraan Cube dan Vector menggunakan memori global. Pada Ascend 950, laluan yang diterangkan boleh memindahkan hasil Cube daripada L0C ke memori pada cip Vector, kemudian mengembalikan hasil Vector ke memori Cube. Ini mengurangkan jarak antara kedua-dua domain pelaksanaan. 2

Perubahan ini penting untuk operator yang melakukan kerja matriks pada Cube sebelum meneruskan pemprosesan vektor. Namun, pengkompil masih perlu menentukan lokasi tensor dan masa pemindahan yang diperlukan, khususnya apabila operasi Cube dan Vector muncul dalam cabang aliran kawalan yang berbeza.

Pass pengkompil yang menjadikan model ini praktikal

Beberapa pass yang dinamakan dalam dokumentasi menunjukkan bagaimana AscendNPU IR menukarkan abstraksi kepada keputusan sebenar berkaitan penjadualan dan memori.

InsertCVLoadStore

Aliran InsertCVLoadStore yang dipertingkatkan menganalisis komunikasi Cube–Vector merentasi aliran kawalan kompleks, bukannya memasukkan pemindahan berdasarkan padanan corak tempatan semata-mata. Ia menetapkan sauh lokasi memori—contohnya input matriks di L1, output matriks di L0C dan data vektor di UB—kemudian menyebarkan kekangan itu melalui program serta memasukkan penukaran atau salinan apabila domain memori bercanggah. 2

Bagi A2/A3, pertukaran yang diterangkan boleh menggunakan operasi muat dan simpan melalui memori global. Ascend 950 pula boleh menggunakan laluan pada cip yang lebih rapat apabila disokong. 2

MultiBuffer

MultiBuffer mewakili beberapa salinan tensor sedia ada. Ini menyokong penimbal ping-pong dan boleh membantu pertindihan pemindahan data dengan pengiraan, bergantung pada bajet memori dan jadual pelaksanaan. 1718

AutoBlockify dan DynamicCVPipeline

AutoBlockify dan DynamicCVPipeline ialah antara pass khusus Ascend dalam stack pengkompil Triton-Ascend. Namanya mencerminkan dua tugas utama: membahagikan pengiraan kepada blok yang boleh dilaksanakan dan membina tingkah laku saluran paip Cube–Vector. 19

Set ciri yang didokumentasikan turut merangkumi perancangan memori, penyegerakan, penjadualan dan pengoptimuman Cube–Vector secara automatik. 24

Pemecahan CV 1:2

Pembentangan itu menerangkan hubungan satu teras Cube kepada dua teras Vector bagi konfigurasi Ascend yang berkaitan. AutoSubTiling boleh membahagikan kerja Vector supaya dua teras Vector memproses bahagian berasingan secara serentak. 214

Apa maknanya kepada pembangun

Huawei membuka sumber AscendNPU IR bersama Triton-Ascend untuk pembangunan bersama komuniti. Triton-Ascend ialah framework kompilasi Triton yang disesuaikan untuk platform Ascend. Ia mengekalkan sintaks teras Triton sambil menambah sokongan kompilasi dan deployment khusus Ascend bagi produk siri A2, A3 dan 950. 3037

Pembukaan ini turut menyediakan laluan lebih terus kepada pembangun yang mahu mengusahakan pass pengkompil, integrasi bahasa hadapan, penurunan operator atau pengoptimuman yang memahami perkakasan, tanpa perlu membina keseluruhan stack pengkompil dari awal. Program komuniti yang dilaporkan merangkumi latihan industri berkaitan repositori dan ganjaran berasaskan tugasan. Pembangun boleh menuntut tugasan yang disenaraikan dan menghantar hasil kerja mengikut peraturan program. 31

Pembangun yang tidak mempunyai perkakasan Ascend tempatan pula dilaporkan boleh menggunakan HiDevLab, persekitaran awan komuniti Ascend, dengan 100 jam pengiraan percuma. Sumber yang tersedia mengesahkan jumlah tersebut, tetapi tidak memperincikan semua syarat kelayakan, pengesahan, tarikh luput atau ketersediaan mengikut wilayah. Oleh itu, terma semasa pendaftaran perlu disemak. 31

Kesimpulan

Cadangan utama AscendNPU IR bersifat seni bina: menjadikan perkakasan Ascend lebih mudah dicapai melalui pintu masuk pengkompil yang biasa, sambil mengekalkan laluan untuk penalaan perkakasan secara terperinci. Triton, TileLang dan IR framework boleh masuk pada tahap abstraksi lebih tinggi; HFusion melakukan transformasi menyeluruh; dan HIVM menurunkan tile kepada keputusan berkaitan memori, teras, komunikasi serta saluran paip yang diperlukan oleh peranti Ascend. 511

Ascend 950 meningkatkan ruang pengoptimuman dengan SIMD berasaskan daftar, SIMT dan laluan data Cube–Vector pada cip yang lebih rapat. Namun, peningkatan itu tidak semestinya menghasilkan prestasi dunia sebenar yang lebih baik untuk semua operator. Hasilnya masih bergantung pada bentuk operator, tekanan memori, aliran kawalan, kematangan pengkompil dan cip sasaran.

Dengan membuka sumber stack ini, Huawei menjadikan pertukaran tersebut lebih mudah diperiksa—dan memberi pembangun pengkompil serta operator peluang untuk membantu memperbaikinya.