Huawei pula mencatat pencapaian yang jarang berlaku. Gabungan Ascend 950DT dan rangka kerja CANN mencapai sokongan penuh pada hari pelancaran—buat pertama kali, platform bukan CUDA menyamai tahap kesediaan Nvidia untuk model AI berskala frontier seperti ini . Ujian berasingan pada Ascend 950PR turut menunjukkan kadar pengiraan FP4 2.87 kali lebih pantas berbanding H20, manakala inferens model MoE dalam proses RL sehingga 1.96 kali lebih pantas .

Namun, had pembuatan cip masih mengekang prestasi puncak perkakasan Huawei. Dari segi kelajuan mutlak, ia masih ketinggalan di belakang konfigurasi Nvidia terbaik.

AMD pula bermula dengan sangat lemah. Pada hari pelancaran, MI355X hanya boleh menjalankan FP8 kerana checkpoint asli FP4+FP8 belum boleh digunakan. Dalam beban kerja 8K/1K, ia mencatat sekadar 20.4 token sesaat bagi setiap GPU pada 2.4 token sesaat bagi setiap pengguna . Pada ketika itu, timbunan ROCm lebih menyerupai pelaksanaan sementara berbanding sistem yang telah dioptimumkan.

Dalam 26 hari, AMD melonjak 110.5 kali

Apa yang berlaku selepas itu menjadi antara contoh paling ketara tentang sejauh mana perisian boleh mengubah prestasi perkakasan AI.

Dalam tempoh 26 hari, pasukan kejuruteraan AMD SGLang di bawah kepimpinan teknikal HaiShaw menggabungkan 31 permintaan tarik (pull request) penambahbaikan prestasi pada cabang amd/deepseek_v4 . Setiap perubahan menyasarkan lapisan berbeza dalam timbunan ROCm yang sebelum ini hampir tidak diuji dengan model MoE sebesar ini.

Menjelang hari ke-26, iaitu 20 Mei 2026, MI355X mencapai 2,256 token sesaat bagi setiap GPU pada 9.4 token sesaat bagi setiap pengguna untuk beban kerja 8K/1K. Itu bersamaan peningkatan throughput sebanyak 110.5 kali, sambil interaktiviti turut bertambah 3.85 kali .

Peningkatan pada kedua-dua ukuran itu penting. Biasanya, peningkatan throughput keseluruhan datang dengan pengorbanan pada kelajuan respons setiap pengguna. Dalam kes ini, kedua-duanya meningkat serentak.

Pada tahap interaktiviti yang setanding di InferenceX, MI355X pada hari ke-26 mencapai kira-kira 1,411 token sesaat bagi setiap GPU, lalu berada dalam kelompok persaingan yang sama dengan Nvidia B200 pada tahap interaktiviti rendah . Ia masih jauh di belakang GB300 NVL72, yang boleh mencecah 11,474 token sesaat bagi setiap GPU dalam keadaan optimum, tetapi perubahan trajektorinya jelas: MI355X berubah daripada hampir tidak boleh digunakan ketika pelancaran kepada pemecut inferens yang munasabah .

Kedudukan prestasi selepas 43 hari

Dari sudut ekonomi, GB300 NVL72 menghasilkan kos kira-kira $0.064 bagi setiap sejuta token pada tahap interaktiviti rendah—sekitar 4.5 kali lebih murah berbanding MI355X pada $0.291 bagi setiap sejuta token .

Pada tahap interaktiviti lebih tinggi, iaitu apabila bilangan pengguna serentak lebih rendah tetapi setiap pengguna memerlukan respons lebih pantas, MI355X menjadi lebih kompetitif berbanding B200. Kedua-duanya berada sekitar $1.22 hingga $1.45 bagi setiap sejuta token pada 23 hingga 24 pengguna serentak .

Mengapa seni bina DeepSeek V4 lebih penting daripada angka GPU

Angka penanda aras itu kelihatan mengagumkan, tetapi ia tidak akan membawa nilai ekonomi tanpa perubahan pada seni bina model.

Dalam Transformer biasa, kos perhatian meningkat secara kuadratik apabila panjang konteks bertambah. Pada konteks sejuta token, keperluan pengiraan dan memori boleh menjadikan penyajian model tidak praktikal. DeepSeek V4 menangani masalah ini dengan gabungan dua mekanisme perhatian.

Compressed Sparse Attention (CSA) beroperasi pada tahap lebih terperinci. Kira-kira empat token digabungkan menjadi satu entri KV terpelajar menggunakan pemberat yang bergantung pada data serta tetingkap bertindih. Model kemudian memilih hanya entri termampat yang paling relevan untuk setiap pertanyaan melalui komponen yang dipanggil Lightning Indexer . Cabang perhatian tetingkap gelongsor turut digunakan bagi mengekalkan ketepatan maklumat setempat .

Heavily Compressed Attention (HCA) mengambil pendekatan yang lebih agresif. Sehingga 128 token dimampatkan menjadi satu entri KV, sebelum perhatian padat digunakan pada aliran yang telah dipadatkan . Kaedah ini mengorbankan sedikit ketepatan mendapatkan semula maklumat demi liputan konteks global yang lebih menyeluruh dengan kos marginal yang sangat rendah. HCA digunakan pada lapisan awal untuk memberikan gambaran konteks yang luas, manakala lapisan akhir mengekalkan perhatian penuh bagi ketepatan maksimum .

Pada konteks sejuta token, hasilnya berbanding DeepSeek V3.2 adalah besar:

• FLOPs inferens bagi setiap token hanya 27% daripada V3.2, iaitu pengurangan 73%
• Memori cache KV hanya kira-kira 10% daripada V3.2, bersamaan pengurangan sekitar 90%
• Berbanding garis dasar GQA dalam format bfloat16, jejak cache KV adalah kira-kira 2%

Bagi model lebih kecil, V4 Flash, keperluan itu turun lebih jauh kepada 10% FLOPs dan 7% cache KV berbanding V3.2 .

Tanpa CSA dan HCA, model Pro dengan 1.6 trilion parameter serta konteks sejuta token mungkin sekadar projek eksperimen yang menarik tetapi sukar disajikan secara komersial. Dengan kedua-dua mekanisme itu, ia menjadi produk yang lebih praktikal untuk digunakan.

Tiga pengajaran utama daripada ujian 43 hari

Pertama, kelebihan ekosistem Nvidia masih besar. CUDA berfungsi pada hari pertama, manakala perkakasan Blackwell terus mendahului dari segi prestasi dan kos token dalam banyak keadaan.

Kedua, Huawei telah menutup jurang kesediaan perisian dengan sokongan penuh pada hari pelancaran melalui Ascend dan CANN. Ini merupakan perubahan penting bagi industri pemecut AI, walaupun had pembuatan cip masih mengehadkan prestasi mutlaknya.

Ketiga, AMD menunjukkan bahawa perkakasannya mempunyai potensi, tetapi ROCm masih boleh menjadi halangan apabila model frontier baharu dilancarkan. Peningkatan 110.5 kali dalam 26 hari membuktikan keupayaan pasukan perisian, tetapi hakikat bahawa usaha sebesar itu diperlukan untuk setiap model baharu juga mendedahkan kelemahan ekosistem.

Kesimpulan yang lebih besar datang daripada reka bentuk model DeepSeek sendiri. CSA dan HCA bukan sekadar menjadikan V4 lebih cekap; kedua-duanya mengubah perkara yang boleh disajikan secara ekonomi. Apabila model 1.6 trilion parameter dengan konteks sejuta token boleh dijalankan pada kos serendah beberapa sen bagi setiap sejuta token menggunakan perkakasan yang sesuai, persoalannya berubah daripada “bolehkah kita melakukannya?” kepada “apakah yang boleh kita bina dengannya?”

Huawei pula mencatat pencapaian yang jarang berlaku. Gabungan Ascend 950DT dan rangka kerja CANN mencapai sokongan penuh pada hari pelancaran—buat pertama kali, platform bukan CUDA menyamai tahap kesediaan Nvidia untuk model AI berskala frontier seperti ini . Ujian berasingan pada Ascend 950PR turut menunjukkan kadar pengiraan FP4 2.87 kali lebih pantas berbanding H20, manakala inferens model MoE dalam proses RL sehingga 1.96 kali lebih pantas .

Namun, had pembuatan cip masih mengekang prestasi puncak perkakasan Huawei. Dari segi kelajuan mutlak, ia masih ketinggalan di belakang konfigurasi Nvidia terbaik.

AMD pula bermula dengan sangat lemah. Pada hari pelancaran, MI355X hanya boleh menjalankan FP8 kerana checkpoint asli FP4+FP8 belum boleh digunakan. Dalam beban kerja 8K/1K, ia mencatat sekadar 20.4 token sesaat bagi setiap GPU pada 2.4 token sesaat bagi setiap pengguna . Pada ketika itu, timbunan ROCm lebih menyerupai pelaksanaan sementara berbanding sistem yang telah dioptimumkan.

Dalam 26 hari, AMD melonjak 110.5 kali

Apa yang berlaku selepas itu menjadi antara contoh paling ketara tentang sejauh mana perisian boleh mengubah prestasi perkakasan AI.

Dalam tempoh 26 hari, pasukan kejuruteraan AMD SGLang di bawah kepimpinan teknikal HaiShaw menggabungkan 31 permintaan tarik (pull request) penambahbaikan prestasi pada cabang amd/deepseek_v4 . Setiap perubahan menyasarkan lapisan berbeza dalam timbunan ROCm yang sebelum ini hampir tidak diuji dengan model MoE sebesar ini.

Menjelang hari ke-26, iaitu 20 Mei 2026, MI355X mencapai 2,256 token sesaat bagi setiap GPU pada 9.4 token sesaat bagi setiap pengguna untuk beban kerja 8K/1K. Itu bersamaan peningkatan throughput sebanyak 110.5 kali, sambil interaktiviti turut bertambah 3.85 kali .

Peningkatan pada kedua-dua ukuran itu penting. Biasanya, peningkatan throughput keseluruhan datang dengan pengorbanan pada kelajuan respons setiap pengguna. Dalam kes ini, kedua-duanya meningkat serentak.

Pada tahap interaktiviti yang setanding di InferenceX, MI355X pada hari ke-26 mencapai kira-kira 1,411 token sesaat bagi setiap GPU, lalu berada dalam kelompok persaingan yang sama dengan Nvidia B200 pada tahap interaktiviti rendah . Ia masih jauh di belakang GB300 NVL72, yang boleh mencecah 11,474 token sesaat bagi setiap GPU dalam keadaan optimum, tetapi perubahan trajektorinya jelas: MI355X berubah daripada hampir tidak boleh digunakan ketika pelancaran kepada pemecut inferens yang munasabah .

Kedudukan prestasi selepas 43 hari

Dari sudut ekonomi, GB300 NVL72 menghasilkan kos kira-kira $0.064 bagi setiap sejuta token pada tahap interaktiviti rendah—sekitar 4.5 kali lebih murah berbanding MI355X pada $0.291 bagi setiap sejuta token .

Pada tahap interaktiviti lebih tinggi, iaitu apabila bilangan pengguna serentak lebih rendah tetapi setiap pengguna memerlukan respons lebih pantas, MI355X menjadi lebih kompetitif berbanding B200. Kedua-duanya berada sekitar $1.22 hingga $1.45 bagi setiap sejuta token pada 23 hingga 24 pengguna serentak .

Mengapa seni bina DeepSeek V4 lebih penting daripada angka GPU

Angka penanda aras itu kelihatan mengagumkan, tetapi ia tidak akan membawa nilai ekonomi tanpa perubahan pada seni bina model.

Dalam Transformer biasa, kos perhatian meningkat secara kuadratik apabila panjang konteks bertambah. Pada konteks sejuta token, keperluan pengiraan dan memori boleh menjadikan penyajian model tidak praktikal. DeepSeek V4 menangani masalah ini dengan gabungan dua mekanisme perhatian.

Compressed Sparse Attention (CSA) beroperasi pada tahap lebih terperinci. Kira-kira empat token digabungkan menjadi satu entri KV terpelajar menggunakan pemberat yang bergantung pada data serta tetingkap bertindih. Model kemudian memilih hanya entri termampat yang paling relevan untuk setiap pertanyaan melalui komponen yang dipanggil Lightning Indexer . Cabang perhatian tetingkap gelongsor turut digunakan bagi mengekalkan ketepatan maklumat setempat .

Heavily Compressed Attention (HCA) mengambil pendekatan yang lebih agresif. Sehingga 128 token dimampatkan menjadi satu entri KV, sebelum perhatian padat digunakan pada aliran yang telah dipadatkan . Kaedah ini mengorbankan sedikit ketepatan mendapatkan semula maklumat demi liputan konteks global yang lebih menyeluruh dengan kos marginal yang sangat rendah. HCA digunakan pada lapisan awal untuk memberikan gambaran konteks yang luas, manakala lapisan akhir mengekalkan perhatian penuh bagi ketepatan maksimum .

Pada konteks sejuta token, hasilnya berbanding DeepSeek V3.2 adalah besar:

• FLOPs inferens bagi setiap token hanya 27% daripada V3.2, iaitu pengurangan 73%
• Memori cache KV hanya kira-kira 10% daripada V3.2, bersamaan pengurangan sekitar 90%
• Berbanding garis dasar GQA dalam format bfloat16, jejak cache KV adalah kira-kira 2%

Bagi model lebih kecil, V4 Flash, keperluan itu turun lebih jauh kepada 10% FLOPs dan 7% cache KV berbanding V3.2 .

Tanpa CSA dan HCA, model Pro dengan 1.6 trilion parameter serta konteks sejuta token mungkin sekadar projek eksperimen yang menarik tetapi sukar disajikan secara komersial. Dengan kedua-dua mekanisme itu, ia menjadi produk yang lebih praktikal untuk digunakan.

Tiga pengajaran utama daripada ujian 43 hari

Pertama, kelebihan ekosistem Nvidia masih besar. CUDA berfungsi pada hari pertama, manakala perkakasan Blackwell terus mendahului dari segi prestasi dan kos token dalam banyak keadaan.

Kedua, Huawei telah menutup jurang kesediaan perisian dengan sokongan penuh pada hari pelancaran melalui Ascend dan CANN. Ini merupakan perubahan penting bagi industri pemecut AI, walaupun had pembuatan cip masih mengehadkan prestasi mutlaknya.

Ketiga, AMD menunjukkan bahawa perkakasannya mempunyai potensi, tetapi ROCm masih boleh menjadi halangan apabila model frontier baharu dilancarkan. Peningkatan 110.5 kali dalam 26 hari membuktikan keupayaan pasukan perisian, tetapi hakikat bahawa usaha sebesar itu diperlukan untuk setiap model baharu juga mendedahkan kelemahan ekosistem.

Kesimpulan yang lebih besar datang daripada reka bentuk model DeepSeek sendiri. CSA dan HCA bukan sekadar menjadikan V4 lebih cekap; kedua-duanya mengubah perkara yang boleh disajikan secara ekonomi. Apabila model 1.6 trilion parameter dengan konteks sejuta token boleh dijalankan pada kos serendah beberapa sen bagi setiap sejuta token menggunakan perkakasan yang sesuai, persoalannya berubah daripada “bolehkah kita melakukannya?” kepada “apakah yang boleh kita bina dengannya?”