Huawei juga mencatat pencapaian penting. Kombinasi Ascend 950DT dan framework CANN memberikan dukungan full-stack sejak hari pertama, setara dengan Nvidia. Ini disebut sebagai kali pertama platform non-CUDA mampu menyamai kesiapan Nvidia untuk model frontier berskala tersebut .

Pengujian independen pada Ascend 950PR menunjukkan kemampuan komputasi FP4 sebesar 2,87 kali laju H20 dan inferensi model Mixture of Experts (MoE) hingga 1,96 kali lebih cepat dalam proses reinforcement learning (RL) rollout . Namun, batasan manufaktur membuat puncak performa absolut hardware Huawei masih berada di bawah solusi Nvidia terbaik.

AMD menghadapi situasi yang jauh lebih sulit. Pada hari pertama, MI355X hanya dapat menjalankan format FP8; checkpoint asli FP4+FP8 belum bisa digunakan. Dalam beban kerja 8K/1K, performanya hanya 20,4 token per detik per GPU dengan interaktivitas 2,4 token per detik per pengguna . Pada tahap itu, stack ROCm belum benar-benar dioptimalkan untuk model sebesar ini.

Dalam 26 hari, AMD berbalik 110,5x

Perubahan setelah peluncuran menjadi salah satu contoh paling mencolok tentang besarnya dampak software pada infrastruktur AI.

Selama 26 hari, tim engineering AMD SGLang di bawah kepemimpinan teknis HaiShaw menggabungkan 31 pull request optimasi performa ke cabang amd/deepseek_v4 . Perbaikan tersebut menyentuh berbagai lapisan stack ROCm yang sebelumnya praktis belum diuji pada model MoE dengan skala seperti DeepSeek V4 Pro.

Pada hari ke-26, atau 20 Mei 2026, MI355X mencapai 2.256 token per detik per GPU dengan interaktivitas 9,4 token per detik per pengguna pada beban kerja 8K/1K. Angka itu berarti peningkatan throughput 110,5 kali dibanding titik awal 20,4 token per detik per GPU. Interaktivitasnya juga meningkat 3,85 kali .

Kombinasi ini cukup langka. Biasanya, peningkatan jumlah pengguna yang dapat dilayani akan mengorbankan kecepatan respons per pengguna. Dalam pengujian ini, kedua metrik justru membaik secara bersamaan.

Pada tingkat interaktivitas yang sebanding di InferenceX, MI355X pada hari ke-26 mencatat sekitar 1.411 token per detik per GPU. Posisi tersebut menempatkannya dalam kelas persaingan yang sama dengan Nvidia B200 pada tingkat interaktivitas rendah .

MI355X tetap tertinggal dari GB300 NVL72, yang dapat mencapai 11.474 token per detik per GPU dalam kondisi optimal. Namun, perubahan arahnya penting: AMD beralih dari hardware yang nyaris tidak dapat digunakan saat peluncuran menjadi produk inferensi yang layak .

Papan peringkat setelah 43 hari

Biaya per satu juta token memperjelas sisi ekonominya. Pada tingkat interaktivitas rendah, GB300 NVL72 menghasilkan token dengan biaya $0,064 per juta token, sekitar 4,5 kali lebih murah daripada MI355X yang berada di $0,291 .

Pada interaktivitas yang lebih tinggi—dengan konkurensi lebih rendah tetapi kecepatan per pengguna lebih tinggi—MI355X mulai kompetitif terhadap B200. Keduanya berada di kisaran $1,22–$1,45 per juta token pada sekitar 23–24 pengguna bersamaan .

Angka-angka ini merupakan hasil pengujian pada titik operasi tertentu, sehingga tidak bisa dibaca sebagai harga tetap untuk semua konfigurasi layanan. Beban kerja, tingkat konkurensi, presisi numerik, dan konfigurasi sistem dapat mengubah hasilnya.

Mengapa konteks satu juta token akhirnya masuk akal?

Keunggulan hardware saja tidak cukup untuk membuat model 1,6 triliun parameter layak dilayani secara komersial. Faktor penentunya ada pada arsitektur DeepSeek V4.

Pada Transformer standar, biaya mekanisme perhatian meningkat secara kuadratik seiring panjang konteks. Ketika konteks mencapai satu juta token, kebutuhan komputasi dan memori dapat membuat inferensi tidak ekonomis. DeepSeek V4 mengatasi masalah ini dengan menggabungkan dua mekanisme perhatian.

Compressed Sparse Attention

Compressed Sparse Attention (CSA) bekerja pada tingkat yang lebih rinci. Sekitar empat token dikelompokkan menjadi satu entri Key-Value (KV) terpelajar menggunakan pembobotan yang bergantung pada data dan jendela yang saling tumpang tindih. Setelah itu, setiap token kueri hanya memperhatikan entri terkompresi yang paling relevan. Pemilihan tersebut dibantu komponen bernama Lightning Indexer .

Cabang sliding-window attention tetap berjalan bersamaan untuk mempertahankan ketelitian pada konteks lokal .

Heavily Compressed Attention

Heavily Compressed Attention (HCA) mengambil pendekatan yang lebih agresif. Hingga 128 token diringkas menjadi satu entri KV, kemudian mekanisme perhatian padat diterapkan pada aliran yang sudah sangat terkompresi .

HCA mengorbankan sebagian presisi pengambilan informasi demi cakupan global yang lebih menyeluruh dengan biaya tambahan yang sangat kecil. Mekanisme ini digunakan pada lapisan awal untuk memberikan gambaran konteks secara murah, sementara lapisan akhir tetap mempertahankan perhatian penuh demi presisi .

Dampaknya pada komputasi dan memori

Pada konteks satu juta token, dibandingkan DeepSeek V3.2, DeepSeek V4 Pro membutuhkan:

• 27% FLOPs inferensi per token, atau pengurangan sebesar 73% ;
• sekitar 10% memori cache KV, atau pengurangan sekitar 90% ;
• sekitar 2% dari jejak cache jika dibandingkan dengan baseline GQA bfloat16 .

Untuk model V4 Flash yang lebih kecil, kebutuhannya turun lebih jauh menjadi 10% FLOPs dan 7% cache KV dibandingkan V3.2 .

Tanpa CSA dan HCA, V4 Pro dengan 1,6 triliun parameter pada konteks satu juta token kemungkinan besar hanya akan menjadi eksperimen teknis yang menarik, tetapi sulit dilayani secara komersial. Dengan kedua mekanisme tersebut, model itu mulai terlihat seperti produk yang dapat dioperasikan.

Apa arti temuan ini bagi industri AI?

Data 43 hari SemiAnalysis menyampaikan tiga pesan utama.

Pertama, keunggulan ekosistem Nvidia masih sangat besar. CUDA siap sejak hari pertama, dukungan framework-nya luas, dan hardware Blackwell tetap memimpin throughput serta efisiensi biaya dalam banyak titik operasi.

Kedua, Huawei berhasil menutup kesenjangan kesiapan software. Ascend dan CANN dapat mendukung model ini sejak hari peluncuran, sebuah perkembangan penting bagi ekosistem AI non-Nvidia. Namun, performa puncak hardware-nya masih dipengaruhi keterbatasan manufaktur .

Ketiga, AMD membuktikan bahwa MI355X memiliki potensi, tetapi ROCm masih dapat menjadi penghambat ketika model frontier baru dirilis. Peningkatan 110,5 kali dalam 26 hari memang mengesankan—namun kebutuhan akan upaya engineering yang sangat intensif untuk setiap model baru menunjukkan bahwa kematangan software tetap menjadi pekerjaan rumah.

Pada akhirnya, cerita terbesarnya bukan hanya soal siapa yang memiliki GPU tercepat. DeepSeek V4 menunjukkan bahwa desain model dapat mengubah batas ekonomi layanan AI. Ketika model 1,6 triliun parameter dengan konteks satu juta token dapat dijalankan dengan biaya yang jauh lebih rendah pada hardware dan software yang tepat, pertanyaannya bergeser dari “apakah ini bisa dilakukan?” menjadi “layanan apa yang kini bisa dibangun?”

Huawei juga mencatat pencapaian penting. Kombinasi Ascend 950DT dan framework CANN memberikan dukungan full-stack sejak hari pertama, setara dengan Nvidia. Ini disebut sebagai kali pertama platform non-CUDA mampu menyamai kesiapan Nvidia untuk model frontier berskala tersebut .

Pengujian independen pada Ascend 950PR menunjukkan kemampuan komputasi FP4 sebesar 2,87 kali laju H20 dan inferensi model Mixture of Experts (MoE) hingga 1,96 kali lebih cepat dalam proses reinforcement learning (RL) rollout . Namun, batasan manufaktur membuat puncak performa absolut hardware Huawei masih berada di bawah solusi Nvidia terbaik.

AMD menghadapi situasi yang jauh lebih sulit. Pada hari pertama, MI355X hanya dapat menjalankan format FP8; checkpoint asli FP4+FP8 belum bisa digunakan. Dalam beban kerja 8K/1K, performanya hanya 20,4 token per detik per GPU dengan interaktivitas 2,4 token per detik per pengguna . Pada tahap itu, stack ROCm belum benar-benar dioptimalkan untuk model sebesar ini.

Dalam 26 hari, AMD berbalik 110,5x

Perubahan setelah peluncuran menjadi salah satu contoh paling mencolok tentang besarnya dampak software pada infrastruktur AI.

Selama 26 hari, tim engineering AMD SGLang di bawah kepemimpinan teknis HaiShaw menggabungkan 31 pull request optimasi performa ke cabang amd/deepseek_v4 . Perbaikan tersebut menyentuh berbagai lapisan stack ROCm yang sebelumnya praktis belum diuji pada model MoE dengan skala seperti DeepSeek V4 Pro.

Pada hari ke-26, atau 20 Mei 2026, MI355X mencapai 2.256 token per detik per GPU dengan interaktivitas 9,4 token per detik per pengguna pada beban kerja 8K/1K. Angka itu berarti peningkatan throughput 110,5 kali dibanding titik awal 20,4 token per detik per GPU. Interaktivitasnya juga meningkat 3,85 kali .

Kombinasi ini cukup langka. Biasanya, peningkatan jumlah pengguna yang dapat dilayani akan mengorbankan kecepatan respons per pengguna. Dalam pengujian ini, kedua metrik justru membaik secara bersamaan.

Pada tingkat interaktivitas yang sebanding di InferenceX, MI355X pada hari ke-26 mencatat sekitar 1.411 token per detik per GPU. Posisi tersebut menempatkannya dalam kelas persaingan yang sama dengan Nvidia B200 pada tingkat interaktivitas rendah .

MI355X tetap tertinggal dari GB300 NVL72, yang dapat mencapai 11.474 token per detik per GPU dalam kondisi optimal. Namun, perubahan arahnya penting: AMD beralih dari hardware yang nyaris tidak dapat digunakan saat peluncuran menjadi produk inferensi yang layak .

Papan peringkat setelah 43 hari

Biaya per satu juta token memperjelas sisi ekonominya. Pada tingkat interaktivitas rendah, GB300 NVL72 menghasilkan token dengan biaya $0,064 per juta token, sekitar 4,5 kali lebih murah daripada MI355X yang berada di $0,291 .

Pada interaktivitas yang lebih tinggi—dengan konkurensi lebih rendah tetapi kecepatan per pengguna lebih tinggi—MI355X mulai kompetitif terhadap B200. Keduanya berada di kisaran $1,22–$1,45 per juta token pada sekitar 23–24 pengguna bersamaan .

Angka-angka ini merupakan hasil pengujian pada titik operasi tertentu, sehingga tidak bisa dibaca sebagai harga tetap untuk semua konfigurasi layanan. Beban kerja, tingkat konkurensi, presisi numerik, dan konfigurasi sistem dapat mengubah hasilnya.

Mengapa konteks satu juta token akhirnya masuk akal?

Keunggulan hardware saja tidak cukup untuk membuat model 1,6 triliun parameter layak dilayani secara komersial. Faktor penentunya ada pada arsitektur DeepSeek V4.

Pada Transformer standar, biaya mekanisme perhatian meningkat secara kuadratik seiring panjang konteks. Ketika konteks mencapai satu juta token, kebutuhan komputasi dan memori dapat membuat inferensi tidak ekonomis. DeepSeek V4 mengatasi masalah ini dengan menggabungkan dua mekanisme perhatian.

Compressed Sparse Attention

Compressed Sparse Attention (CSA) bekerja pada tingkat yang lebih rinci. Sekitar empat token dikelompokkan menjadi satu entri Key-Value (KV) terpelajar menggunakan pembobotan yang bergantung pada data dan jendela yang saling tumpang tindih. Setelah itu, setiap token kueri hanya memperhatikan entri terkompresi yang paling relevan. Pemilihan tersebut dibantu komponen bernama Lightning Indexer .

Cabang sliding-window attention tetap berjalan bersamaan untuk mempertahankan ketelitian pada konteks lokal .

Heavily Compressed Attention

Heavily Compressed Attention (HCA) mengambil pendekatan yang lebih agresif. Hingga 128 token diringkas menjadi satu entri KV, kemudian mekanisme perhatian padat diterapkan pada aliran yang sudah sangat terkompresi .

HCA mengorbankan sebagian presisi pengambilan informasi demi cakupan global yang lebih menyeluruh dengan biaya tambahan yang sangat kecil. Mekanisme ini digunakan pada lapisan awal untuk memberikan gambaran konteks secara murah, sementara lapisan akhir tetap mempertahankan perhatian penuh demi presisi .

Dampaknya pada komputasi dan memori

Pada konteks satu juta token, dibandingkan DeepSeek V3.2, DeepSeek V4 Pro membutuhkan:

• 27% FLOPs inferensi per token, atau pengurangan sebesar 73% ;
• sekitar 10% memori cache KV, atau pengurangan sekitar 90% ;
• sekitar 2% dari jejak cache jika dibandingkan dengan baseline GQA bfloat16 .

Untuk model V4 Flash yang lebih kecil, kebutuhannya turun lebih jauh menjadi 10% FLOPs dan 7% cache KV dibandingkan V3.2 .

Tanpa CSA dan HCA, V4 Pro dengan 1,6 triliun parameter pada konteks satu juta token kemungkinan besar hanya akan menjadi eksperimen teknis yang menarik, tetapi sulit dilayani secara komersial. Dengan kedua mekanisme tersebut, model itu mulai terlihat seperti produk yang dapat dioperasikan.

Apa arti temuan ini bagi industri AI?

Data 43 hari SemiAnalysis menyampaikan tiga pesan utama.

Pertama, keunggulan ekosistem Nvidia masih sangat besar. CUDA siap sejak hari pertama, dukungan framework-nya luas, dan hardware Blackwell tetap memimpin throughput serta efisiensi biaya dalam banyak titik operasi.

Kedua, Huawei berhasil menutup kesenjangan kesiapan software. Ascend dan CANN dapat mendukung model ini sejak hari peluncuran, sebuah perkembangan penting bagi ekosistem AI non-Nvidia. Namun, performa puncak hardware-nya masih dipengaruhi keterbatasan manufaktur .

Ketiga, AMD membuktikan bahwa MI355X memiliki potensi, tetapi ROCm masih dapat menjadi penghambat ketika model frontier baru dirilis. Peningkatan 110,5 kali dalam 26 hari memang mengesankan—namun kebutuhan akan upaya engineering yang sangat intensif untuk setiap model baru menunjukkan bahwa kematangan software tetap menjadi pekerjaan rumah.

Pada akhirnya, cerita terbesarnya bukan hanya soal siapa yang memiliki GPU tercepat. DeepSeek V4 menunjukkan bahwa desain model dapat mengubah batas ekonomi layanan AI. Ketika model 1,6 triliun parameter dengan konteks satu juta token dapat dijalankan dengan biaya yang jauh lebih rendah pada hardware dan software yang tepat, pertanyaannya bergeser dari “apakah ini bisa dilakukan?” menjadi “layanan apa yang kini bisa dibangun?”