OceanStor M900 dan Batas Memori AI: Apa yang Dijanjikan Huawei?

Saat AI menangani percakapan panjang atau menjalankan tugas lewat agen, proses inferensinya menghasilkan key-value cache (cache KV): data konteks yang dapat digunakan kembali. Masalahnya, kapasitas memori yang dekat dengan prosesor terbatas. Huawei merancang OceanStor M900 untuk menampung lebih banyak cache KV pada lapisan SSD bersama, di bawah memori dalam chip dan DRAM. SSD di sini menambah ruang penyimpanan konteks, bukan menggantikan memori tercepat milik NPU, yaitu prosesor yang menjalankan komputasi AI. 81012

Kapasitas besar itu dibagi bersama

Menurut Huawei, jaringan interkoneksi Lingqu atau UnifiedBus menggabungkan cache KV di seluruh SuperPoD—sistem yang mengelompokkan banyak akselerator AI—dan mengatur penempatannya di memori dalam chip, DRAM, serta SSD. Huawei mengklaim kapasitas hingga 64 PB per klaster, sementara cache KV yang dapat diakses setiap NPU meningkat dari skala gigabita ke terabita. Artinya, NPU memperoleh akses ke kapasitas bersama yang bertingkat, bukan tambahan terabita memori fisik di dalam chip. 810

M900 diposisikan sebagai penyimpanan konteks untuk inferensi, bukan chip komputasi baru atau pengganti jaringan interkoneksi. Huawei menyebutnya dirancang untuk beban kerja berbasis agen dan konteks panjang; laporan industri mengidentifikasi Atlas 960 SuperPoD sebagai salah satu lingkungan sasarannya. 126

Jalur akses dan klaim kecepatan

Huawei menyatakan integrasi fungsi CPU, pengendali jaringan, dan pengendali NAND memungkinkan akses satu lompatan dari NPU ke SSD, tanpa penerusan oleh CPU atau konversi protokol. Perusahaan mengklaim latensi akses turun 90% menjadi 60 mikrodetik. Huawei juga menyebut bandwidth gabungan 40 TB/detik per klaster, atau 1,5 kali angka solusi pembandingnya. Itu angka untuk seluruh klaster, bukan jaminan bandwidth bagi masing-masing NPU. 8

Dalam skenario yang Huawei sebut sebagai pemrograman AI tipikal, perusahaan mengklaim jumlah token yang dihasilkan klaster inferensi per satuan waktu menjadi dua kali lipat dan waktu hingga token pertama terpangkas separuh. Hasil pada skenario tersebut tidak berarti setiap permintaan berkonteks panjang atau berbasis agen akan mengalami peningkatan yang sama. 814

Ketahanan SSD dan pertanyaan biaya

Teknologi KV-Aware pada M900, menurut Huawei, memperkirakan masa pakai data cache dan mengatur penempatannya pada berbagai media. Perusahaan mengklaim dukungan hingga 24 kali penulisan ulang kapasitas drive per hari (DWPD), umur media SSD 16 kali lebih panjang, serta operasi stabil selama tiga tahun. Huawei berpendapat berkurangnya penggantian SSD dan pekerjaan pemeliharaan dapat menekan biaya inferensi. Namun, bahan yang tersedia belum menunjukkan penghematan biaya per token yang terukur. 8

Jadi, ada perbedaan penting antara lebih banyak kapasitas cache yang dapat dijangkau dan inferensi yang terbukti lebih cepat serta lebih murah pada skala besar. Pengujian independen masih diperlukan untuk mengukur kapasitas yang benar-benar dapat dipakai dan tingkat keberhasilan penggunaan ulang cache pada beban kerja nyata; latensi dan bandwidth berkelanjutan saat akses bersaing; peningkatan produksi token dibandingkan acuan yang jelas; serta keausan SSD dan total biaya dari waktu ke waktu. Liputan pihak ketiga yang tersedia mengutip angka performa Huawei, bukan memvalidasinya lewat pengujian mandiri. 614