OceanStor M900: Cara Huawei mahu meluaskan ruang cache AI

Apabila sistem AI memproses konteks yang panjang atau menjalankan tugasan melalui ejen, ia boleh menghasilkan cache key-value (KV) yang berguna untuk digunakan semula. Masalahnya, tidak semua cache itu dapat disimpan dekat dengan pemproses. Huawei OceanStor M900 cuba mengatasi had kapasiti ini dengan menambah lapisan cache berasaskan SSD yang dikongsi, di samping memori dalam cip dan DRAM. SSD meluaskan ruang simpanan; ia bukan pengganti memori terpantas pada unit pemprosesan neural (NPU). 81012

Ruang cache lebih besar, bukan memori cip lebih besar

Menurut Huawei, rangkaian Lingqu, juga dikenali sebagai UnifiedBus, membolehkan cache KV dikongsi merentas SuperPoD dan diurus antara memori dalam cip, DRAM serta SSD. Syarikat itu mendakwa kapasiti sehingga 64 PB bagi setiap kluster, manakala kapasiti cache KV yang boleh dicapai oleh setiap NPU meningkat daripada skala gigabait kepada terabait. Angka terabait itu merujuk kepada akses kepada kapasiti bersama pada beberapa lapisan storan—bukan memori fizikal baharu dalam setiap NPU. 810

M900 ialah sistem storan konteks yang ditujukan kepada inferens AI, khususnya beban kerja yang menggunakan banyak ejen atau konteks panjang. Ia melengkapi NPU yang menjalankan pengiraan dan bergantung pada rangkaian penghubung untuk akses cache bersama; ia bukan cip pengiraan atau pengganti rangkaian tersebut. Laporan industri menyebut Atlas 960 SuperPoD sebagai salah satu persekitaran sasaran. 126

Seberapa pantas laluan ke SSD?

Huawei berkata reka bentuk yang menyepadukan fungsi CPU, pengawal rangkaian dan pengawal NAND membolehkan akses satu lompatan dari NPU ke SSD tanpa pemajuan melalui CPU atau penukaran protokol. Syarikat itu mendakwa kependaman akses turun 90% kepada 60 mikrosaat. Ia juga menyatakan lebar jalur agregat 40 TB/s bagi setiap kluster, iaitu 1.5 kali ganda berbanding penyelesaian perbandingannya. Angka lebar jalur itu ialah jumlah pada peringkat kluster, bukan kadar yang dijamin bagi setiap NPU. 8

Dalam beban kerja yang Huawei sifatkan sebagai senario pengaturcaraan AI biasa, syarikat itu melaporkan daya pemprosesan token kluster inferens meningkat dua kali ganda dan masa menunggu token pertama berkurang separuh. Keputusan tersebut tidak semestinya terpakai pada setiap permintaan AI yang panjang atau melibatkan ejen. 814

Ketahanan SSD dan persoalan kos

Teknologi KV-Aware pada M900 meramalkan tempoh kegunaan data cache dan mengatur penempatannya pada media storan, menurut Huawei. Syarikat itu mendakwa sokongan sehingga 24 penulisan penuh pemacu sehari (DWPD), jangka hayat media SSD 16 kali lebih panjang dan operasi stabil selama tiga tahun. Huawei berhujah bahawa penggantian pemacu dan kerja penyelenggaraan yang berkurang boleh menurunkan kos inferens, tetapi bahan yang dipetik tidak menunjukkan penjimatan kos bagi setiap token yang telah diukur. 8

Intinya, lebih banyak cache yang boleh dicapai belum membuktikan inferens lebih pantas dan murah pada skala sebenar. Ujian bebas masih diperlukan untuk menilai kapasiti yang benar-benar boleh digunakan, kadar penggunaan semula cache, kependaman dan lebar jalur ketika sistem sibuk, prestasi token berbanding penanda aras yang jelas, serta kehausan SSD dan jumlah kos dari semasa ke semasa. Liputan pihak ketiga yang tersedia melaporkan angka Huawei, bukannya mengesahkannya melalui ujian bebas. 614