Huawei OceanStor M900: Bagaimana cache KV 64 PB dikongsi untuk inferens AI?

Apabila sistem AI menerima perbualan panjang atau permintaan berulang, sebahagian pengiraan terdahulu mungkin boleh digunakan semula. OceanStor M900 ialah sistem storan yang diperkenalkan Huawei pada HUAWEI CONNECT 2026 untuk membantu SuperPoD—gabungan perkakasan pengkomputeran AI—menyimpan dan berkongsi lebih banyak hasil pengiraan tersebut semasa inferens, iaitu proses AI menjana jawapan. 19

Apa yang sebenarnya dikongsi?

Cache kunci-nilai atau cache KV menyimpan maklumat yang telah dikira ketika model memproses input. Jika permintaan baharu mempunyai bahagian awal yang sepadan dengan cache tersedia, sistem boleh menggunakannya semula dan mengelakkan sebahagian pengiraan berulang. Konteks yang panjang dan interaksi ejen AI berbilang pusingan menjadikan cache ini berguna, tetapi sukar untuk menempatkan semuanya dalam memori berhampiran setiap unit pemprosesan neural (NPU). 136

Melalui rangkaian UnifiedBus, M900 menggabungkan cache KV pada beberapa peringkat: memori dalam cip, DRAM dan pemacu keadaan pepejal (SSD). Huawei menyatakan satu kluster boleh menyediakan 64 PB kapasiti cache KV, sekali gus meningkatkan kapasiti yang boleh diakses oleh setiap NPU daripada skala gigabait kepada terabait. 64 PB itu kapasiti storan yang dikongsi oleh kluster, bukannya memori di dalam satu NPU. Sama ada kapasiti tambahan itu mempercepatkan kerja bergantung pada jumlah konteks yang benar-benar boleh digunakan semula. 3617

Mengapa laluan ke SSD penting?

Huawei menerangkan laluan satu lompatan dari NPU SuperPoD ke SSD. Reka bentuknya menyepadukan fungsi CPU, pengawal rangkaian dan pengawal NAND bagi mengelakkan beberapa langkah penukaran protokol serta pemajuan melalui CPU. Huawei melaporkan kependaman akses sekitar 60 mikrosaat dan lebar jalur terkumpul 40 TB/s bagi setiap kluster. Ini ialah angka seni bina dan sistem yang dilaporkan, bukan jaminan bahawa setiap akses cache mencapai prestasi tersebut. 362832

Kesan yang didakwa, dan batas buktinya

Jika permintaan dapat menggunakan semula cache yang sesuai, token pertama mungkin terhasil lebih cepat, sementara pengiraan yang dijimatkan boleh membolehkan kluster menghasilkan lebih banyak token. Dalam senario pengekodan AI yang disebut Huawei, syarikat itu mendakwa daya pemprosesan token kluster inferens meningkat dua kali ganda dan masa untuk menghasilkan token pertama berkurang separuh. Hasil bagi senario tertentu itu tidak semestinya terpakai pada semua beban kerja. 2833

Huawei turut menyatakan bahawa penempatan data yang peka terhadap cache KV mengurus tempoh data kekal pada setiap jenis storan. Syarikat itu menyebut ketahanan SSD sehingga 24 kali penulisan keseluruhan pemacu sehari, peningkatan jangka hayat 16 kali ganda dan sasaran kestabilan tiga tahun. Matlamatnya ialah mengurangkan pengiraan berulang dan penggantian pemacu, lalu menurunkan kos bagi setiap token. Namun, bukti yang diberikan belum mengesahkan secara bebas pencapaian prestasi, jangka hayat atau penjimatan kos tersebut dalam SuperPoD yang digunakan untuk operasi sebenar. 6833