Bagaimana OceanStor M900 Membuat Cache KV Bisa Dipakai Bersama?

Saat percakapan AI makin panjang atau agen AI menjalankan tugas berulang, sistem inferensi perlu menyimpan lebih banyak hasil perhitungan yang mungkin dipakai lagi. OceanStor M900, yang diperkenalkan Huawei di HUAWEI CONNECT 2026, dirancang sebagai penyimpanan konteks bersama untuk sistem komputasi AI SuperPoD. Tujuannya adalah agar konteks yang berguna tidak hanya bergantung pada kapasitas memori di dekat tiap akselerator. 19

Apa yang disimpan dalam cache KV?

Cache key–value (KV) menyimpan informasi yang dihitung model saat memproses masukan. Jika permintaan berikutnya memiliki bagian awal yang cocok dengan data tersimpan, sistem dapat menggunakan kembali perhitungan itu alih-alih mengulanginya. Pada konteks panjang dan interaksi agen yang berkali-kali, cache ini makin berguna—sekaligus makin sulit ditampung seluruhnya di memori dekat neural processing unit (NPU), yaitu akselerator yang menjalankan komputasi AI. 136

Dari memori chip ke SSD bersama

OceanStor M900 memakai jaringan UnifiedBus untuk mengelola cache KV secara bertingkat, dari memori di chip dan DRAM hingga solid-state drive (SSD). Huawei menyebut satu klaster dapat menyediakan kapasitas cache KV 64 PB, sehingga kapasitas bersama yang dapat diakses sebuah NPU meningkat dari skala gigabita ke terabita. 64 PB adalah kapasitas penyimpanan bersama per klaster, bukan memori yang terpasang di dalam satu NPU. Semakin banyak konteks yang tersimpan berpotensi meningkatkan penggunaan ulang cache, tetapi hasilnya bergantung pada apakah permintaan memang memiliki bagian yang dapat digunakan kembali. 3617

Agar lapisan SSD cukup cepat untuk inferensi, Huawei merancang jalur akses satu lompatan dari NPU SuperPoD ke SSD. Rancangan ini mengintegrasikan fungsi CPU, pengendali jaringan, dan pengendali NAND untuk menghindari sebagian langkah konversi protokol dan penerusan data melalui CPU. Huawei melaporkan latensi akses sekitar 60 mikrodetik dan bandwidth akses agregat 40 TB/detik per klaster. Keduanya merupakan angka yang dinyatakan untuk arsitektur dan sistem, bukan jaminan kecepatan setiap pencarian cache. 362832

Seberapa besar dampaknya bagi respons AI?

Ketika permintaan bisa memakai ulang konteks yang sudah dihitung, token pertama berpotensi muncul lebih cepat. Komputasi yang tidak perlu diulang juga dapat menyisakan kapasitas untuk memproses lebih banyak token. Dalam skenario pemrograman AI yang disebutnya sebagai contoh umum, Huawei mengklaim jumlah token yang dihasilkan klaster inferensi per satuan waktu menjadi dua kali lipat dan waktu hingga token pertama terpangkas separuh. Angka dari skenario tersebut tidak berarti setiap beban kerja akan memperoleh peningkatan serupa. 2833

Huawei juga menjelaskan penempatan data yang mempertimbangkan karakter cache KV, termasuk berapa lama data disimpan pada tiap jenis media. Perusahaan menyebut ketahanan SSD hingga 24 kali penulisan kapasitas drive per hari, peningkatan umur pakai 16 kali lipat, serta target stabilitas tiga tahun. Harapannya, lebih sedikit komputasi ulang dan penggantian SSD dapat menurunkan biaya inferensi per token. Namun, sumber yang tersedia belum membuktikan secara independen bahwa capaian kinerja, umur pakai, atau penghematan tersebut terwujud pada SuperPoD yang digunakan dalam operasi nyata. 6833