JawabanDipublikasikan18 sumber
Huawei Klaim Cache AI Bisa Tingkatkan Throughput Inferensi 7,3 Kali
Dalam konferensi penyimpanan di Shanghai pada 22 Oktober 2026, Huawei mengklaim offloading KV Cache menghasilkan throughput inferensi 7,3 kali lipat dalam uji laboratorium GLM 5.2. KV Cache menyimpan data Key dan Value yang sudah dihitung agar bisa digunakan kembali.
Diterbitkan olehDiedit dengan GPT-6 LunaGambar dibuat dengan GPT Image 2
Jawaban penelitian
Poin-poin penting
- Dalam konferensi penyimpanan di Shanghai pada 22 Oktober 2026, Huawei mengklaim offloading KV Cache menghasilkan throughput inferensi 7,3 kali lipat dalam uji laboratorium GLM 5.2.
- KV Cache menyimpan data Key dan Value yang sudah dihitung agar bisa digunakan kembali.
- Huawei memaparkan pendekatan yang menggabungkan akses I/O langsung dari sisi komputasi dengan koordinasi storage dan jaringan.
AI Perintah
openai.comCreate a landscape editorial hero image for this Studio Global article: What storage-network convergence approach did Huawei present at the ODCC-organized Advanced Storage Conference in Shanghai on October 22, 20. Article summary: Huawei presented storage–network convergence as a way to reduce the cost of moving KV Cache between compute, storage, and network during agentic AI inference at the October 22, 2026 ASC session in Shanghai; ODCC organize. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Pada konferensi Advanced Storage Conference (ASC) di Shanghai, 22 Oktober 2026, Huawei memaparkan koordinasi antara komputasi, storage, dan jaringan untuk mengatasi hambatan KV Cache dalam inferensi AI. Perusahaan mengklaim throughput inferensi mencapai 7,3 kali lipat dalam uji laboratorium GLM-5.2 setelah KV Cache dialihkan dari pendekatan berbasis memori konvensional. Huawei juga melaporkan kenaikan efisiensi 20% setelah penjadwalan I/O storage dan jaringan dikoordinasikan. Namun, konfigurasi lengkap pengujian belum diungkap.5
8
Mengapa KV Cache menjadi tantangan infrastruktur?
Saat model AI memproses token, model menghitung data Key dan Value. KV Cache menyimpan hasil tersebut agar bisa digunakan kembali ketika model menghasilkan token berikutnya, sehingga tidak perlu mengulang perhitungan yang sama.47
48
Semakin panjang konteks, semakin besar cache yang perlu dikelola. Dalam percakapan berulang, sistem juga dapat mempertahankan atau menggunakan kembali konteks sebelumnya. Ketika permintaan dan cache tersebar di banyak mesin, pemindahan data di antara komputasi, storage, dan jaringan turut menambah lalu lintas serta tekanan pada memori. Laporan konferensi menyebut pertumbuhan cache per permintaan, cache yang tersimpan, dan lalu lintas antar-node dapat mendorong total KV Cache di sebuah klaster inferensi menuju skala petabyte.5
Huawei merangkum tantangan ini sebagai tiga “tembok”: kemampuan I/O yang terbatas di sisi komputasi, latensi saat data berpindah antarlapisan, serta keterbatasan IOPS—jumlah operasi input/output per detik—untuk menangani banyak operasi cache secara efisien.5
Menghubungkan komputasi, storage, dan jaringan
Pendekatan yang dipaparkan Huawei tidak hanya melihat KV Cache sebagai persoalan kapasitas memori. Menurut laporan konferensi, rancangan tersebut mencakup jalur di sisi komputasi agar prosesor dapat memulai I/O cache secara langsung, dari akses melalui AI CPU dan inti vektor menuju I/O SIMT yang lebih terperinci. Koordinasi di sisi storage dan jaringan juga menjadi bagian dari pendekatan yang lebih luas.5
Huawei mengaitkan angka kinerja yang dilaporkan dengan dua langkah: mengalihkan KV Cache secara langsung, lalu menambahkan penjadwalan I/O storage dan jaringan yang terkoordinasi. Meski begitu, laporan yang tersedia belum menjelaskan cukup rinci setiap unsur implementasi atau membuktikan bahwa konfigurasi penjadwalan Hyper-Converged Fabric (HCF) tertentu menghasilkan peningkatan tersebut. Karena itu, angka-angka ini sebaiknya dipahami sebagai hasil skenario uji laboratorium yang dijelaskan Huawei, bukan spesifikasi arsitektur lengkap yang dapat diverifikasi publik.5
7
Angka yang diklaim dan hal yang belum diketahui
Dalam pengujian laboratorium dengan GLM-5.2, Huawei menyebut offloading KV Cache secara langsung menghasilkan throughput inferensi 7,3 kali lipat dibanding pendekatan berbasis memori konvensional. Setelah penjadwalan I/O storage dan jaringan ditambahkan, perusahaan melaporkan peningkatan efisiensi inferensi sebesar 20% lagi.5
Hasil tersebut perlu dibaca dengan hati-hati. Huawei belum memublikasikan konfigurasi pengujian secara lengkap, sehingga pihak luar tidak dapat menilai secara menyeluruh beban kerja, dasar pembanding, maupun kontribusi masing-masing bagian rancangan. Laporan konferensi yang tersedia juga tidak menguatkan klaim terpisah tentang peningkatan kinerja I/O storage lebih dari 30%, sehingga angka itu tidak dapat dianggap terverifikasi di sini.5
7
Pengukuran Oktober dalam arah storage Huawei yang lebih luas
Presentasi Oktober berlangsung setelah Huawei memperkenalkan versi terbaru Stellar AI Fabric di HUAWEI CONNECT pada September. Liputan konferensi menggambarkan presentasi Oktober sebagai pemaparan hasil pengukuran offloading KV Cache. Sementara itu, materi Huawei pada September memperkenalkan OceanStor M900 Context Memory Storage, yang dirancang untuk memperluas KV Cache melampaui memori pada chip dan DRAM menjadi kumpulan bertingkat yang dapat digunakan bersama untuk inferensi AI.10
15
16
Jadi, angka Oktober menambahkan klaim kinerja pada arah pengembangan storage dan jaringan yang telah dipaparkan Huawei. Namun, sumber yang tersedia tidak memastikan bahwa seluruh detail teknis yang dibahas pada Oktober sama persis dengan rancangan September. Sumber tersebut juga tidak mendokumentasikan peluncuran produk baru yang terpisah pada konferensi Oktober.5
10
16
Studio Global AI
Lanjutkan penelitian Anda
Halaman ini berisi jawaban yang didukung sumber yang dapat Anda lanjutkan di dalam Studio Global.
Orang-orang juga bertanya
Apa jawaban singkat untuk "Huawei Klaim Cache AI Bisa Tingkatkan Throughput Inferensi 7,3 Kali"?
Dalam konferensi penyimpanan di Shanghai pada 22 Oktober 2026, Huawei mengklaim offloading KV Cache menghasilkan throughput inferensi 7,3 kali lipat dalam uji laboratorium GLM 5.2.
Apa poin penting yang harus divalidasi terlebih dahulu?
Dalam konferensi penyimpanan di Shanghai pada 22 Oktober 2026, Huawei mengklaim offloading KV Cache menghasilkan throughput inferensi 7,3 kali lipat dalam uji laboratorium GLM 5.2. KV Cache menyimpan data Key dan Value yang sudah dihitung agar bisa digunakan kembali.
Apa yang harus saya lakukan selanjutnya dalam latihan?
Huawei memaparkan pendekatan yang menggabungkan akses I/O langsung dari sisi komputasi dengan koordinasi storage dan jaringan.