AnswersPublished18 sources
Huawei dakwa cache KV boleh tingkatkan kadar inferens AI 7.3 kali ganda
Pada persidangan Advanced Storage Conference di Shanghai pada Oktober 2026, Huawei melaporkan kadar inferens 7.3 kali ganda dalam ujian makmal GLM 5.2 selepas cache KV dipindahkan keluar daripada memori biasa. Cache KV menyimpan data Key dan Value daripada pengiraan terdahulu supaya model boleh menggunakannya semula.
Diterbitkan olehDisunting dengan GPT-6 LunaImej dijana dengan GPT Image 2
Research answer
Key takeaways
- Pada persidangan Advanced Storage Conference di Shanghai pada Oktober 2026, Huawei melaporkan kadar inferens 7.3 kali ganda dalam ujian makmal GLM 5.2 selepas cache KV dipindahkan keluar daripada memori biasa.
- Cache KV menyimpan data Key dan Value daripada pengiraan terdahulu supaya model boleh menggunakannya semula.
- Huawei membingkaikan penyelesaiannya sebagai usaha menyelaraskan pengkomputeran, storan dan rangkaian.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What storage-network convergence approach did Huawei present at the ODCC-organized Advanced Storage Conference in Shanghai on October 22, 20. Article summary: Huawei presented storage–network convergence as a way to reduce the cost of moving KV Cache between compute, storage, and network during agentic AI inference at the October 22, 2026 ASC session in Shanghai; ODCC organize. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Huawei mengetengahkan penyelarasan antara storan dan rangkaian sebagai salah satu cara menangani kesesakan cache KV dalam inferens AI. Pada 22 Oktober 2026, di Advanced Storage Conference (ASC) anjuran Open Data Center Committee (ODCC) di Shanghai, syarikat itu melaporkan kadar inferens 7.3 kali ganda dalam satu ujian makmal GLM-5.2 selepas cache KV dipindahkan keluar daripada pendekatan berasaskan memori biasa. Huawei turut melaporkan peningkatan kecekapan sebanyak 20% selepas penjadualan I/O storan dan rangkaian diselaraskan. Angka ini datang daripada Huawei, yang tidak mendedahkan konfigurasi ujian sepenuhnya.5
8
Mengapa cache KV boleh menjadi isu infrastruktur
Semasa inferens, model menjana data Key dan Value ketika memproses token. Cache KV menyimpan hasil pengiraan tersebut supaya model boleh menggunakannya semula ketika menjana token seterusnya, tanpa mengulangi pengiraan yang sama.47
48
Semakin panjang konteks, semakin besar cache yang perlu diuruskan. Dalam perbualan berbilang pusingan, sistem mungkin perlu mengekalkan atau menggunakan semula konteks terdahulu juga. Apabila permintaan dan data cache tersebar merentasi kluster, pemindahan data antara pengkomputeran, storan dan rangkaian boleh menambah trafik serta menekan kapasiti memori yang tersedia. Laporan persidangan Huawei menyebut gabungan pertumbuhan cache bagi setiap permintaan, cache yang berada dalam sistem dan trafik antara nod sebagai faktor yang boleh membawa jumlah cache KV kluster ke skala petabait.5
Huawei merumuskan kekangan ini sebagai tiga “tembok”: keupayaan I/O yang terhad pada bahagian pengkomputeran, kependaman ketika data bergerak antara lapisan, dan jumlah operasi input/output sesaat (IOPS) yang tidak mencukupi untuk mengendalikan banyak operasi cache dengan cekap.5
Pendekatan yang menggabungkan pengkomputeran, storan dan rangkaian
Pendekatan yang dilaporkan Huawei melibatkan pemecut, storan dan rangkaian, bukan sekadar menambah kapasiti memori. Laporan persidangan menerangkan laluan di bahagian pengkomputeran yang membolehkan pemproses memulakan I/O cache secara langsung—bermula dengan akses melalui AI CPU dan teras vektor, menuju I/O lebih halus pada peringkat SIMT. Storan dan penyelarasan rangkaian turut disebut sebagai sebahagian daripada reka bentuk lebih luas itu.5
Angka prestasi yang diumumkan dikaitkan dengan dua langkah: memindahkan cache KV secara langsung, kemudian menambah penjadualan I/O storan-rangkaian yang diselaraskan. Namun, laporan persidangan yang tersedia tidak memberikan maklumat mencukupi untuk mengesahkan setiap butiran pelaksanaan atau memastikan bahawa konfigurasi penjadualan Hyper-Converged Fabric (HCF) tertentu menghasilkan peningkatan tersebut. Oleh itu, angka berkenaan lebih wajar difahami sebagai hasil senario makmal yang diterangkan Huawei, bukannya spesifikasi seni bina lengkap yang boleh dinilai secara terbuka.5
7
Angka yang diumumkan dan perkara yang belum diketahui
Dalam ujian makmal GLM-5.2, Huawei berkata pemindahan cache KV secara langsung menghasilkan kadar inferens 7.3 kali ganda berbanding pendekatan berasaskan memori biasa. Syarikat itu melaporkan peningkatan kecekapan inferens sebanyak 20% lagi selepas penjadualan I/O storan-rangkaian ditambah.5
Angka ini perlu dilihat dengan cermat. Huawei tidak mendedahkan konfigurasi ujian sepenuhnya, jadi pihak luar tidak dapat menilai dengan lengkap beban kerja, kaedah perbandingan asas atau sumbangan setiap komponen terhadap keputusan tersebut. Laporan persidangan yang tersedia juga tidak mengesahkan dakwaan berasingan tentang peningkatan prestasi I/O storan melebihi 30%; maka angka itu tidak boleh dianggap terbukti berdasarkan maklumat yang ada.5
7
Perkembangan Oktober dalam hala tuju storan Huawei
Pembentangan Oktober itu menyusul selepas Huawei memperkenalkan Stellar AI Fabric yang dinaik taraf di HUAWEI CONNECT pada September. Laporan persidangan menggambarkan sesi Oktober sebagai pendedahan ukuran ujian pemindahan cache KV. Bahan Huawei dari acara September pula memperkenalkan OceanStor M900 Context Memory Storage, yang direka untuk meluaskan cache KV melangkaui memori pada cip dan DRAM kepada kumpulan storan berperingkat yang boleh dikongsi bagi inferens AI.10
15
16
Perbezaan ini penting: angka Oktober menambah dakwaan prestasi kepada hala tuju storan dan rangkaian Huawei yang telah diumumkan, tetapi sumber yang tersedia tidak membuktikan bahawa setiap butiran teknikal yang dibincangkan pada Oktober sama dengan reka bentuk September. Sumber itu juga tidak mendokumentasikan pelancaran produk baharu yang berasingan pada persidangan Oktober.5
10
16
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Huawei dakwa cache KV boleh tingkatkan kadar inferens AI 7.3 kali ganda"?
Pada persidangan Advanced Storage Conference di Shanghai pada Oktober 2026, Huawei melaporkan kadar inferens 7.3 kali ganda dalam ujian makmal GLM 5.2 selepas cache KV dipindahkan keluar daripada memori biasa.
What are the key points to validate first?
Pada persidangan Advanced Storage Conference di Shanghai pada Oktober 2026, Huawei melaporkan kadar inferens 7.3 kali ganda dalam ujian makmal GLM 5.2 selepas cache KV dipindahkan keluar daripada memori biasa. Cache KV menyimpan data Key dan Value daripada pengiraan terdahulu supaya model boleh menggunakannya semula.
What should I do next in practice?
Huawei membingkaikan penyelesaiannya sebagai usaha menyelaraskan pengkomputeran, storan dan rangkaian.