AnswersPublished17 sources
Huawei OceanStor M900: Cache KV Dikongsi Sehingga 64 PB untuk Inferens AI
Di HUAWEI CONNECT 2026, Huawei memperkenalkan OceanStor M900, lapisan cache KV dikongsi untuk SuperPoD inferens AI hiperskala dengan kapasiti sehingga 64 PB bagi setiap kluster. M900 menggunakan Lingqu UnifiedBus untuk mengumpulkan dan menyusun cache KV secara bertingkat, bagi beban kerja konteks sangat panjang sert...
Diterbitkan olehDisunting dengan GPT-5.6 TerraImej dijana dengan GPT Image 2
Research answer
Key takeaways
- Di HUAWEI CONNECT 2026, Huawei memperkenalkan OceanStor M900, lapisan cache KV dikongsi untuk SuperPoD inferens AI hiperskala dengan kapasiti sehingga 64 PB bagi setiap kluster.
- M900 menggunakan Lingqu UnifiedBus untuk mengumpulkan dan menyusun cache KV secara bertingkat, bagi beban kerja konteks sangat panjang serta inferens ejen berbilang pusingan.
- Huawei mendakwa kependaman akses sekitar 60 μs, lebar jalur agregat 40 TB/s dan penggandaan throughput token bagi senario pengekodan AI, namun butiran perbandingan dan konfigurasi beban kerja penuh belum diterbitkan.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Huawei announce at Huawei Connect 2026 about its OceanStor M900 AI memory storage for hyperscale inference SuperPoDs, including how. Article summary: Huawei announced OceanStor M900 Context Memory Storage: an SSD-backed, shared KV-cache tier for hyperscale AI inference SuperPoDs. It is intended to extend—not replace—accelerators’ HBM/DRAM or the SuperPoD interconnect:. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Huawei memperkenalkan OceanStor M900 Context Memory Storage sebagai infrastruktur storan untuk inferens AI di pusat data hiperskala. Peranannya bukan menggantikan HBM atau DRAM pada accelerator, sebaliknya menambah lapisan memori konteks yang dikongsi dan boleh diskalakan untuk SuperPoD. Ini penting apabila cache KV menjadi kekangan utama bagi arahan yang sangat panjang dan tugasan AI berasaskan ejen yang melalui banyak langkah. 2
23
Masalah yang cuba diselesaikan: cache KV tidak lagi sesuai bergantung pada HBM dan DRAM sahaja
Dalam inferens model bahasa besar, cache KV menyimpan keadaan perantaraan token yang sudah diproses. Cache ini bernilai apabila konteks yang sama atau berkaitan digunakan semula dalam pusingan perbualan seterusnya atau tugasan ejen.
Huawei meletakkan M900 sebagai jawapan kepada had kapasiti memori pada cip dan DRAM untuk context window ultra-panjang serta inferens berbilang pusingan. Melalui UnifiedBus, yang turut dipanggil Lingqu oleh Huawei, sistem ini membina cache KV global berbilang peringkat dengan sambungan satu lompat, lalu meluaskan lapisan cache daripada memori accelerator dan DRAM kepada SSD. 2
26
Ringkasnya, M900 bertujuan membolehkan lebih banyak konteks disimpan, dikongsi dan digunakan semula tanpa semua data itu perlu kekal dalam lapisan memori paling mahal.
Tuntutan kapasiti: sehingga 64 PB cache KV bagi satu kluster
Huawei menyatakan satu kluster M900 boleh menyediakan sehingga 64 PB cache KV. Syarikat itu juga mendakwa cache KV yang boleh digunakan bagi setiap NPU boleh meningkat daripada skala GB kepada skala TB, dengan sasaran menaikkan kadar cache hit bagi permintaan berkonteks panjang. 2
26
Ini ialah seni bina memori bersama pada peringkat SuperPoD, bukannya peningkatan HBM tempatan pada sesuatu cip. Oleh itu, nilai praktikalnya bergantung pada cara perisian mengagihkan, mengambil semula dan menggunakan cache KV, selain corak permintaan sebenar dalam sesuatu pelaksanaan.
Seni bina: semantik KV asli dan akses NPU-ke-SSD satu lompat
Menurut Huawei, M900 menyepadukan CPU, pengawal rangkaian dan pengawal NAND dalam satu seni bina. Syarikat itu berkata pendekatan ini menyediakan semantik KV asli serta membolehkan akses satu lompat daripada NPU ke SSD, tanpa penukaran protokol dan pemajuan melalui CPU. 20
26
Sasaran yang diterbitkan Huawei ialah:
- kependaman akses sekitar 60 mikrosaat;
- lebar jalur agregat sehingga 40 TB/s bagi setiap kluster;
- lebar jalur 1.5 kali ganda lebih tinggi berbanding penyelesaian rujukan pasaran, menurut Huawei.
26
Angka ini wajar dibaca sebagai tuntutan vendor. Pengumuman tersebut tidak menghuraikan model, tahap penggunaan serentak, nisbah cache hit, konfigurasi kluster atau kaedah perbandingan dengan lengkap. Penanda aras bebas menggunakan beban kerja pengeluaran yang mewakili keadaan sebenar masih diperlukan untuk menilai prestasinya secara bermakna.
Throughput token dan ketahanan SSD: apa yang didakwa Huawei
Bagi senario biasa inferens AI untuk pengekodan, Huawei mendakwa throughput token dua kali ganda serta masa ke token pertama (TTFT) separuh lebih singkat. 14 Tanpa butiran tentang garis asas perbandingan dan beban kerja, angka ini belum cukup untuk dijadikan kesimpulan umum bagi semua model atau susunan perisian inferens.
Syarikat itu turut menerangkan pendekatan KV-aware adaptive storage. Logik peletakan data mengambil kira nilai serta jangka hayat cache untuk memilih media storan yang sesuai. Huawei mendakwa sokongan sehingga 24 DWPD dan peningkatan kira-kira 16 kali ganda pada jangka hayat baca/tulis SSD melalui gabungan media hibrid dan algoritma pengekalan yang dioptimumkan. 16
18
Seperti prestasi akses, tuntutan ketahanan ini perlu disahkan dalam keadaan penggunaan sebenar, termasuk kadar penulisan dan dasar pengurusan cache yang berbeza.
Kedudukan M900 dalam pelan SuperPoD Huawei
Pelancaran M900 lebih luas daripada sekadar pengumuman produk storan. Huawei menggambarkan UnifiedBus sebagai interkoneksi yang menghubungkan kluster dan SuperPoD bagi AI berasaskan ejen, manakala M900 berfungsi sebagai lapisan storan atau konteks dalam susunan tersebut. 23
Dalam pendekatan ini:
- accelerator Ascend menyediakan kuasa pengkomputeran;
- UnifiedBus/Lingqu mengendalikan interkoneksi dan perkongsian sumber;
- OceanStor M900 menambah cache KV yang berterusan, dikongsi dan berskala petabait.
M900 tidak menambah keupayaan pengkomputeran model dengan sendirinya, dan tidak menggantikan accelerator atau interkoneksi berkelajuan tinggi. Janji utamanya ialah mengurangkan tekanan memori apabila konteks besar dan langkah ejen yang berulang menjadikan cache KV sama penting dengan kuasa komputasi. 2
23
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Huawei OceanStor M900: Cache KV Dikongsi Sehingga 64 PB untuk Inferens AI"?
Di HUAWEI CONNECT 2026, Huawei memperkenalkan OceanStor M900, lapisan cache KV dikongsi untuk SuperPoD inferens AI hiperskala dengan kapasiti sehingga 64 PB bagi setiap kluster.
What are the key points to validate first?
Di HUAWEI CONNECT 2026, Huawei memperkenalkan OceanStor M900, lapisan cache KV dikongsi untuk SuperPoD inferens AI hiperskala dengan kapasiti sehingga 64 PB bagi setiap kluster. M900 menggunakan Lingqu UnifiedBus untuk mengumpulkan dan menyusun cache KV secara bertingkat, bagi beban kerja konteks sangat panjang serta inferens ejen berbilang pusingan.
What should I do next in practice?
Huawei mendakwa kependaman akses sekitar 60 μs, lebar jalur agregat 40 TB/s dan penggandaan throughput token bagi senario pengekodan AI, namun butiran perbandingan dan konfigurasi beban kerja penuh belum diterbitkan.
Sources
huawei.comHuawei Introduces OceanStor M900 Context Memory Storage to Accelerate AI Inference in Hyperscale Data Centers - Huawei