JawabanDipublikasikan17 sumber
Huawei OceanStor M900 memperluas memori konteks AI hingga 64 PB
Di HUAWEI CONNECT 2026, Huawei memperkenalkan OceanStor M900 sebagai lapisan KV Cache bersama untuk SuperPoD inference AI hyperscale, dengan kapasitas hingga 64 PB per cluster. Melalui Lingqu UnifiedBus, M900 memusatkan dan menjenjang KV Cache dari memori accelerator serta DRAM hingga SSD untuk beban kerja konteks s...
Diterbitkan olehDiedit dengan GPT-5.6 TerraGambar dibuat dengan GPT Image 2
Jawaban penelitian
Poin-poin penting
- Di HUAWEI CONNECT 2026, Huawei memperkenalkan OceanStor M900 sebagai lapisan KV Cache bersama untuk SuperPoD inference AI hyperscale, dengan kapasitas hingga 64 PB per cluster.
- Melalui Lingqu UnifiedBus, M900 memusatkan dan menjenjang KV Cache dari memori accelerator serta DRAM hingga SSD untuk beban kerja konteks sangat panjang dan inference agent multi putaran.
- Huawei mengklaim latensi akses sekitar 60 μs, bandwidth agregat 40 TB/dtk, serta token throughput dua kali lipat pada skenario AI coding; detail benchmark lengkap belum dipublikasikan.
AI Perintah
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Huawei announce at Huawei Connect 2026 about its OceanStor M900 AI memory storage for hyperscale inference SuperPoDs, including how. Article summary: Huawei announced OceanStor M900 Context Memory Storage: an SSD-backed, shared KV-cache tier for hyperscale AI inference SuperPoDs. It is intended to extend—not replace—accelerators’ HBM/DRAM or the SuperPoD interconnect:. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Huawei memperkenalkan OceanStor M900 Context Memory Storage sebagai infrastruktur penyimpanan untuk inference AI di pusat data hyperscale. Perannya bukan menggantikan HBM atau DRAM pada accelerator, melainkan menambahkan lapisan memori konteks bersama yang bisa diskalakan untuk SuperPoD—lingkungan komputasi AI berukuran sangat besar. Sasaran utamanya adalah kendala KV Cache ketika prompt makin panjang dan pekerjaan AI agent berlangsung dalam banyak langkah. 2
23
Mengapa KV Cache menjadi penting
Saat model bahasa besar melakukan inference, KV Cache menyimpan keadaan antara dari token yang telah diproses. Cache ini berguna bila konteks yang sama, atau yang masih berkaitan, perlu digunakan kembali pada giliran percakapan berikutnya maupun rangkaian tugas agent.
Menurut Huawei, kapasitas memori on-chip dan DRAM saja dapat menjadi hambatan untuk context window yang sangat panjang dan inference multi-putaran. OceanStor M900 memakai UnifiedBus, yang juga disebut Huawei sebagai Lingqu, untuk membangun KV Cache global berjenjang dengan koneksi satu lompatan. Arsitektur ini memperluas tier cache dari memori accelerator dan DRAM hingga ke SSD. 2
26
Sederhananya, M900 dirancang agar lebih banyak konteks dapat disimpan, dibagikan, dan digunakan kembali tanpa seluruhnya harus menetap di lapisan memori tercepat yang juga paling mahal.
Kapasitas hingga 64 PB per cluster
Huawei menyatakan satu cluster M900 dapat menyediakan hingga 64 PB KV Cache. Perusahaan juga mengatakan kapasitas KV Cache yang tersedia bagi tiap NPU dapat meningkat dari skala GB ke skala TB, dengan tujuan menaikkan cache-hit rate untuk permintaan berkonteks panjang. 2
26
Ini adalah arsitektur memori bersama di level SuperPoD, bukan peningkatan kapasitas HBM lokal pada sebuah chip. Karena itu, manfaat riilnya bergantung pada bagaimana perangkat lunak menempatkan, mengambil, dan memakai ulang KV Cache, serta komposisi permintaan pada penerapan sebenarnya.
Akses langsung NPU ke SSD dalam satu lompatan
Huawei menyebut M900 mengintegrasikan CPU, pengendali jaringan, dan pengendali NAND dalam satu arsitektur. Pendekatan tersebut diklaim memberikan native KV semantics dan memungkinkan akses langsung satu lompatan dari NPU ke SSD, tanpa konversi protokol maupun penerusan melalui CPU. 20
26
Target kinerja yang diumumkan Huawei meliputi:
- latensi akses sekitar 60 mikrodetik;
- bandwidth agregat hingga 40 TB/detik per cluster;
- bandwidth 1,5 kali lebih tinggi daripada solusi pembanding di pasar, menurut Huawei.
26
Angka-angka tersebut merupakan klaim vendor. Pengumuman Huawei belum menyertakan rincian lengkap mengenai model yang diuji, tingkat konkurensi, cache-hit ratio, konfigurasi cluster, atau metodologi perbandingan. Benchmark independen pada beban kerja produksi yang representatif tetap diperlukan untuk menilai kinerjanya secara utuh.
Klaim throughput dan daya tahan SSD
Untuk skenario inference AI coding, Huawei mengklaim token throughput dua kali lipat serta time to first token (TTFT) yang turun menjadi setengahnya. 14 Tanpa informasi lengkap tentang baseline dan beban kerja, angka itu belum dapat digeneralisasi untuk semua model maupun tumpukan perangkat lunak inference.
Huawei juga menjelaskan mekanisme KV-aware adaptive storage. Logika penempatan data ini mempertimbangkan nilai dan masa hidup cache untuk memilih media penyimpanan yang sesuai. Perusahaan mengklaim hingga 24 DWPD dan peningkatan usia baca/tulis SSD sekitar 16 kali melalui media hibrida dan algoritme retensi yang dioptimalkan. 16
18
Seperti klaim performa lainnya, ketahanan tersebut perlu diverifikasi dalam kondisi penulisan dan kebijakan manajemen cache yang nyata.
Bagian dari rancangan SuperPoD yang lebih besar
Peluncuran M900 lebih dari sekadar pengumuman produk storage. Huawei memosisikan UnifiedBus sebagai interkoneksi untuk menghubungkan cluster dan SuperPoD bagi AI agentic, sementara M900 menjadi tier storage atau memori konteks dalam tumpukan tersebut. 23
Dalam rancangan ini:
- accelerator Ascend menyediakan komputasi;
- UnifiedBus/Lingqu menjadi sarana interkoneksi dan berbagi sumber daya;
- OceanStor M900 menghadirkan KV Cache persisten dan bersama pada skala petabita.
Dengan demikian, M900 tidak menambah daya komputasi model secara langsung dan tidak menggantikan accelerator maupun interkoneksi berkecepatan tinggi. Janji utamanya adalah mengurangi hambatan tekanan memori ketika context window yang besar dan langkah agent yang berulang membuat KV Cache sama pentingnya dengan komputasi. 2
23
Studio Global AI
Lanjutkan penelitian Anda
Halaman ini berisi jawaban yang didukung sumber yang dapat Anda lanjutkan di dalam Studio Global.
Orang-orang juga bertanya
Apa jawaban singkat untuk "Huawei OceanStor M900 memperluas memori konteks AI hingga 64 PB"?
Di HUAWEI CONNECT 2026, Huawei memperkenalkan OceanStor M900 sebagai lapisan KV Cache bersama untuk SuperPoD inference AI hyperscale, dengan kapasitas hingga 64 PB per cluster.
Apa poin penting yang harus divalidasi terlebih dahulu?
Di HUAWEI CONNECT 2026, Huawei memperkenalkan OceanStor M900 sebagai lapisan KV Cache bersama untuk SuperPoD inference AI hyperscale, dengan kapasitas hingga 64 PB per cluster. Melalui Lingqu UnifiedBus, M900 memusatkan dan menjenjang KV Cache dari memori accelerator serta DRAM hingga SSD untuk beban kerja konteks sangat panjang dan inference agent multi putaran.
Apa yang harus saya lakukan selanjutnya dalam latihan?
Huawei mengklaim latensi akses sekitar 60 μs, bandwidth agregat 40 TB/dtk, serta token throughput dua kali lipat pada skenario AI coding; detail benchmark lengkap belum dipublikasikan.
Sumber
huawei.comHuawei Introduces OceanStor M900 Context Memory Storage to Accelerate AI Inference in Hyperscale Data Centers - Huawei