AnswersPublished17 sources
Huawei OceanStor M900: delt KV-cache på op til 64 PB til AI-inference
På HUAWEI CONNECT 2026 præsenterede Huawei OceanStor M900, et delt KV cache lag til hyperskala SuperPoDs med op til 64 PB kapacitet pr. Med Lingqu UnifiedBus samler og lagdeler systemet KV cache på tværs af acceleratorhukommelse, DRAM og SSD'er for at håndtere lange kontekster og agentbaseret inference.
Udgivet afRedigeret med GPT-5.6 TerraBilleder genereret med GPT Image 2
Research answer
Key takeaways
- På HUAWEI CONNECT 2026 præsenterede Huawei OceanStor M900, et delt KV cache lag til hyperskala SuperPoDs med op til 64 PB kapacitet pr.
- Med Lingqu UnifiedBus samler og lagdeler systemet KV cache på tværs af acceleratorhukommelse, DRAM og SSD'er for at håndtere lange kontekster og agentbaseret inference.
- Huawei oplyser cirka 60 µs adgangstid, 40 TB/s samlet båndbredde og dobbelt token gennemløb i et AI kodningsscenarie, men tallene mangler endnu uafhængig validering.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Huawei announce at Huawei Connect 2026 about its OceanStor M900 AI memory storage for hyperscale inference SuperPoDs, including how. Article summary: Huawei announced OceanStor M900 Context Memory Storage: an SSD-backed, shared KV-cache tier for hyperscale AI inference SuperPoDs. It is intended to extend—not replace—accelerators’ HBM/DRAM or the SuperPoD interconnect:. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Huawei har lanceret OceanStor M900 Context Memory Storage som et lagringssystem til AI-inference i hyperskala-datacentre. Pointen er ikke at erstatte acceleratorernes HBM eller DRAM, men at føje et delt og skalerbart lag for kontekstdata til SuperPoDs – store sammenkoblede AI-systemer. Her kan KV-cache blive en afgørende flaskehals, når modeller skal arbejde med meget lange prompts og agentopgaver over flere trin. 2
23
Problemet: KV-cache bliver for stor til kun HBM og DRAM
Når en stor sprogmodel genererer svar, gemmer dens KV-cache mellemtilstande fra de tokens, modellen allerede har behandlet. Hvis samme eller beslægtede kontekst bruges igen i en senere samtalerunde eller agentopgave, kan cachen genbruges i stedet for at blive beregnet på ny.
Huawei positionerer M900 som et svar på kapacitetsgrænserne i chip-hukommelse og DRAM ved ekstremt lange kontekstvinduer og inference i flere runder. Via UnifiedBus, som Huawei også kalder Lingqu, skal systemet opbygge en global KV-cache i flere lag med one-hop-forbindelser. Dermed udvides cachelaget fra acceleratorhukommelse og DRAM til også at omfatte SSD'er. 2
26
Kort sagt forsøger Huawei at gøre langt mere kontekst tilgængelig for lagring, deling og genbrug uden at alt skal blive liggende i de dyreste hukommelseslag.
Op til 64 PB delt KV-cache pr. klynge
Huawei oplyser, at en M900-klynge kan levere op til 64 PB KV-cache. Virksomheden siger også, at den tilgængelige KV-cache pr. NPU – en AI-accelerator – kan løftes fra GB- til TB-niveau. Formålet er at øge cache-hit-raten for forespørgsler med lang kontekst. 2
26
Det er vigtigt at skelne mellem delt hukommelse på SuperPoD-niveau og lokal HBM i en enkelt chip: M900 øger ikke selve chipens HBM-kapacitet. Den praktiske gevinst afhænger derfor af, hvordan softwaren placerer, henter og genbruger KV-cache, samt af den konkrete blanding af forespørgsler i drift.
Arkitekturen: KV-semantik og direkte vej fra NPU til SSD
Ifølge Huawei samler M900 CPU, netværkscontroller og NAND-controller i én arkitektur. Det skal give såkaldt native KV-semantik og lade en NPU nå SSD-laget i ét hop, uden protokolkonvertering eller videresendelse via CPU'en. 20
26
Huaweis offentliggjorte mål er:
- cirka 60 mikrosekunders adgangstid,
- op til 40 TB/s samlet båndbredde pr. klynge,
- 1,5 gange højere båndbredde end sammenlignelige markedsløsninger, ifølge Huawei.
26
Det er leverandørens egne tal. Lanceringen beskriver ikke fuldt ud modelvalg, belastningsgrad, cache-hit-rate, klyngeopsætning eller metoden bag sammenligningen. Uafhængige benchmarks med repræsentative produktionsworkloads bliver derfor afgørende, hvis systemets reelle effekt skal vurderes.
Huaweis påstande om throughput og SSD-levetid
I et typisk scenarie for AI-baseret programmering oplyser Huawei dobbelt så højt token-gennemløb og en halvering af time to first token (TTFT) – tiden, før brugeren ser det første genererede token. 14
Uden detaljer om baseline og workload kan disse resultater ikke uden videre overføres til andre modeller, softwarestakke eller kundemiljøer.
Huawei beskriver også KV-aware adaptive storage, hvor systemet vurderer cachens værdi og forventede levetid for at vælge det rette lagringsmedie. Virksomheden hævder op til 24 DWPD – fulde drevskrivninger pr. dag – og cirka 16 gange længere læse-/skrivelevetid for SSD-medier gennem hybridlagring og en optimeret opbevaringsalgoritme. 16
18
Også her bør påstandene kontrolleres under reelle skriveintensive belastninger og konkrete cachepolitikker.
En del af Huaweis større SuperPoD-plan
M900 er mere end en enkeltstående lagerlancering. Huawei fremstiller UnifiedBus som et forbindelseslag mellem klynger og SuperPoDs til agentbaseret AI, mens M900 bliver lager- og kontekstlaget i den samlede arkitektur. 23
I denne model:
- leverer Ascend-acceleratorer beregningskraften,
- står UnifiedBus/Lingqu for sammenkobling og deling af ressourcer,
- bidrager OceanStor M900 med vedvarende, delt KV-cache i petabyte-skala.
M900 giver altså ikke i sig selv mere modelregnekraft og erstatter hverken acceleratorer eller højhastighedsforbindelser. Løftet er i stedet at reducere det hukommelsespres, der opstår, når lange kontekstvinduer og gentagne agenttrin gør KV-cache næsten lige så vigtig som selve regnekraften. 2
23
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Huawei OceanStor M900: delt KV-cache på op til 64 PB til AI-inference"?
På HUAWEI CONNECT 2026 præsenterede Huawei OceanStor M900, et delt KV cache lag til hyperskala SuperPoDs med op til 64 PB kapacitet pr.
What are the key points to validate first?
På HUAWEI CONNECT 2026 præsenterede Huawei OceanStor M900, et delt KV cache lag til hyperskala SuperPoDs med op til 64 PB kapacitet pr. Med Lingqu UnifiedBus samler og lagdeler systemet KV cache på tværs af acceleratorhukommelse, DRAM og SSD'er for at håndtere lange kontekster og agentbaseret inference.
What should I do next in practice?
Huawei oplyser cirka 60 µs adgangstid, 40 TB/s samlet båndbredde og dobbelt token gennemløb i et AI kodningsscenarie, men tallene mangler endnu uafhængig validering.
Sources
huawei.comHuawei Introduces OceanStor M900 Context Memory Storage to Accelerate AI Inference in Hyperscale Data Centers - Huawei