Huawei OceanStor M900 ska ge AI-kluster ett nytt minneslager för kontext

Huawei har presenterat OceanStor M900 Context Memory Storage, ett lagringssystem för AI-inferens i hyperskaliga datacenter. Produkten är inte tänkt att ersätta HBM eller DRAM i AI-acceleratorer, utan att lägga till ett delat och skalbart minneslager för SuperPoDs – mycket stora AI-kluster – där KV-cache kan bli en flaskhals vid mycket långa promptar och agentbaserade arbetsflöden i flera steg. 223

Problemet: KV-cache ryms inte alltid i acceleratorernas minne

Vid inferens med stora språkmodeller sparar KV-cachen mellanliggande tillstånd från token som modellen redan har behandlat. Att kunna återanvända den informationen är värdefullt när samma eller närliggande kontext återkommer, exempelvis i fleromgångschattar eller när en AI-agent utför flera deluppgifter.

Huawei positionerar M900 som ett svar på kapacitetsbegränsningar i minne på chipet och i DRAM vid extremt långa kontextfönster och inferens i flera omgångar. Med UnifiedBus, som företaget även kallar Lingqu, ska systemet skapa en global KV-cache i flera nivåer med anslutning i ett enda hopp. Cachelagret utökas från acceleratorernas minne och DRAM till SSD-enheter. 226

I praktiken är tanken att mer av kontexten ska kunna sparas, delas och återanvändas utan att hela datamängden måste ligga kvar i de dyraste minneslagren.

Upp till 64 PB KV-cache per kluster

Enligt Huawei kan ett M900-kluster erbjuda upp till 64 PB KV-cache. Bolaget uppger också att tillgänglig KV-cache per NPU – en AI-processor – kan gå från gigabyte- till terabytenivå, i syfte att öka träffsäkerheten i cachen för förfrågningar med lång kontext. 226

Det handlar alltså om delat minne på SuperPoD-nivå, inte om att den lokala HBM-kapaciteten i varje chip utökas. Den faktiska nyttan beror därför på hur mjukvaran fördelar, hämtar och återanvänder KV-cachen – och på vilken typ av förfrågningar som körs i den aktuella miljön.

Arkitekturen: direkt väg från NPU till SSD

Huawei uppger att M900 integrerar CPU, nätverksstyrenhet och NAND-styrenhet i en gemensam arkitektur. Det ska ge inbyggd KV-semantik och möjliggöra åtkomst från NPU till SSD i ett enda hopp, utan protokollomvandling eller vidarebefordran via CPU:n. 2026

Bolagets publicerade prestandamål är:

• omkring 60 mikrosekunders åtkomstlatens,
• upp till 40 TB/s i samlad bandbredd per kluster,
• 1,5 gånger högre bandbredd än jämförbara marknadslösningar, enligt Huawei. 26

Siffrorna är leverantörens egna uppgifter. I lanseringsmaterialet redovisas inte fullständiga detaljer om modell, samtidig belastning, cacheträffar, klusterkonfiguration eller jämförelsemetod. Oberoende tester med representativa produktionsarbetslaster behövs därför för att bedöma den praktiska prestandan.

Påståenden om tokenflöde och SSD-hållbarhet

För ett typiskt AI-kodningsscenario uppger Huawei dubbelt tokenflöde och halverad tid till första token (TTFT). 14 Utan närmare information om referenssystem och arbetslast går det dock inte att dra någon generell slutsats för alla modeller eller inferensplattformar.

Företaget beskriver också en funktion för KV-medveten adaptiv lagring. Den ska ta hänsyn till cachens värde och förväntade livslängd när data placeras på olika lagringsmedier. Huawei hävdar stöd för upp till 24 DWPD – hela disköverskrivningar per dag – och omkring 16 gånger längre läs- och skrivlivslängd för SSD-enheter genom hybridmedier och en optimerad bevarandealgoritm. 1618

Även dessa hållbarhetsuppgifter behöver bekräftas i verkliga driftsmiljöer, där skrivintensitet och cachepolicyer kan skilja sig väsentligt mellan installationer.

En del av Huaweis större SuperPoD-plan

M900 är mer än en fristående lagringslansering. Huawei beskriver UnifiedBus som ett sammankopplingslager för kluster och SuperPoDs i agentbaserad AI, medan M900 blir lagrings- och kontextlagret i den arkitekturen. 23

I denna modell står:

• Ascend-acceleratorer för beräkning,
• UnifiedBus/Lingqu för sammankoppling och delning av resurser,
• OceanStor M900 för persistent, delad KV-cache i petabyteskala.

M900 tillför därmed inte beräkningskapacitet till modellen i sig och ersätter varken acceleratorkretsar eller höghastighetsnätverk. Huaweis löfte är i stället att minska den minnespress som uppstår när långa kontextfönster och upprepade agentsteg gör KV-cache till en lika viktig begränsning som själva beräkningskraften. 223