Huawei OceanStor M900: Så fungerar den delade KV-cachen

Huawei presenterade OceanStor M900 på HUAWEI CONNECT 2026. Systemet är byggt för inferens – när en AI-modell genererar svar – i företagets SuperPoD-kluster. Tanken är att fler acceleratorer ska kunna dela och återanvända tidigare beräknat sammanhang när instruktioner, konversationer och arbetsflöden med AI-agenter blir längre. 19

Varför dela på en KV-cache?

En KV-cache, eller nyckel–värde-cache, sparar mellanresultat från modellens bearbetning av en instruktion. Om en ny förfrågan har en del som redan finns i cachen kan systemet i vissa fall slippa räkna om just den delen. Det blir särskilt intressant vid långa sammanhang och upprepade interaktioner, men cachen kan också bli för stor för minnet nära varje AI-accelerator, eller NPU. 136

OceanStor M900 använder Huaweis nätverk UnifiedBus för att göra KV-cachen till en delad pool över flera lagringsnivåer: minne på chipet, arbetsminne (DRAM) och SSD-enheter. Enligt Huawei kan ett kluster rymma 64 PB KV-cache, samtidigt som mängden cache som en enskild NPU kan komma åt ökar från gigabyte- till terabytenivå. 64 PB avser alltså klustrets delade kapacitet, inte minnet inuti en NPU. Hur mycket detta hjälper beror på om inkommande förfrågningar faktiskt kan återanvända sparat innehåll. 3617

Snabbare väg till SSD – enligt Huawei

För att SSD-lagret ska vara användbart under inferens beskriver Huawei en åtkomstväg med ett enda hopp mellan NPU och SSD. Konstruktionen samlar funktioner för processor, nätverksstyrenhet och NAND-styrenhet för att undvika vissa steg där data annars skulle behöva skickas vidare via en processor eller byta protokoll. Huawei uppger en åtkomstfördröjning på omkring 60 mikrosekunder och en sammanlagd bandbredd på 40 TB/s per kluster. Det är angivna systemvärden, inte löften om hastigheten för varje cacheuppslag. 362832

Möjlig vinst – men ännu inte oberoende verifierad

När en förfrågan kan återanvända cachat arbete kan tiden till det första genererade textfragmentet, en token, minska. Mindre omräkning kan också frigöra kapacitet för att generera fler token. Huawei säger att arkitekturen i ett typiskt scenario för AI-assisterad kodning fördubblade inferensklustrets tokengenomströmning och halverade tiden till första token. Resultatet gäller det angivna scenariot och kan inte förutsättas för andra arbetslaster. 2833

Huawei beskriver också KV-medveten placering som styr hur länge cachedata ligger kvar på olika lagringsmedier. Företaget anger SSD-uthållighet på upp till 24 fullständiga enhetsskrivningar per dag, en 16-faldig förbättring av livslängden och ett mål om stabil drift i tre år. Tanken är att mindre omräkning och färre byten av lagringsenheter ska sänka kostnaden per genererad token. Det tillgängliga underlaget visar däremot inte att prestandan, livslängden eller kostnadsbesparingarna har bekräftats oberoende i SuperPoD-kluster i drift. 6833