OceanStor M900 ska ge AI-modeller längre minne – men hastighetsvinsterna återstår att bevisa

När en AI-modell arbetar med långa konversationer eller utför uppgifter i flera steg byggs en KV-cache upp. Den lagrar information som kan återanvändas under inferensen – när modellen tar fram sitt svar. Problemet är att mängden cache kan bli större än vad som ryms nära processorerna. Huawei vill lösa kapacitetsbristen med OceanStor M900: en delad lagringsnivå på SSD under kretsarnas eget minne och arbetsminnet, DRAM. SSD-enheterna ska alltså komplettera det snabbaste minnet, inte ersätta det. 81012

Mer cache att nå – inte mer minne på kretsen

Via sammankopplingstekniken Lingqu, även kallad UnifiedBus, säger Huawei att KV-cachen kan delas inom ett SuperPoD-system och fördelas mellan minne på kretsen, DRAM och SSD. Bolaget anger upp till 64 PB per kluster och säger att den cachekapacitet som varje NPU, en processor för AI-beräkningar, kan komma åt ökar från gigabyte till terabyte. Det är tillgång till gemensam kapacitet på flera lagringsnivåer, inte terabyte nytt fysiskt minne i varje NPU. 810

M900 är därmed byggd för att lagra och återanvända kontext vid inferens, snarare än för att utföra AI-beräkningarna. Den kompletterar processorerna och är beroende av sammankopplingen för delad åtkomst; den ersätter varken beräkningskretsarna eller nätverket mellan dem. Huawei lyfter särskilt fram arbetslaster med AI-agenter och långa kontexter. Branschmediet Blocks & Files pekar ut Atlas 960 SuperPoD som en tänkt miljö. 126

Vad Huawei säger om hastigheten

Huawei beskriver en direkt åtkomstväg från NPU till SSD i ett steg, möjliggjord av en konstruktion som integrerar funktioner för CPU, nätverksstyrenhet och NAND-styrenhet. Enligt bolaget undviks vidarebefordran via CPU och protokollomvandling. Det ska minska åtkomstlatensen med 90 procent, till 60 mikrosekunder. Huawei anger också 40 TB/s i sammanlagd bandbredd per kluster, 1,5 gånger dess angivna jämförelselösning. Bandbreddssiffran gäller hela klustret, inte varje enskild NPU. 8

I vad Huawei kallar ett typiskt scenario för AI-programmering uppger bolaget dubbel tokengenomströmning i inferensklustret och halverad tid till första token – alltså tills svaret börjar komma. Resultatet kan inte utan vidare överföras till alla förfrågningar med långa kontexter eller AI-agenter. 814

Livslängd och kostnad är fortfarande öppna frågor

Tekniken KV-Aware ska enligt Huawei förutsäga hur länge cachedata behöver finnas kvar och styra var de placeras. Bolaget uppger stöd för upp till 24 fullständiga skrivningar av en SSD:s kapacitet per dag, 16 gånger längre livslängd för SSD-mediet och tre års stabil drift. Färre byten och mindre underhåll skulle kunna sänka kostnaderna, men det tillgängliga underlaget visar ingen uppmätt besparing per producerad token. 8

Den viktiga skillnaden går mellan mer cache inom räckhåll och bevisat snabbare och billigare inferens i stor skala. Oberoende tester behöver visa hur mycket kapacitet som faktiskt kan användas och hur ofta cachen ger träff vid verkliga arbetslaster. De behöver också mäta latens och uthållig bandbredd när många delar på systemet, jämföra tokenprestanda mot en tydligt angiven utgångspunkt samt följa SSD-slitage och totalkostnad över tid. Den tillgängliga tredjepartsrapporteringen återger Huaweis siffror, men verifierar dem inte självständigt. 614