Huawei OceanStor M900: Slik fungerer det delte KV-hurtiglageret

Når en KI-modell får en lang forespørsel, bruker den regnekraft på å behandle innholdet før den kan begynne å svare. Hvis en senere forespørsel bygger på den samme starten, kan et KV-hurtiglager la systemet gjenbruke tidligere beregninger. Utfordringen er å ha nok av dette hurtiglageret tilgjengelig når kontekstene blir lange og KI-agenter samhandler over mange runder.

Huawei lanserte OceanStor M900 under HUAWEI CONNECT 2026 som et lagringssystem for nettopp dette formålet i selskapets SuperPoD-klynger for KI-inferens – altså kjøring av en modell for å produsere svar. 19

Ett hurtiglager, flere lagringsnivåer

M900 bruker Huaweis UnifiedBus-nettverk til å samle KV-data fra minne på brikkene, arbeidsminne (DRAM) og SSD-er i et delt hurtiglager. Ifølge Huawei kan én klynge romme 64 PB, samtidig som kapasiteten en enkelt KI-prosessor (NPU) kan få tilgang til, øker fra gigabyte- til terabyte-nivå. 64 PB er kapasitet i den delte klyngen, ikke minne inne i hver NPU. Mer lagret kontekst kan gi flere muligheter for gjenbruk, men bare når nye forespørsler faktisk overlapper med det som allerede er lagret. 3617

Hvordan skal SSD-ene bli raske nok?

SSD-er gir stor kapasitet, men et hurtiglager for inferens må også kunne nås raskt. Huawei beskriver derfor en forbindelse med ett nettverkshopp mellom NPU-en i en SuperPoD og SSD-ene. Løsningen integrerer funksjoner for CPU, nettverkskontroller og NAND-kontroller for å slippe noen av stegene med protokollkonvertering og videresending via CPU. Huawei oppgir en tilgangstid på rundt 60 mikrosekunder og 40 TB/s i samlet båndbredde per klynge. Dette er oppgitte systemtall, ikke en garanti for hvert enkelt oppslag i hurtiglageret. 362832

Mulig gevinst – og hva som ikke er bevist

Hvis en forespørsel kan bruke en lagret start på teksten, kan systemet unngå å beregne den på nytt. Det kan korte ned tiden til det første genererte tekststykket og frigjøre kapasitet til å produsere flere tekststykker totalt. Huawei hevder at arkitekturen i et typisk scenario for KI-assistert programmering doblet tekstgjennomstrømningen i inferensklyngen og halverte tiden til første tekststykke. Resultatet gjelder det oppgitte scenarioet og kan ikke uten videre overføres til andre arbeidsmengder. 2833

Huawei beskriver også KV-bevisst plassering, der systemet styrer hvor lenge hurtiglagrede data blir liggende på ulike lagringsmedier. Selskapet oppgir at SSD-ene tåler opptil 24 fullstendige overskrivinger per døgn, og hevder 16 ganger lengre levetid, med stabil drift i tre år som mål. Tanken er at mindre omberegning og færre utskiftninger skal redusere kostnaden per genererte tekststykke. Det tilgjengelige kildegrunnlaget dokumenterer imidlertid ikke disse ytelses-, levetids- eller kostnadsgevinstene gjennom uavhengige målinger av SuperPoD-klynger i produksjon. 6833