OceanStor M900 skal gi KI-systemer større delt KV-hurtigbuffer

Når en KI-modell håndterer lange samtaler eller oppgaver med mange steg, kan den bygge opp en stor KV-hurtigbuffer. Der ligger mellomresultater som kan brukes om igjen, slik at modellen slipper å behandle den samme konteksten på nytt. Utfordringen er å holde nok av disse dataene tilgjengelige nær prosessorene. Huaweis OceanStor M900 skal utvide kapasiteten med et delt lag på SSD-er – ikke erstatte det raskeste minnet i NPU-ene, prosessorene som utfører KI-beregningene. 81012

Felles kapasitet, ikke mer minne på brikken

Via forbindelsesteknologien Lingqu, også kalt UnifiedBus, sier Huawei at KV-hurtigbufferen kan deles i en SuperPoD-klynge og fordeles mellom minne på brikken, DRAM og SSD-er. Selskapet oppgir opptil 64 PB kapasitet per klynge og sier at tilgjengelig KV-hurtigbuffer per NPU øker fra gigabyte- til terabytenivå. Det siste betyr tilgang til delt kapasitet på flere lagringsnivåer – ikke at hver NPU får tilsvarende mer fysisk minne på brikken. 810

M900 er dermed et lagringssystem rettet mot KI-inferens, altså arbeidet med å generere svar, ikke en ny beregningsbrikke. Det skal utfylle NPU-ene og er avhengig av forbindelsen mellom dem og lageret. Huawei trekker særlig frem oppgaver med lange kontekster og KI-agenter som utfører flere steg; bransjemedier peker på Atlas 960 SuperPoD som et aktuelt bruksområde. 126

Hva Huawei hevder om hastigheten

Huawei sier at en konstruksjon som integrerer funksjoner for CPU, nettverkskontroller og NAND-kontroller, gir én direkte forbindelsesvei fra NPU til SSD. Ifølge selskapet unngår dette videresending via CPU og protokollkonvertering, og reduserer tilgangstiden med 90 prosent, til 60 mikrosekunder. Huawei oppgir også 40 TB/s samlet båndbredde per klynge, 1,5 ganger nivået i løsningen selskapet sammenligner med. Det er ikke en garantert båndbredde for hver NPU. 8

I det Huawei kaller et typisk scenario for KI-assistert programmering, hevder selskapet at en inferensklynge kan levere dobbelt så mange utdataenheter, eller tokener, per tidsenhet, og halvere tiden til første token. Det viser ikke at alle forespørsler med lang kontekst eller KI-agenter får samme forbedring. 814

Levetid og kostnader: Fortsatt åpne spørsmål

Med teknologien KV-Aware skal M900 forutsi hvor lenge hurtigbufferdata er nyttige, og styre hvor de plasseres. Huawei hevder støtte for opptil 24 fulle diskskrivinger per dag, 16 ganger lengre levetid for SSD-mediene og tre års stabil drift. Færre utskiftninger og mindre vedlikehold kan ifølge selskapet senke kostnadene ved inferens, men kildene dokumenterer ingen målt besparelse per token. 8

Det avgjørende skillet går mellom å gjøre mer hurtigbuffer tilgjengelig og å dokumentere raskere og billigere inferens i stor skala. Uavhengige tester må vise hvor mye kapasitet som kan brukes effektivt på reelle oppgaver, hvor ofte data gjenbrukes, og hvordan forsinkelse og båndbredde holder seg når mange NPU-er konkurrerer om tilgangen. De må også sammenligne tokenytelse mot et tydelig definert utgangspunkt og følge SSD-slitasje og totalkostnader over tid. Den tilgjengelige tredjepartsdekningen gjengir Huaweis ytelsestall, men bekrefter dem ikke gjennom egne tester. 614