Huawei OceanStor M900 tuo SuperPoD-järjestelmille jaetun kontekstimuistin

Huawei esitteli OceanStor M900 Context Memory Storage -ratkaisun hyperskaalan datakeskusten tekoälyinferenssiä varten. Sen tarkoitus ei ole korvata kiihdyttimien HBM- tai DRAM-muistia, vaan lisätä SuperPoD-kokonaisuuksiin jaettu ja skaalautuva kontekstimuistikerros. Tämä on olennaista, kun KV-välimuisti alkaa rajoittaa suorituskykyä erittäin pitkissä kehotteissa ja monivaiheisissa agenttityökuormissa. 223

Miksi KV-välimuistista tulee pullonkaula?

Kun suuri kielimalli tuottaa vastausta, KV-välimuisti säilyttää jo käsiteltyihin tokeneihin liittyvää välitilaa. Välimuistin uudelleenkäyttö on hyödyllistä esimerkiksi silloin, kun keskustelun sama tai samankaltainen konteksti toistuu myöhemmillä kierroksilla tai agentti jatkaa tehtävää useissa vaiheissa.

Huawei asemoi M900:n ratkaisuksi tilanteisiin, joissa sirun oma muisti ja DRAM eivät enää tarjoa riittävästi kapasiteettia pitkille konteksti-ikkunoille ja usean kierroksen inferenssille. Yhtiön UnifiedBus, josta käytetään myös nimeä Lingqu, muodostaa maailmanlaajuisen, monitasoisen KV-välimuistin yhden hypyn yhteyksillä. Samalla välimuistitaso laajenee kiihdyttimen muistista ja DRAM:sta SSD-levyille. 226

Käytännössä tavoitteena on, että huomattavasti suurempi osa mallin kontekstista voidaan tallentaa, jakaa ja käyttää uudelleen ilman, että kaiken täytyy pysyä kalleimmissa muistikerroksissa.

Kapasiteettiväite: jopa 64 PB klusteria kohti

Huawein mukaan yksi M900-klusteri voi tarjota enintään 64 PB KV-välimuistia. Yhtiö myös arvioi, että NPU:ta kohden käytettävissä oleva KV-välimuisti voidaan kasvattaa gigatavuluokasta teratavuluokkaan, mikä voisi parantaa pitkän kontekstin pyyntöjen välimuistiosumia. 226

Kyse ei kuitenkaan ole yksittäisen piirin paikallisen HBM-muistin kasvattamisesta. M900 on SuperPoD-tason jaettu muistiratkaisu. Sen käytännön hyöty riippuu siten siitä, miten ohjelmisto sijoittaa, hakee ja käyttää KV-välimuistia uudelleen – sekä siitä, millainen pyyntöjakauma tuotantoympäristössä todellisuudessa on.

Arkkitehtuuri: KV-semanttiikkaa ja NPU–SSD-yhteys yhdellä hypyllä

Huawei kertoo yhdistäneensä CPU:n, verkkokontrollerin ja NAND-kontrollerin samaan arkkitehtuuriin. Yhtiön mukaan ratkaisu tarjoaa natiivin KV-semanttiikan ja mahdollistaa yhden hypyn yhteyden NPU:lta SSD:lle ilman protokollamuunnoksia tai CPU:n kautta tapahtuvaa välitystä. 2026

Huawein julkaisemat tavoiteluvut ovat:

• noin 60 mikrosekunnin käyttöviive,
• enintään 40 TB/s yhteenlaskettua kaistanleveyttä klusteria kohti,
• 1,5-kertainen kaistanleveys verrattuna alan verrokkiratkaisuihin Huawein oman vertailun mukaan. 26

Luvut ovat valmistajan ilmoittamia. Tiedotteessa ei avata kattavasti käytettyä mallia, samanaikaisten pyyntöjen määrää, välimuistiosumien osuutta, klusterikokoonpanoa tai vertailumenetelmää. Siksi riippumattomia mittauksia tuotantoa vastaavilla työkuormilla tarvitaan ennen kuin suorituskyvystä voi tehdä laajempia johtopäätöksiä.

Läpimeno ja SSD-kestävyys: mitä Huawei väittää

Tyypillisessä tekoälykoodauksen inferenssityökuormassa Huawei ilmoittaa kaksinkertaisen token-läpimenon ja puolittuvan ajan ensimmäiseen tokeniin (TTFT, time to first token). 14 Koska vertailutason ja työkuorman yksityiskohtia ei ole julkaistu, luvuista ei voi päätellä vastaavaa hyötyä kaikille malleille tai inferenssialustoille.

Yhtiö kuvailee myös KV-tietoista adaptiivista tallennusta, jossa datan sijoittelu huomioi välimuistimerkinnän arvon ja säilytysajan, jotta sille valitaan sopiva tallennusmedia. Huawei väittää ratkaisun tukevan enintään 24 DWPD:tä (drive writes per day) sekä parantavan SSD-levyjen luku- ja kirjoituskestävyyttä noin 16-kertaiseksi hybridimedian ja optimoidun säilytysalgoritmin avulla. 1618 Myös nämä väitteet on vahvistettava todellisilla kirjoituskuormilla ja välimuistinhallinnan käytännöillä.

Osa laajempaa SuperPoD-arkkitehtuuria

M900:n julkistus on ennen kaikkea arkkitehtuuriviesti, ei pelkkä erillinen tallennustuote. Huawei kuvailee UnifiedBusin klustereita ja SuperPoD-kokonaisuuksia yhdistäväksi liityntätekniikaksi agenttipohjaista tekoälyä varten. M900 toimii tässä kokonaisuudessa tallennus- ja kontekstimuistikerroksena. 23

Kokonaisuudessa:

• Ascend-kiihdyttimet tuottavat laskentatehon,
• UnifiedBus/Lingqu vastaa yhteyksistä ja resurssien jakamisesta,
• OceanStor M900 tuo petatavuluokassa pysyvän, jaetun KV-välimuistin.

M900 ei siis itsessään lisää mallin laskentatehoa eikä korvaa kiihdyttimiä tai nopeita kytkentätekniikoita. Sen lupaus on helpottaa muistipainetta tilanteissa, joissa pitkät konteksti-ikkunat ja toistuvat agenttivaiheet tekevät KV-välimuistista laskennan ohella keskeisen rajoitteen. 223