AnswersPublished15 sources
Huawei OceanStor M900 tuo tekoälyn KV-välimuistin SSD-levyille
Huawei lupaa SuperPoD järjestelmälle jaetun KV välimuistin, jonka kapasiteetti voi olla jopa 64 PB klusteria kohti. Teratavujen välimuisti NPU:ta kohti tarkoittaa pääsyä yhteiseen, eri muistitasoille jaettuun kapasiteettiin – ei teratavuja uutta sirumuistia.
JulkaisijaMuokattu mallilla GPT-6 SolKuvat luotu mallilla GPT Image 2
Research answer
Key takeaways
- Huawei lupaa SuperPoD järjestelmälle jaetun KV välimuistin, jonka kapasiteetti voi olla jopa 64 PB klusteria kohti.
- Teratavujen välimuisti NPU:ta kohti tarkoittaa pääsyä yhteiseen, eri muistitasoille jaettuun kapasiteettiin – ei teratavuja uutta sirumuistia.
- 60 mikrosekunnin viive, kaksinkertainen token läpimeno ja pidempi SSD levyjen käyttöikä ovat Huawein ilmoittamia lukuja, eivät riippumattomasti todennettuja yleistuloksia.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How does Huawei’s OceanStor M900 AI memory storage address the KV Cache memory wall in hyperscale, long-context and agentic inference SuperP. Article summary: Huawei positions OceanStor M900 as a shared, SSD-backed **KV-cache tier** for SuperPoD inference, not as a replacement for the NPU’s fast memory. Its aim is to keep and reuse more context across long-running and agentic . Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Pitkää keskustelua käsittelevä tai useita vaiheita suorittava tekoäly voi tuottaa enemmän uudelleenkäytettävää kontekstia kuin laskentapiirien lähellä olevaan muistiin mahtuu. Tätä kontekstia säilytetään niin sanotussa avain–arvo- eli KV-välimuistissa. Huawein OceanStor M900:n idea on lisätä sirumuistin ja keskusmuistin rinnalle jaettu, SSD-levyihin perustuva tallennuskerros. Se ei tee SSD-levyistä yhtä nopeita kuin NPU-kiihdytinpiirin oma muisti, vaan pyrkii pitämään enemmän kontekstia järjestelmän ulottuvilla. 8
10
12
Mitä 64 PB ja ”teratavuja NPU:ta kohti” tarkoittavat?
Huawein mukaan Lingqu-niminen UnifiedBus-yhteys kokoaa SuperPoD-laskentajärjestelmän KV-välimuistin yhteiseen käyttöön ja jakaa sitä sirumuistin, DRAM-keskusmuistin ja SSD-levyjen kesken. Yhtiö ilmoittaa kapasiteetiksi jopa 64 PB klusteria kohti ja sanoo kunkin NPU:n käytettävissä olevan KV-välimuistin kasvavan gigatavuista teratavuihin. Kyse on pääsystä jaettuun kapasiteettiin, ei siitä, että jokaisen NPU:n fyysinen sirumuisti kasvaisi teratavuihin. 8
10
M900 on siis tekoälymallin vastausten tuottamiseen eli inferenssiin suunnattu kontekstin tallennusjärjestelmä, ei uusi laskentapiiri tai yhteystekniikan korvike. Se täydentää NPU-kiihdyttimiä ja tarvitsee UnifiedBus-yhteyden jaetun välimuistin käyttöön. Huawei kohdistaa sen erityisesti pitkiä konteksteja ja useita tehtäviä käsitteleviin tekoälytyönkulkuihin; alan uutisointi mainitsee käyttökohteena Atlas 960 SuperPoD -järjestelmät. 12
6
Mistä ilmoitettu nopeushyöty syntyy?
Huawei kertoo yhdistäneensä suunnittelussa suorittimen sekä verkko- ja NAND-ohjaimen toimintoja. Yhtiön mukaan NPU pääsee tämän ansiosta SSD-tallennukseen yhden yhteysetapin kautta ilman erillistä suorittimen välitystä ja protokollamuunnosta. Huawei ilmoittaa pääsyviiveen pienenevän 90 prosenttia, 60 mikrosekuntiin. Se lupaa myös 40 TB/s:n yhteenlasketun kaistanleveyden klusterille, mikä on sen mukaan 1,5-kertainen vertailuratkaisuun nähden. Luku ei tarkoita, että jokainen NPU saisi käyttöönsä 40 TB/s. 8
Huawein käyttämässä ”tyypillisessä tekoälyohjelmoinnin” työkuormassa inferenssiklusterin token-läpimeno yhtiön mukaan kaksinkertaistui ja ensimmäisen tokenin odotusaika puolittui. Tulosta ei voi sellaisenaan yleistää kaikkiin pitkiin keskusteluihin tai tekoälyagenttien tehtäviin. 8
14
Entä SSD-levyjen kesto ja kustannukset?
Huawein mukaan KV-Aware-ohjaus ennakoi välimuistitiedon käyttöikää ja sijoittaa dataa eri tallennusmedioille sen perusteella. Yhtiö ilmoittaa enimmillään 24 koko levyn kirjoitusta päivässä (DWPD), 16-kertaisen SSD-median käyttöiän ja kolmen vuoden vakaan toiminnan. Huawei katsoo harvempien vaihtojen ja vähäisemmän ylläpidon alentavan inferenssin kustannuksia, mutta aineistossa ei osoiteta mitattua säästöä tuotettua tokenia kohti. 8
Ratkaiseva ero on suuremman käytettävissä olevan välimuistin ja todennetusti nopeamman sekä edullisemman inferenssin välillä. Riippumattomissa kokeissa pitäisi selvittää esimerkiksi todellinen käyttökelpoinen kapasiteetti ja välimuistiosumien määrä, viive ja jatkuva kaistanleveys kuormitettuna, nopeushyödyt selkeästi määriteltyyn vertailujärjestelmään nähden sekä SSD-levyjen kuluminen ja kokonaiskustannukset ajan mittaan. Saatavilla oleva ulkopuolinen uutisointi välittää Huawein suorituskykylukuja, mutta ei riippumattomasti vahvista niitä. 6
14
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Huawei OceanStor M900 tuo tekoälyn KV-välimuistin SSD-levyille"?
Huawei lupaa SuperPoD järjestelmälle jaetun KV välimuistin, jonka kapasiteetti voi olla jopa 64 PB klusteria kohti.
What are the key points to validate first?
Huawei lupaa SuperPoD järjestelmälle jaetun KV välimuistin, jonka kapasiteetti voi olla jopa 64 PB klusteria kohti. Teratavujen välimuisti NPU:ta kohti tarkoittaa pääsyä yhteiseen, eri muistitasoille jaettuun kapasiteettiin – ei teratavuja uutta sirumuistia.
What should I do next in practice?
60 mikrosekunnin viive, kaksinkertainen token läpimeno ja pidempi SSD levyjen käyttöikä ovat Huawein ilmoittamia lukuja, eivät riippumattomasti todennettuja yleistuloksia.