AnswersPublished18 sources
Huawei raportoi 7,3-kertaisen päättelynopeuden KV-välimuistin siirrolla
Huawei kertoi lokakuussa 2026 Shanghaissa järjestetyssä tallennusalan konferenssissa, että KV välimuistin siirto kasvatti GLM 5.2 mallin päättelyn läpimenoa 7,3 kertaiseksi yhtiön laboratoriotestissä. KV välimuisti tallettaa mallin jo laskemia Key ja Value tietoja uudelleenkäyttöä varten.
JulkaisijaMuokattu mallilla GPT-6 LunaKuvat luotu mallilla GPT Image 2
Research answer
Key takeaways
- Huawei kertoi lokakuussa 2026 Shanghaissa järjestetyssä tallennusalan konferenssissa, että KV välimuistin siirto kasvatti GLM 5.2 mallin päättelyn läpimenoa 7,3 kertaiseksi yhtiön laboratoriotestissä.
- KV välimuisti tallettaa mallin jo laskemia Key ja Value tietoja uudelleenkäyttöä varten.
- Huawei esitteli ratkaisua, jossa laskenta, tallennus ja verkko toimivat yhdessä.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What storage-network convergence approach did Huawei present at the ODCC-organized Advanced Storage Conference in Shanghai on October 22, 20. Article summary: Huawei presented storage–network convergence as a way to reduce the cost of moving KV Cache between compute, storage, and network during agentic AI inference at the October 22, 2026 ASC session in Shanghai; ODCC organize. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Shanghaissa 22. lokakuuta 2026 järjestetyssä Advanced Storage Conference -tapahtumassa Huawei esitteli, miten laskennan, tallennuksen ja verkon yhteistyöllä voitaisiin helpottaa tekoälyn päättelyä hidastavaa KV-välimuistin pullonkaulaa. Avoimen datakeskuskomitean (ODCC) järjestämässä tapahtumassa yhtiö kertoi, että KV-välimuistin siirto kasvatti GLM-5.2-mallin päättelyn läpimenoa laboratoriotestissä 7,3-kertaiseksi. Tallennuksen ja verkon yhteinen I/O-ohjaus toi Huawein mukaan vielä 20 prosentin lisäyksen päättelyn tehokkuuteen. Yhtiö ei julkaissut testin kaikkia järjestelyjä.5
8
Miksi KV-välimuisti kuormittaa infrastruktuuria?
Kun suuri kielimalli käsittelee tekstiä ja tuottaa uusia tokeneita, se laskee huomiointiin liittyviä Key- ja Value-tietoja. KV-välimuisti säilyttää näitä jo laskettuja tietoja, jotta malli voi hyödyntää niitä myöhemmin eikä joudu tekemään samoja laskuja uudelleen.47
48
Välimuisti kasvaa kontekstin pidentyessä. Monivaiheisissa keskusteluissa järjestelmä voi myös joutua säilyttämään tai ottamaan uudelleen käyttöön aiempaa keskustelutilaa. Kun pyyntöjä ja välimuistia jaetaan palvelinklustereissa, tietojen siirtely laskennan, tallennuksen ja verkon välillä lisää liikennettä ja kuluttaa käytettävissä olevaa muistia. Huawei kuvasi, miten pyyntökohtaisten välimuistien, säilytettävän kokonaismäärän ja palvelinsolmujen välisen liikenteen kasvu voi viedä klusterin KV-välimuistin kohti petatavuluokkaa.5
Huawei jäsensi ongelman kolmeksi pullonkaulaksi: laskentapuolen I/O-kyky ei riitä, tietojen siirtely kerrosten välillä kasvattaa viivettä ja tallennusjärjestelmän IOPS-suorituskyky ei riitä palvelemaan tehokkaasti suurta määrää välimuistioperaatioita.5
Ratkaisu yhdistää laskentaa, tallennusta ja verkkoa
Huawein esittelemässä lähestymistavassa KV-välimuistia ei käsitellä vain muistinkapasiteetin ongelmana. Ratkaisu ulottuu kiihdyttimistä tallennukseen ja verkkoon. Tapahtumaa käsittelevän raportin mukaan laskentapuolella prosessorit voivat käynnistää välimuistin I/O-operaatioita suoraan. Kehityspolku etenee AI-suorittimien ja vektoriytimien käytöstä kohti hienojakoista SIMT-tason I/O:ta. Kokonaisuuteen kuuluvat myös tallennuspuolen ratkaisut ja verkon kanssa tehtävä koordinointi.5
Huawein kertomat suorituskykyluvut liittyvät kahteen vaiheeseen: ensin KV-välimuistin suoraan siirtoon ja sen lisäksi tallennuksen ja verkon yhteiseen I/O-ohjaukseen. Julkisissa tapahtumaraporteissa ei kuitenkaan ole riittävästi teknisiä tietoja, jotta jokainen toteutuksen osa voitaisiin varmentaa tai tulokset yhdistää varmasti tiettyyn Hyper-Converged Fabric (HCF) -ajoitusasetukseen. Luvut on siksi syytä ymmärtää Huawein kuvaaman laboratoriotestin tuloksiksi, ei kattavaksi julkiseksi arkkitehtuurikuvaukseksi.5
7
Mitä tuloksista tiedetään – ja mitä ei?
GLM-5.2-mallilla tehdyssä laboratoriotestissä suora KV-välimuistin siirto tuotti Huawein mukaan 7,3-kertaisen päättelyn läpimenon tavanomaiseen, muistiin perustuvaan ratkaisuun verrattuna. Kun mukaan lisättiin tallennuksen ja verkon yhteinen I/O-ohjaus, yhtiö ilmoitti päättelyn tehokkuuden parantuneen vielä 20 prosenttia.5
Tuloksiin kannattaa suhtautua varauksella. Huawei ei kertonut testikokoonpanoa kokonaisuudessaan. Siksi ulkopuolisen on vaikea arvioida esimerkiksi käytettyä työkuormaa, vertailutapaa ja eri teknisten ratkaisujen osuutta tulokseen. Saatavilla olevat tapahtumaraportit eivät myöskään vahvista erillistä väitettä tallennuksen I/O-suorituskyvyn yli 30 prosentin kasvusta, joten sitä lukua ei voi pitää tässä todennettuna.5
7
Lokakuun mittaukset jatkoivat aiemmin esiteltyä linjaa
Lokakuun esitys tuli sen jälkeen, kun Huawei oli esitellyt päivitetyn Stellar AI Fabric -ratkaisunsa HUAWEI CONNECT -tapahtumassa syyskuussa. Lokakuun tapahtumasta julkaistut tiedot toivat aiemmin esiteltyyn suuntaan KV-välimuistin siirtoa koskevia laboratoriolukuja. Syyskuussa Huawei esitteli myös OceanStor M900 Context Memory Storage -tallennusratkaisun, jonka tarkoitus on laajentaa tekoälyn päättelyssä käytettävä KV-välimuisti sirun sisäisen muistin ja DRAM-muistin ulkopuolelle jaettuun, monitasoiseen tallennustilaan.10
15
16
Ero on olennainen: lokakuun luvut täydentävät Huawein aiempaa tallennus- ja verkkoratkaisujen kehityslinjaa suorituskykyväitteellä. Saatavilla olevat lähteet eivät kuitenkaan osoita, että kaikki lokakuussa käsitellyt tekniset yksityiskohdat olisivat olleet täsmälleen samoja kuin syyskuussa esitellyssä ratkaisussa. Lähteet eivät myöskään kerro lokakuun konferenssissa julkistetusta erillisestä uudesta tuotteesta.5
10
16
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Huawei raportoi 7,3-kertaisen päättelynopeuden KV-välimuistin siirrolla"?
Huawei kertoi lokakuussa 2026 Shanghaissa järjestetyssä tallennusalan konferenssissa, että KV välimuistin siirto kasvatti GLM 5.2 mallin päättelyn läpimenoa 7,3 kertaiseksi yhtiön laboratoriotestissä.
What are the key points to validate first?
Huawei kertoi lokakuussa 2026 Shanghaissa järjestetyssä tallennusalan konferenssissa, että KV välimuistin siirto kasvatti GLM 5.2 mallin päättelyn läpimenoa 7,3 kertaiseksi yhtiön laboratoriotestissä. KV välimuisti tallettaa mallin jo laskemia Key ja Value tietoja uudelleenkäyttöä varten.
What should I do next in practice?
Huawei esitteli ratkaisua, jossa laskenta, tallennus ja verkko toimivat yhdessä.