AnswersPublished13 sources
Supermicron, IBM:n ja NVIDIAn välimuisti lupaa AI:lle nopeamman alun
Supermicro, IBM ja NVIDIA julkistivat 5. marraskuuta 2026 jaetun tallennusratkaisun, jonka avulla AI voi käyttää uudelleen aiemmin käsiteltyä kontekstia.[5][13] Yhtiöiden yhteistestissä raportoitiin jopa 56 kertaa lyhyempi aika ensimmäiseen tokeniin 130 000 tokenin kehotteella.
JulkaisijaMuokattu mallilla GPT-6 LunaKuvat luotu mallilla GPT Image 2
Research answer
Key takeaways
- Supermicro, IBM ja NVIDIA julkistivat 5. marraskuuta 2026 jaetun tallennusratkaisun, jonka avulla AI voi käyttää uudelleen aiemmin käsiteltyä kontekstia.[5][13]
- Yhtiöiden yhteistestissä raportoitiin jopa 56 kertaa lyhyempi aika ensimmäiseen tokeniin 130 000 tokenin kehotteella.
- Ratkaisu yhdistää Supermicron AMD EPYC 9005 suorittimilla varustetut Petascale palvelimet, IBM Storage Scalen, NVIDIA Dynamon ja Spectrum X Ethernet verkon.[6]
- Hyöty riippuu siitä, kuinka paljon aiempaa käsittelyä voidaan käyttää uudelleen.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Supermicro, IBM and NVIDIA announce on November 5, 2026, about a shared-flash AI key-value (KV) cache stored outside GPU memory; ho. Article summary: On November 5, 2026, Supermicro announced a joint KV-cache storage solution with IBM and NVIDIA that keeps reusable, previously computed AI context in shared storage beyond GPU memory.[5][7] The advertised up-to-56× gain. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Supermicro, IBM ja NVIDIA julkistivat 5. marraskuuta 2026 jaetun tallennusratkaisun, jossa AI-järjestelmä voi hyödyntää uudelleen aiemmin käsiteltyä kontekstia sen sijaan, että laskisi kaiken alusta.5
13 Yhtiöiden yhteistestissä ratkaisu lyhensi aikaa ensimmäiseen tokeniin eli vastauksen ensimmäiseen tekstiyksikköön jopa 56-kertaisesti, kun kehotteessa oli 130 000 tokenia.
5
13
Luku kuulostaa suurelta, mutta sen merkitys on rajattu: se kuvaa sitä, kuinka pian järjestelmä alkaa vastata. Se ei tarkoita, että koko vastaus valmistuisi 56 kertaa nopeammin.
Mitä järjestelmässä yhdistetään?
Ratkaisun osat ovat Supermicron Petascale-tallennuspalvelimet, joissa käytetään AMD EPYC 9005 -sarjan suorittimia, IBM Storage Scale -ohjelmisto, NVIDIA Dynamo -päättelyohjelmisto sekä NVIDIA Spectrum-X Ethernet -verkkotekniikka.6
KV-välimuisti tallentaa AI-mallin käsittelyn välituloksia. Kun samaa kontekstia tarvitaan uudelleen, järjestelmä voi hyödyntää tallennettua tietoa sen sijaan, että käsittelisi kaiken uudestaan. Tallennus on tarkoitettu laajentamaan käytettävissä olevaa välimuistia paikallisen näytönohjaimen eli GPU:n muistin ulkopuolelle.5
13
Yhtiöt raportoivat testanneensa ratkaisua 120 miljardin parametrin mallilla. Tuloksen yleistäminen muihin malleihin, kehotteisiin tai järjestelmäkokoonpanoihin ei kuitenkaan käy ilmi tästä yksittäisestä testistä.5
13
Mitä ”jopa 56 kertaa nopeampi” tarkoittaa?
Aika ensimmäiseen tokeniin (TTFT, time-to-first-token) mittaa viivettä siitä, kun pyyntö lähetetään, siihen, kun järjestelmä tuottaa vastauksen ensimmäisen tekstiyksikön. Pitkässä kehotteessa välimuisti voi pienentää tätä aloitusviivettä, jos osa kontekstista on jo käsitelty ja voidaan ottaa uudelleen käyttöön.5
13
TTFT ei mittaa koko vastauksen valmistumiseen kuluvaa aikaa. Nopeampi aloitus voi tuntua käyttäjälle ripeämpänä reagointina, mutta sen perusteella ei voi päätellä, että mallin myöhempi tekstintuotanto nopeutuisi samassa suhteessa.
Hyöty riippuu välimuistin uudelleenkäytöstä
Välimuistista on eniten hyötyä silloin, kun uudet pyynnöt sisältävät jo käsiteltyä kontekstia, kuten samoja ohjeita, dokumentteja tai keskusteluhistoriaa. Uusi tai aiempaan tallennettuun sisältöön sopimaton aineisto on edelleen käsiteltävä.
Siksi ratkaisevaa ei ole vain välimuistin olemassaolo, vaan se, kuinka usein työkuorma pystyy hyödyntämään sitä. Myös tallennuksen ja verkon toiminta vaikuttaa siihen, näkyykö hyöty käytännössä. Yhtiöiden raportoima tulos on yhteistestin tulos, ei takuu siitä, että jokainen asiakas tai käyttötapaus saavuttaisi saman parannuksen.5
13
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Supermicron, IBM:n ja NVIDIAn välimuisti lupaa AI:lle nopeamman alun"?
Supermicro, IBM ja NVIDIA julkistivat 5. marraskuuta 2026 jaetun tallennusratkaisun, jonka avulla AI voi käyttää uudelleen aiemmin käsiteltyä kontekstia.[5][13]
What are the key points to validate first?
Supermicro, IBM ja NVIDIA julkistivat 5. marraskuuta 2026 jaetun tallennusratkaisun, jonka avulla AI voi käyttää uudelleen aiemmin käsiteltyä kontekstia.[5][13] Yhtiöiden yhteistestissä raportoitiin jopa 56 kertaa lyhyempi aika ensimmäiseen tokeniin 130 000 tokenin kehotteella.
What should I do next in practice?
Ratkaisu yhdistää Supermicron AMD EPYC 9005 suorittimilla varustetut Petascale palvelimet, IBM Storage Scalen, NVIDIA Dynamon ja Spectrum X Ethernet verkon.[6]