AnswersPublished13 sources
Cache KV kongsi dijanjikan percepat permulaan respons AI
Supermicro, IBM dan NVIDIA mengumumkan penyelesaian storan cache KV kongsi untuk inferens AI; ujian bersama mereka melaporkan masa ke token pertama sehingga 56× lebih pantas bagi prompt 130,000 token.[5][13] Sistem ini menggabungkan pelayan storan semua denyar Supermicro Petascale dengan pemproses AMD EPYC 9005, per...
Diterbitkan olehDisunting dengan GPT-6 LunaImej dijana dengan GPT Image 2
Research answer
Key takeaways
- Supermicro, IBM dan NVIDIA mengumumkan penyelesaian storan cache KV kongsi untuk inferens AI; ujian bersama mereka melaporkan masa ke token pertama sehingga 56× lebih pantas bagi prompt 130,000 token.[5][13]
- Sistem ini menggabungkan pelayan storan semua denyar Supermicro Petascale dengan pemproses AMD EPYC 9005, perisian IBM Storage Scale, perisian inferens NVIDIA Dynamo dan rangkaian Ethernet Spectrum X.[6]
- Dakwaan itu dilaporkan oleh syarikat dan manfaat sebenar bergantung pada sama ada konteks terdahulu boleh digunakan semula dalam permintaan baharu.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Supermicro, IBM and NVIDIA announce on November 5, 2026, about a shared-flash AI key-value (KV) cache stored outside GPU memory; ho. Article summary: On November 5, 2026, Supermicro announced a joint KV-cache storage solution with IBM and NVIDIA that keeps reusable, previously computed AI context in shared storage beyond GPU memory.[5][7] The advertised up-to-56× gain. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Supermicro, IBM dan NVIDIA mengumumkan penyelesaian storan cache key-value (KV) kongsi pada 5 November 2026. Tujuannya ialah membolehkan sistem inferens AI menggunakan semula konteks yang sudah diproses, bukannya mengira semula semuanya bagi setiap permintaan. Dalam ujian bersama, syarikat-syarikat itu melaporkan masa ke token pertama (TTFT) sehingga 56 kali lebih pantas bagi prompt 130,000 token.5
13
Namun, angka itu merujuk kepada tempoh menunggu sebelum AI mula memberikan respons—bukan masa yang diperlukan untuk menjana keseluruhan jawapan. Perbezaan ini penting apabila menilai maksud sebenar dakwaan prestasi tersebut.
Gabungan perkakasan dan perisian
Penyelesaian yang diumumkan itu menggabungkan pelayan storan semua denyar Supermicro Petascale berasaskan pemproses AMD EPYC 9005 Series, perisian IBM Storage Scale, perisian inferens NVIDIA Dynamo serta rangkaian Ethernet NVIDIA Spectrum-X.6
Cache KV menyimpan maklumat perantaraan daripada pemprosesan AI di luar memori setempat GPU. Dengan konteks yang boleh digunakan semula tersedia dalam storan kongsi, beban kerja inferens berpotensi mengelakkan pengiraan berulang—terutamanya apabila berurusan dengan prompt panjang atau konteks yang kerap muncul semula.5
13
Pengumuman itu menyenaraikan komponen yang digunakan, tetapi maklumat sumber yang tersedia tidak menerangkan secara terperinci cara pemindahan cache dan penyelarasan antara nod dilaksanakan.
Apa maksud “sehingga 56× lebih pantas”?
TTFT ialah masa yang diambil oleh sistem inferens untuk menghasilkan token pertama selepas menerima permintaan. Ujian yang dilaporkan membandingkan tempoh permulaan respons dengan dan tanpa cache KV bagi prompt berkonteks panjang. Laporan berkenaan menyebut ujian menggunakan model dengan 120 bilion parameter dan prompt 130,000 token.5
13
Jadi, TTFT yang lebih rendah bermakna sistem mula menjawab dengan lebih cepat. Ia tidak membuktikan bahawa seluruh jawapan dijana 56 kali lebih pantas. Keputusan daripada satu ujian tertentu juga tidak menjamin peningkatan yang sama untuk setiap model, prompt atau pelaksanaan.
Manfaat bergantung pada konteks yang boleh digunakan semula
Cache paling berguna apabila permintaan baharu menggunakan semula konteks yang pernah diproses. Arahan, dokumen atau sejarah perbualan yang berulang mungkin membolehkan sebahagian pengiraan dielakkan. Sebaliknya, konteks yang baharu atau tidak sepadan masih perlu diproses.
Oleh itu, manfaat sebenar bergantung pada kekerapan konteks berguna tersedia untuk digunakan semula, selain prestasi storan dan rangkaian. Angka yang diumumkan ialah hasil penanda aras yang dilaporkan oleh syarikat, bukannya jaminan prestasi bagi setiap pelanggan atau beban kerja.5
13
Bagi organisasi yang menilai penyelesaian ini, persoalannya bukan sekadar sama ada cache disediakan. Yang lebih penting ialah sejauh mana beban kerja mereka boleh memanfaatkan semula konteks—dan sama ada hal itu benar-benar memperbaiki ukuran yang mereka utamakan, seperti masa untuk respons pertama atau kadar pemprosesan keseluruhan.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Cache KV kongsi dijanjikan percepat permulaan respons AI"?
Supermicro, IBM dan NVIDIA mengumumkan penyelesaian storan cache KV kongsi untuk inferens AI; ujian bersama mereka melaporkan masa ke token pertama sehingga 56× lebih pantas bagi prompt 130,000 token.[5][13]
What are the key points to validate first?
Supermicro, IBM dan NVIDIA mengumumkan penyelesaian storan cache KV kongsi untuk inferens AI; ujian bersama mereka melaporkan masa ke token pertama sehingga 56× lebih pantas bagi prompt 130,000 token.[5][13] Sistem ini menggabungkan pelayan storan semua denyar Supermicro Petascale dengan pemproses AMD EPYC 9005, perisian IBM Storage Scale, perisian inferens NVIDIA Dynamo dan rangkaian Ethernet Spectrum X.[6]
What should I do next in practice?
Dakwaan itu dilaporkan oleh syarikat dan manfaat sebenar bergantung pada sama ada konteks terdahulu boleh digunakan semula dalam permintaan baharu.