JawabanDipublikasikan13 sumber
Cache AI Bersama Supermicro, IBM, dan NVIDIA Diklaim Mempercepat Respons hingga 56 Kali
Supermicro, IBM, dan NVIDIA mengumumkan solusi penyimpanan KV cache bersama untuk inferensi AI. Sistem ini memadukan server all flash Supermicro Petascale dengan prosesor AMD EPYC 9005, IBM Storage Scale, perangkat lunak inferensi NVIDIA Dynamo, dan jaringan Ethernet NVIDIA Spectrum X.[6] Angka tersebut merupakan ha...
Diterbitkan olehDiedit dengan GPT-6 LunaGambar dibuat dengan GPT Image 2
Jawaban penelitian
Poin-poin penting
- Supermicro, IBM, dan NVIDIA mengumumkan solusi penyimpanan KV cache bersama untuk inferensi AI.
- Sistem ini memadukan server all flash Supermicro Petascale dengan prosesor AMD EPYC 9005, IBM Storage Scale, perangkat lunak inferensi NVIDIA Dynamo, dan jaringan Ethernet NVIDIA Spectrum X.[6]
- Angka tersebut merupakan hasil yang dilaporkan perusahaan dan bergantung pada seberapa banyak konteks yang bisa digunakan kembali; hasilnya bukan jaminan peningkatan yang sama untuk semua beban kerja.
AI Perintah
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Supermicro, IBM and NVIDIA announce on November 5, 2026, about a shared-flash AI key-value (KV) cache stored outside GPU memory; ho. Article summary: On November 5, 2026, Supermicro announced a joint KV-cache storage solution with IBM and NVIDIA that keeps reusable, previously computed AI context in shared storage beyond GPU memory.[5][7] The advertised up-to-56× gain. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Supermicro, IBM, dan NVIDIA mengumumkan solusi penyimpanan key-value (KV) cache bersama pada 5 November 2026. Tujuannya: membuat sistem inferensi AI dapat menggunakan kembali konteks yang sudah diproses, alih-alih menghitungnya dari awal setiap kali dibutuhkan. Dalam pengujian bersama pada prompt sepanjang 130.000 token, perusahaan melaporkan waktu hingga token pertama muncul—atau time-to-first-token (TTFT)—hingga 56 kali lebih cepat.5
13
Namun, angka itu merujuk pada waktu tunggu sebelum respons mulai muncul. Angka tersebut bukan bukti bahwa seluruh jawaban dihasilkan 56 kali lebih cepat.
Komponen yang digabungkan
Solusi ini memadukan server penyimpanan all-flash Supermicro Petascale yang menggunakan prosesor AMD EPYC 9005 Series, perangkat lunak IBM Storage Scale, perangkat lunak inferensi NVIDIA Dynamo, serta jaringan Ethernet NVIDIA Spectrum-X.6
KV cache menyimpan konteks perantara yang dapat digunakan kembali di penyimpanan bersama, di luar memori lokal GPU. Secara prinsip, cara ini dapat mengurangi komputasi berulang saat sistem menerima prompt panjang atau konteks yang sama kembali. Pengumuman perusahaan menjelaskan komponen yang digunakan, tetapi informasi yang tersedia belum merinci bagaimana pemindahan cache dan koordinasi antarserver dilakukan.
Memahami klaim “hingga 56 kali lebih cepat”
TTFT mengukur jeda sejak permintaan diproses hingga token pertama dari jawaban muncul. Jadi, hasil yang dilaporkan menunjukkan bahwa sistem mulai merespons lebih cepat dalam kondisi pengujian tertentu—bukan bahwa proses menghasilkan jawaban sampai tuntas otomatis menjadi 56 kali lebih singkat.5
13
Pengujian yang dirujuk menggunakan model dengan 120 miliar parameter dan prompt 130.000 token. Hasil satu pengujian tidak serta-merta berlaku untuk semua model, panjang prompt, atau penerapan di lingkungan pelanggan.5
13
Manfaatnya bergantung pada penggunaan ulang konteks
Cache paling berguna ketika permintaan baru membutuhkan konteks yang sudah pernah diproses. Instruksi, dokumen, atau riwayat percakapan yang berulang bisa memberi peluang untuk menghindari sebagian komputasi ulang. Sebaliknya, konteks baru atau konteks yang tidak cocok tetap perlu diproses.
Karena itu, hasil di dunia nyata bergantung pada seberapa sering sistem dapat memanfaatkan kembali konteks yang tersimpan, serta kinerja penyimpanan dan jaringannya. Klaim perusahaan tersebut merupakan hasil pengujian, bukan jaminan bahwa setiap beban kerja akan memperoleh peningkatan serupa.5
13
Bagi organisasi yang mempertimbangkan teknologi ini, pertanyaan pentingnya bukan sekadar apakah cache tersedia, melainkan seberapa sering beban kerja mereka bisa menggunakannya kembali—dan apakah dampaknya terasa pada ukuran kinerja yang mereka prioritaskan, seperti waktu respons awal atau kapasitas pemrosesan keseluruhan.
Studio Global AI
Lanjutkan penelitian Anda
Halaman ini berisi jawaban yang didukung sumber yang dapat Anda lanjutkan di dalam Studio Global.
Orang-orang juga bertanya
Apa jawaban singkat untuk "Cache AI Bersama Supermicro, IBM, dan NVIDIA Diklaim Mempercepat Respons hingga 56 Kali"?
Supermicro, IBM, dan NVIDIA mengumumkan solusi penyimpanan KV cache bersama untuk inferensi AI.
Apa poin penting yang harus divalidasi terlebih dahulu?
Supermicro, IBM, dan NVIDIA mengumumkan solusi penyimpanan KV cache bersama untuk inferensi AI. Sistem ini memadukan server all flash Supermicro Petascale dengan prosesor AMD EPYC 9005, IBM Storage Scale, perangkat lunak inferensi NVIDIA Dynamo, dan jaringan Ethernet NVIDIA Spectrum X.[6]
Apa yang harus saya lakukan selanjutnya dalam latihan?
Angka tersebut merupakan hasil yang dilaporkan perusahaan dan bergantung pada seberapa banyak konteks yang bisa digunakan kembali; hasilnya bukan jaminan peningkatan yang sama untuk semua beban kerja.