คำตอบเผยแพร่แล้ว13 แหล่งที่มา
แคช KV ใช้บริบทร่วมกันอาจช่วยให้ AI เริ่มตอบไวขึ้น แต่ 56 เท่าไม่ได้แปลว่าตอบจบเร็วขึ้นเท่ากัน
Supermicro, IBM และ NVIDIA ประกาศระบบสตอเรจร่วมสำหรับแคช KV ที่เก็บบริบทซึ่ง AI ประมวลผลไปแล้ว เพื่อนำกลับมาใช้แทนการคำนวณซ้ำ โดยผลทดสอบร่วมรายงานว่าเริ่มตอบเร็วขึ้นสูงสุด 56 เท่าบนพรอมป์ต์ 130,000 โทเคน [5][13] ระบบประกอบด้วยเซิร์ฟเวอร์สตอเรจ Petascale แบบแฟลชทั้งหมดของ Supermicro ที่ใช้ AMD EPYC 9005, ซอฟต์แวร์ IB...
เผยแพร่โดยแก้ไขด้วย GPT-6 Lunaรูปภาพสร้างด้วย GPT Image 2
คำตอบการวิจัย
ประเด็นสำคัญ
- Supermicro, IBM และ NVIDIA ประกาศระบบสตอเรจร่วมสำหรับแคช KV ที่เก็บบริบทซึ่ง AI ประมวลผลไปแล้ว เพื่อนำกลับมาใช้แทนการคำนวณซ้ำ โดยผลทดสอบร่วมรายงานว่าเริ่มตอบเร็วขึ้นสูงสุด 56 เท่าบนพรอมป์ต์ 130,000 โทเคน [5][13]
- ระบบประกอบด้วยเซิร์ฟเวอร์สตอเรจ Petascale แบบแฟลชทั้งหมดของ Supermicro ที่ใช้ AMD EPYC 9005, ซอฟต์แวร์ IBM Storage Scale, NVIDIA Dynamo และเครือข่าย Spectrum X Ethernet [6]
- ตัวเลข 56 เท่าวัดเวลาจนได้โทเคนแรก ไม่ใช่ความเร็วในการสร้างคำตอบทั้งหมด และเป็นผลทดสอบที่บริษัทรายงาน ไม่ใช่การรับประกันผลกับทุกโมเดลหรือทุกงาน
AI พรอมต์
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Supermicro, IBM and NVIDIA announce on November 5, 2026, about a shared-flash AI key-value (KV) cache stored outside GPU memory; ho. Article summary: On November 5, 2026, Supermicro announced a joint KV-cache storage solution with IBM and NVIDIA that keeps reusable, previously computed AI context in shared storage beyond GPU memory.[5][7] The advertised up-to-56× gain. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Supermicro, IBM และ NVIDIA ประกาศโซลูชันสตอเรจร่วมสำหรับแคชคีย์-แวลู (KV cache) เมื่อวันที่ 5 พฤศจิกายน 2026 แนวคิดคือเก็บบริบทที่ AI ประมวลผลไปแล้วไว้นอกหน่วยความจำ GPU เพื่อให้ระบบเรียกกลับมาใช้ได้ แทนที่จะต้องคำนวณข้อมูลเดิมซ้ำทุกครั้งที่มีคำขอใหม่ 5
13
บริษัทระบุว่าการทดสอบร่วมพบว่าเวลาจนได้โทเคนแรก หรือ time-to-first-token (TTFT) เร็วขึ้นสูงสุด 56 เท่า เมื่อใช้พรอมป์ต์ยาว 130,000 โทเคน 5
13 ตัวเลขนี้หมายถึงระบบเริ่มส่งคำตอบได้ไวขึ้น ไม่ได้หมายความว่าจะสร้างคำตอบทั้งชิ้นเสร็จเร็วขึ้น 56 เท่า
ระบบประกอบด้วยอะไรบ้าง
แพลตฟอร์มที่ประกาศรวมเซิร์ฟเวอร์สตอเรจ Petascale แบบแฟลชทั้งหมดของ Supermicro ซึ่งใช้โปรเซสเซอร์ AMD EPYC 9005 Series เข้ากับซอฟต์แวร์ IBM Storage Scale, ซอฟต์แวร์สำหรับงาน inference ของ NVIDIA Dynamo และเครือข่าย NVIDIA Spectrum-X Ethernet 6
แคช KV เก็บสถานะระหว่างการประมวลผลที่อาจนำกลับมาใช้ได้ โดยขยายพื้นที่จัดเก็บออกไปนอกหน่วยความจำ GPU ในหลักการ วิธีนี้อาจลดงานคำนวณซ้ำเมื่อมีพรอมป์ต์ยาวหรือมีบริบทเดิมปรากฏในคำขอหลายครั้ง ส่วนรายละเอียดว่าระบบถ่ายโอนและจัดการแคชระหว่างโหนดอย่างไร ยังไม่ได้ระบุชัดในข้อมูลที่มี 5
13
56 เท่าวัดอะไร
TTFT คือเวลาที่ผู้ใช้หรือระบบต้องรอก่อนที่ AI จะเริ่มส่งโทเคนแรกของคำตอบ รายงานการทดสอบที่อ้างถึงระบุการใช้โมเดลขนาด 120,000 ล้านพารามิเตอร์กับพรอมป์ต์ 130,000 โทเคน 5
13
จุดนี้สำคัญ เพราะการลดเวลารอเริ่มตอบช่วยให้ระบบตอบสนองได้ไวขึ้น แต่ไม่ได้บอกว่าการสร้างคำตอบส่วนที่เหลือเร็วขึ้นในอัตราเดียวกัน และผลจากการทดสอบหนึ่งชุดก็ไม่ได้ยืนยันว่าจะได้ผลเท่ากันกับทุกโมเดล พรอมป์ต์ หรือรูปแบบการติดตั้ง
ประโยชน์ขึ้นอยู่กับการใช้บริบทซ้ำ
แคชจะมีประโยชน์เมื่อคำขอใหม่สามารถนำบริบทที่เคยประมวลผลแล้วกลับมาใช้ได้ เช่น คำสั่ง เอกสาร หรือประวัติการสนทนาที่ปรากฏซ้ำ แต่ข้อมูลใหม่หรือบริบทที่ใช้ร่วมกันไม่ได้ก็ยังต้องผ่านการประมวลผลอยู่ดี
ดังนั้นผลลัพธ์จริงจึงขึ้นกับว่ามีบริบทที่นำกลับมาใช้ได้บ่อยแค่ไหน รวมถึงการทำงานของสตอเรจและเครือข่าย ตัวเลขที่ประกาศเป็นผลทดสอบจากบริษัท ไม่ใช่คำรับรองว่าจะเพิ่มประสิทธิภาพได้ระดับเดียวกันในทุกการใช้งาน 5
13
สำหรับองค์กรที่กำลังประเมินระบบ คำถามจึงไม่ใช่แค่ว่ามีแคชหรือไม่ แต่คือเวิร์กโหลดสามารถนำแคชกลับมาใช้ได้มากเพียงใด และช่วยให้ตัวชี้วัดที่ต้องการ—เช่น เวลาก่อนเริ่มตอบหรือปริมาณงานที่ประมวลผลได้—ดีขึ้นจริงหรือไม่
Studio Global AI
ทำการวิจัยต่อ
หน้านี้รวมคำตอบที่ได้รับการสนับสนุนจากแหล่งที่มาซึ่งคุณสามารถดำเนินการต่อภายใน Studio Global
คนยังถาม
คำตอบสั้น ๆ สำหรับ "แคช KV ใช้บริบทร่วมกันอาจช่วยให้ AI เริ่มตอบไวขึ้น แต่ 56 เท่าไม่ได้แปลว่าตอบจบเร็วขึ้นเท่ากัน" คืออะไร
Supermicro, IBM และ NVIDIA ประกาศระบบสตอเรจร่วมสำหรับแคช KV ที่เก็บบริบทซึ่ง AI ประมวลผลไปแล้ว เพื่อนำกลับมาใช้แทนการคำนวณซ้ำ โดยผลทดสอบร่วมรายงานว่าเริ่มตอบเร็วขึ้นสูงสุด 56 เท่าบนพรอมป์ต์ 130,000 โทเคน [5][13]
ประเด็นสำคัญที่ต้องตรวจสอบก่อนคืออะไร?
Supermicro, IBM และ NVIDIA ประกาศระบบสตอเรจร่วมสำหรับแคช KV ที่เก็บบริบทซึ่ง AI ประมวลผลไปแล้ว เพื่อนำกลับมาใช้แทนการคำนวณซ้ำ โดยผลทดสอบร่วมรายงานว่าเริ่มตอบเร็วขึ้นสูงสุด 56 เท่าบนพรอมป์ต์ 130,000 โทเคน [5][13] ระบบประกอบด้วยเซิร์ฟเวอร์สตอเรจ Petascale แบบแฟลชทั้งหมดของ Supermicro ที่ใช้ AMD EPYC 9005, ซอฟต์แวร์ IBM Storage Scale, NVIDIA Dynamo และเครือข่าย Spectrum X Ethernet [6]
ฉันควรทำอย่างไรต่อไปในทางปฏิบัติ?
ตัวเลข 56 เท่าวัดเวลาจนได้โทเคนแรก ไม่ใช่ความเร็วในการสร้างคำตอบทั้งหมด และเป็นผลทดสอบที่บริษัทรายงาน ไม่ใช่การรับประกันผลกับทุกโมเดลหรือทุกงาน