คำตอบเผยแพร่แล้ว18 แหล่งที่มา
หัวเว่ยเผยผลทดสอบ KV Cache ช่วยเพิ่ม throughput AI inference 7.3 เท่า
หัวเว่ยรายงานผลทดสอบในห้องแล็บว่า การย้าย KV Cache ออกจากหน่วยความจำแบบเดิมช่วยให้ GLM 5.2 มี throughput การอนุมานสูงขึ้น 7.3 เท่า และการจัดตาราง I/O ระหว่างสตอเรจกับเครือข่ายช่วยเพิ่มประสิทธิภาพอีก 20%[5] KV Cache เก็บข้อมูล Key และ Value ที่คำนวณไว้แล้ว เพื่อนำกลับมาใช้ระหว่างสร้างโทเคนถัดไป ยิ่งบริบทยาวและสนทนาหล...
เผยแพร่โดยแก้ไขด้วย GPT-6 Lunaรูปภาพสร้างด้วย GPT Image 2
คำตอบการวิจัย
ประเด็นสำคัญ
- หัวเว่ยรายงานผลทดสอบในห้องแล็บว่า การย้าย KV Cache ออกจากหน่วยความจำแบบเดิมช่วยให้ GLM 5.2 มี throughput การอนุมานสูงขึ้น 7.3 เท่า และการจัดตาราง I/O ระหว่างสตอเรจกับเครือข่ายช่วยเพิ่มประสิทธิภาพอีก 20%[5]
- KV Cache เก็บข้อมูล Key และ Value ที่คำนวณไว้แล้ว เพื่อนำกลับมาใช้ระหว่างสร้างโทเคนถัดไป ยิ่งบริบทยาวและสนทนาหลายรอบ ปริมาณแคชต่อคำขอ แคชที่ต้องเก็บไว้ และทราฟฟิกข้ามโหนดก็ยิ่งเพิ่ม[5][47][48]
- แนวทางที่หัวเว่ยนำเสนอเน้นการประสานงานระหว่างการประมวลผล สตอเรจ และเครือข่าย แต่บริษัทไม่ได้เปิดเผยชุดทดสอบฉบับเต็ม จึงยังประเมินผลเทียบกับงานจริงได้จำกัด[5][7]
AI พรอมต์
openai.comCreate a landscape editorial hero image for this Studio Global article: What storage-network convergence approach did Huawei present at the ODCC-organized Advanced Storage Conference in Shanghai on October 22, 20. Article summary: Huawei presented storage–network convergence as a way to reduce the cost of moving KV Cache between compute, storage, and network during agentic AI inference at the October 22, 2026 ASC session in Shanghai; ODCC organize. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
ในงาน Advanced Storage Conference (ASC) ที่เซี่ยงไฮ้เมื่อวันที่ 22 ตุลาคม 2026 หัวเว่ยนำเสนอการประสานการทำงานระหว่างสตอเรจและเครือข่าย เพื่อบรรเทาคอขวดของ KV Cache ในการอนุมานของ AI โดยบริษัทระบุว่า ในการทดสอบห้องแล็บกับ GLM-5.2 การย้าย KV Cache ออกจากแนวทางที่ใช้หน่วยความจำแบบเดิมทำให้ throughput สูงขึ้น 7.3 เท่า และเมื่อเพิ่มการจัดตาราง I/O ร่วมกันระหว่างสตอเรจกับเครือข่าย ประสิทธิภาพดีขึ้นอีก 20% อย่างไรก็ตาม หัวเว่ยไม่ได้เปิดเผยรายละเอียดการทดสอบทั้งหมด5
8
ทำไม KV Cache ถึงกลายเป็นโจทย์ด้านโครงสร้างพื้นฐาน
ระหว่างการอนุมาน โมเดลจะคำนวณข้อมูล Key และ Value จากข้อความที่ประมวลผลแล้ว และเก็บข้อมูลเหล่านี้ไว้ใน KV Cache เพื่อให้การสร้างโทเคนถัดไปนำกลับมาใช้ได้ แทนที่จะคำนวณซ้ำ47
48
เมื่อบริบทยาวขึ้น แคชของคำขอแต่ละครั้งก็ใหญ่ขึ้น ขณะเดียวกัน ระบบที่รองรับการสนทนาหลายรอบอาจต้องเก็บหรือเรียกใช้บริบทเดิม เมื่อแคชกระจายอยู่ในคลัสเตอร์ การเคลื่อนย้ายข้อมูลระหว่างหน่วยประมวลผล สตอเรจ และเครือข่ายก็เพิ่มทราฟฟิกและแรงกดดันต่อหน่วยความจำที่มีอยู่ รายงานเกี่ยวกับงานระบุว่า ปริมาณแคชต่อคำขอ แคชที่เก็บค้างไว้ และการรับส่งข้อมูลข้ามโหนดรวมกัน กำลังผลักให้ KV Cache ของคลัสเตอร์เข้าใกล้ระดับเพตะไบต์ ตามที่หัวเว่ยอธิบาย5
หัวเว่ยสรุปข้อจำกัดเหล่านี้เป็น “กำแพง” สามด้าน ได้แก่ ความสามารถด้าน I/O ที่จำกัดฝั่งประมวลผล ความหน่วงระหว่างการส่งข้อมูลข้ามชั้น และจำนวน IOPS ที่ไม่เพียงพอสำหรับจัดการงานแคชจำนวนมากอย่างมีประสิทธิภาพ5
แนวทางที่ประสานการประมวลผล สตอเรจ และเครือข่าย
แนวทางที่หัวเว่ยรายงานไม่ได้มอง KV Cache เป็นเพียงปัญหาความจุหน่วยความจำ แต่ครอบคลุมทั้งตัวเร่งประมวลผล สตอเรจ และเครือข่าย รายงานจากงานกล่าวถึงการให้หน่วยประมวลผลเริ่มงาน I/O ของแคชได้โดยตรง โดยไล่ตั้งแต่การเข้าถึงผ่าน AI CPU และ vector core ไปจนถึง I/O ระดับละเอียดแบบ SIMT พร้อมกับการประสานงานฝั่งสตอเรจและเครือข่าย5
ตัวเลขผลทดสอบเชื่อมโยงกับสองขั้นตอน คือการย้าย KV Cache โดยตรง และการเพิ่มการจัดตาราง I/O ที่ประสานการทำงานระหว่างสตอเรจกับเครือข่าย รายงานที่มีอยู่ยังให้รายละเอียดไม่พอจะตรวจสอบองค์ประกอบการทำงานทั้งหมด หรือยืนยันว่าการตั้งค่าการจัดตารางแบบ Hyper-Converged Fabric (HCF) เฉพาะรูปแบบใดเป็นที่มาของผลลัพธ์ ตัวเลขจึงควรเข้าใจว่าเป็นผลจากสถานการณ์ทดสอบในห้องแล็บที่หัวเว่ยอธิบาย ไม่ใช่ข้อกำหนดสถาปัตยกรรมฉบับสมบูรณ์ที่เปิดเผยต่อสาธารณะ5
7
ตัวเลขที่หัวเว่ยรายงาน และสิ่งที่ยังไม่ทราบ
ในการทดสอบ GLM-5.2 ในห้องแล็บ หัวเว่ยระบุว่าการย้าย KV Cache โดยตรงทำให้ throughput การอนุมานสูงกว่าวิธีที่ใช้หน่วยความจำแบบเดิม 7.3 เท่า และเมื่อเพิ่มการจัดตาราง I/O ร่วมกันระหว่างสตอเรจกับเครือข่าย ก็รายงานว่า ประสิทธิภาพการอนุมานเพิ่มขึ้นอีก 20%5
ควรอ่านตัวเลขเหล่านี้อย่างระมัดระวัง เพราะหัวเว่ยไม่ได้เปิดเผยชุดทดสอบครบถ้วน ทำให้คนนอกประเมินได้จำกัดทั้งลักษณะงานที่ทดสอบ วิธีตั้งค่าฐานเปรียบเทียบ และสัดส่วนที่แต่ละองค์ประกอบมีต่อผลลัพธ์ ส่วนข้อกล่าวอ้างแยกต่างหากเรื่องประสิทธิภาพ storage I/O ที่สูงขึ้นมากกว่า 30% ยังไม่มีหลักฐานจากรายงานงานประชุมที่มีอยู่มายืนยัน จึงไม่ควรนับเป็นตัวเลขที่ตรวจสอบได้ในที่นี้5
7
ผลทดสอบเดือนตุลาคมต่อยอดจากทิศทางที่ประกาศไว้ก่อนหน้า
การนำเสนอในเดือนตุลาคมเกิดขึ้นหลังหัวเว่ยเปิดตัว Stellar AI Fabric รุ่นอัปเกรดในงาน HUAWEI CONNECT เดือนกันยายน รายงานการประชุมระบุว่าการนำเสนอเดือนตุลาคมเปิดเผยตัวเลขทดสอบการย้าย KV Cache ขณะที่เอกสารของหัวเว่ยในเดือนกันยายนยังกล่าวถึง OceanStor M900 Context Memory Storage ซึ่งออกแบบมาเพื่อขยาย KV Cache ให้เกินขีดจำกัดของหน่วยความจำบนชิปและ DRAM ด้วยพูลสตอเรจแบบใช้ร่วมกันและจัดเก็บเป็นลำดับชั้นสำหรับงานอนุมาน AI10
15
16
ประเด็นสำคัญคือ ตัวเลขเดือนตุลาคมช่วยเพิ่มข้อมูลด้านประสิทธิภาพให้กับทิศทางการพัฒนาสตอเรจและเครือข่ายของหัวเว่ย แต่แหล่งข้อมูลที่มีไม่ได้ยืนยันว่ารายละเอียดทางเทคนิคทุกส่วนที่กล่าวถึงในเดือนตุลาคมเหมือนกับแบบที่นำเสนอในเดือนกันยายนทั้งหมด และไม่ได้ระบุว่ามีการเปิดตัวผลิตภัณฑ์ใหม่แยกต่างหากในงานประชุมเดือนตุลาคม5
10
16
Studio Global AI
ทำการวิจัยต่อ
หน้านี้รวมคำตอบที่ได้รับการสนับสนุนจากแหล่งที่มาซึ่งคุณสามารถดำเนินการต่อภายใน Studio Global
คนยังถาม
คำตอบสั้น ๆ สำหรับ "หัวเว่ยเผยผลทดสอบ KV Cache ช่วยเพิ่ม throughput AI inference 7.3 เท่า" คืออะไร
หัวเว่ยรายงานผลทดสอบในห้องแล็บว่า การย้าย KV Cache ออกจากหน่วยความจำแบบเดิมช่วยให้ GLM 5.2 มี throughput การอนุมานสูงขึ้น 7.3 เท่า และการจัดตาราง I/O ระหว่างสตอเรจกับเครือข่ายช่วยเพิ่มประสิทธิภาพอีก 20%[5]
ประเด็นสำคัญที่ต้องตรวจสอบก่อนคืออะไร?
หัวเว่ยรายงานผลทดสอบในห้องแล็บว่า การย้าย KV Cache ออกจากหน่วยความจำแบบเดิมช่วยให้ GLM 5.2 มี throughput การอนุมานสูงขึ้น 7.3 เท่า และการจัดตาราง I/O ระหว่างสตอเรจกับเครือข่ายช่วยเพิ่มประสิทธิภาพอีก 20%[5] KV Cache เก็บข้อมูล Key และ Value ที่คำนวณไว้แล้ว เพื่อนำกลับมาใช้ระหว่างสร้างโทเคนถัดไป ยิ่งบริบทยาวและสนทนาหลายรอบ ปริมาณแคชต่อคำขอ แคชที่ต้องเก็บไว้ และทราฟฟิกข้ามโหนดก็ยิ่งเพิ่ม[5][47][48]
ฉันควรทำอย่างไรต่อไปในทางปฏิบัติ?
แนวทางที่หัวเว่ยนำเสนอเน้นการประสานงานระหว่างการประมวลผล สตอเรจ และเครือข่าย แต่บริษัทไม่ได้เปิดเผยชุดทดสอบฉบับเต็ม จึงยังประเมินผลเทียบกับงานจริงได้จำกัด[5][7]