คำตอบเผยแพร่แล้ว15 แหล่งที่มา
OceanStor M900 ของ Huawei แก้ปัญหา KV Cache ไม่พอด้วยพื้นที่ร่วมบน SSD
Huawei ระบุว่า OceanStor M900 ใช้ UnifiedBus รวม KV Cache เป็นพื้นที่ร่วมหลายระดับ โดยคลัสเตอร์หนึ่งรองรับความจุได้สูงสุด 64 PB [8][10] KV Cache ระดับเทราไบต์ที่ NPU แต่ละตัวใช้งานได้ หมายถึงการเข้าถึงพื้นที่ร่วม ไม่ใช่การเพิ่มหน่วยความจำบนชิป [8][10] ตัวเลขเวลาเข้าถึง 60 ไมโครวินาทีและปริมาณโทเคนที่ประมวลผลได้เพิ่ม...
เผยแพร่โดยแก้ไขด้วย GPT-6 Solรูปภาพสร้างด้วย GPT Image 2
คำตอบการวิจัย
ประเด็นสำคัญ
- Huawei ระบุว่า OceanStor M900 ใช้ UnifiedBus รวม KV Cache เป็นพื้นที่ร่วมหลายระดับ โดยคลัสเตอร์หนึ่งรองรับความจุได้สูงสุด 64 PB [8][10]
- KV Cache ระดับเทราไบต์ที่ NPU แต่ละตัวใช้งานได้ หมายถึงการเข้าถึงพื้นที่ร่วม ไม่ใช่การเพิ่มหน่วยความจำบนชิป [8][10]
- ตัวเลขเวลาเข้าถึง 60 ไมโครวินาทีและปริมาณโทเคนที่ประมวลผลได้เพิ่มเป็นสองเท่าเป็นข้ออ้างของ Huawei ซึ่งยังต้องตรวจสอบกับงานจริง [8][14]
AI พรอมต์
openai.comCreate a landscape editorial hero image for this Studio Global article: How does Huawei’s OceanStor M900 AI memory storage address the KV Cache memory wall in hyperscale, long-context and agentic inference SuperP. Article summary: Huawei positions OceanStor M900 as a shared, SSD-backed **KV-cache tier** for SuperPoD inference, not as a replacement for the NPU’s fast memory. Its aim is to keep and reuse more context across long-running and agentic . Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
เมื่อ AI ต้องอ่านบริบทยาวหรือทำงานหลายขั้นตอนแบบเอเจนต์ ระบบจะสร้าง KV Cache ซึ่งเป็นข้อมูลที่เก็บไว้เพื่อนำกลับมาใช้ระหว่างการสร้างคำตอบ หากข้อมูลส่วนนี้มากเกินกว่าหน่วยความจำใกล้ตัวประมวลผลจะรองรับได้ การเก็บและเรียกใช้บริบทเดิมก็กลายเป็นข้อจำกัดของระบบอนุมาน AI Huawei จึงวาง OceanStor M900 เป็นชั้นแคชร่วมที่ใช้ SSD เพิ่มพื้นที่ถัดจากหน่วยความจำบนชิปและ DRAM ไม่ใช่นำ SSD มาแทนหน่วยความจำที่เร็วที่สุดของ NPU 8
10
12
ความจุ 64 PB ไม่ได้อยู่บน NPU แต่ละตัว
Huawei ระบุว่าเครือข่ายเชื่อมต่อ Lingqu หรือ UnifiedBus ทำให้ SuperPoD ซึ่งเป็นระบบที่รวมตัวประมวลผล AI จำนวนมาก สามารถใช้ KV Cache ร่วมกันและจัดข้อมูลเป็นหลายระดับ ตั้งแต่หน่วยความจำบนชิปและ DRAM ไปจนถึง SSD บริษัทอ้างว่าหนึ่งคลัสเตอร์รองรับความจุได้ สูงสุด 64 PB และพื้นที่ KV Cache ที่ NPU แต่ละตัวเข้าถึงได้เพิ่มจากระดับกิกะไบต์เป็นเทราไบต์ ตัวเลขหลังหมายถึง สิทธิ์เข้าถึงพื้นที่ร่วมหลายระดับ ไม่ใช่ NPU แต่ละตัวมีหน่วยความจำบนชิปเพิ่มขึ้นเป็นเทราไบต์ 8
10
บทบาทของ M900 จึงเป็นระบบเก็บบริบทสำหรับการอนุมาน AI ไม่ใช่ชิปประมวลผลตัวใหม่หรืออุปกรณ์ทดแทนเครือข่ายเชื่อมต่อ Huawei ระบุว่าออกแบบมาสำหรับงานที่ใช้เอเจนต์จำนวนมากและบริบทยาว ส่วนรายงานในอุตสาหกรรมระบุ Atlas 960 SuperPoD เป็นระบบเป้าหมาย 12
6
Huawei อ้างว่าเรียกข้อมูลได้เร็วขึ้นแค่ไหน
ตามคำอธิบายของ Huawei การรวมหน้าที่ของ CPU ตัวควบคุมเครือข่าย และตัวควบคุม NAND ช่วยให้ NPU เข้าถึง SSD ได้แบบ หนึ่งฮอป โดยไม่ต้องส่งต่อผ่าน CPU หรือแปลงโปรโตคอล บริษัทอ้างว่าเวลาเข้าถึงลดลง 90% เหลือ 60 ไมโครวินาที และหนึ่งคลัสเตอร์มีแบนด์วิดท์รวม 40 TB/s หรือ 1.5 เท่าของโซลูชันที่บริษัทใช้เปรียบเทียบ ทั้งนี้ 40 TB/s เป็นตัวเลขรวมทั้งคลัสเตอร์ ไม่ใช่ความเร็วที่รับประกันให้ NPU แต่ละตัว 8
สำหรับงาน “เขียนโปรแกรมด้วย AI แบบทั่วไป” Huawei รายงานว่าคลัสเตอร์อนุมานประมวลผลโทเคนได้ เพิ่มเป็นสองเท่า และใช้เวลารอ โทเคนแรกเหลือครึ่งหนึ่ง ผลที่อ้างนี้ผูกกับลักษณะงานทดสอบดังกล่าว จึงไม่ควรตีความว่า AI ทุกงานที่มีบริบทยาวหรือใช้เอเจนต์จะเร็วขึ้นเท่ากัน 8
14
อายุ SSD และต้นทุน: ยังมีช่องว่างด้านหลักฐาน
Huawei ระบุว่าระบบ KV-Aware คาดการณ์ว่าข้อมูลแคชจะต้องเก็บไว้นานเพียงใด แล้วจัดวางข้อมูลลงบนสื่อจัดเก็บที่เหมาะสม บริษัทอ้างว่ารองรับการเขียนข้อมูลสูงสุด 24 รอบของความจุไดรฟ์ต่อวัน (DWPD) ทำให้อายุการใช้งานสื่อ SSD ยาวขึ้น 16 เท่า และรองรับการทำงานอย่างเสถียรสามปี Huawei มองว่าการเปลี่ยนไดรฟ์และงานบำรุงรักษาที่ลดลงจะช่วยลดต้นทุน แต่ข้อมูลที่อ้างถึงยังไม่แสดงผลวัดว่าต้นทุนต่อโทเคนลดลงเท่าไร 8
ประเด็นสำคัญจึงอยู่ที่ความต่างระหว่าง มีพื้นที่แคชให้เข้าถึงมากขึ้น กับ พิสูจน์แล้วว่า AI ทำงานเร็วขึ้นและถูกลงในระบบขนาดใหญ่ การทดสอบอิสระยังต้องตรวจสอบความจุที่ใช้งานได้จริง อัตราการพบข้อมูลในแคช เวลาเข้าถึงและแบนด์วิดท์เมื่อมีการใช้งานพร้อมกัน ตลอดจนผลต่อโทเคนเมื่อเทียบกับระบบฐานที่ระบุชัด รวมถึงการสึกหรอของ SSD และต้นทุนตลอดอายุใช้งาน รายงานจากสื่อภายนอกที่มีอยู่ยังเป็นการนำตัวเลขของ Huawei มารายงาน ไม่ใช่การยืนยันผลทดสอบอย่างอิสระ 6
14
Studio Global AI
ทำการวิจัยต่อ
หน้านี้รวมคำตอบที่ได้รับการสนับสนุนจากแหล่งที่มาซึ่งคุณสามารถดำเนินการต่อภายใน Studio Global
คนยังถาม
คำตอบสั้น ๆ สำหรับ "OceanStor M900 ของ Huawei แก้ปัญหา KV Cache ไม่พอด้วยพื้นที่ร่วมบน SSD" คืออะไร
Huawei ระบุว่า OceanStor M900 ใช้ UnifiedBus รวม KV Cache เป็นพื้นที่ร่วมหลายระดับ โดยคลัสเตอร์หนึ่งรองรับความจุได้สูงสุด 64 PB [8][10]
ประเด็นสำคัญที่ต้องตรวจสอบก่อนคืออะไร?
Huawei ระบุว่า OceanStor M900 ใช้ UnifiedBus รวม KV Cache เป็นพื้นที่ร่วมหลายระดับ โดยคลัสเตอร์หนึ่งรองรับความจุได้สูงสุด 64 PB [8][10] KV Cache ระดับเทราไบต์ที่ NPU แต่ละตัวใช้งานได้ หมายถึงการเข้าถึงพื้นที่ร่วม ไม่ใช่การเพิ่มหน่วยความจำบนชิป [8][10]
ฉันควรทำอย่างไรต่อไปในทางปฏิบัติ?
ตัวเลขเวลาเข้าถึง 60 ไมโครวินาทีและปริมาณโทเคนที่ประมวลผลได้เพิ่มเป็นสองเท่าเป็นข้ออ้างของ Huawei ซึ่งยังต้องตรวจสอบกับงานจริง [8][14]