Huawei OceanStor M900 ทำงานอย่างไร เมื่อแคช KV กลายเป็นพื้นที่ใช้ร่วมกันทั้งคลัสเตอร์

เมื่อผู้ใช้ส่งคำถามยาวขึ้นหรือให้ AI ทำงานต่อเนื่องหลายรอบ ระบบต้องเก็บผลคำนวณจากบริบทเดิมไว้เพื่อไม่ต้องเริ่มใหม่ทุกครั้ง Huawei OceanStor M900 ซึ่งเปิดตัวในงาน HUAWEI CONNECT 2026 เป็นระบบจัดเก็บข้อมูลบริบทสำหรับการประมวลผลคำตอบของ AI บน SuperPoD หรือระบบประมวลผลที่รวมตัวเร่งความเร็วหลายตัวเข้าด้วยกัน 19

ทำไมต้องแชร์แคช KV

แคช KV (key–value cache) เก็บข้อมูลที่โมเดลคำนวณไว้ระหว่างอ่านพรอมป์ หากคำขอใหม่ใช้ข้อความช่วงต้นที่ตรงกับข้อมูลเดิม ระบบอาจนำแคชกลับมาใช้แทนการคำนวณซ้ำได้ แต่เมื่อบริบทยาวขึ้นและ AI เอเจนต์โต้ตอบหลายรอบ การเก็บแคชทั้งหมดไว้ในหน่วยความจำใกล้ NPU ซึ่งเป็นชิปประมวลผล AI ก็ทำได้ยากขึ้น M900 จึงถูกออกแบบมาเพื่อขยายพื้นที่แคชและเปิดให้ใช้ร่วมกันภายใน SuperPoD 136

64 PB อยู่ตรงไหน และเข้าถึงอย่างไร

M900 ใช้เครือข่าย UnifiedBus เชื่อมแคช KV หลายชั้น ตั้งแต่หน่วยความจำในชิปและ DRAM ไปจนถึง SSD หัวเว่ยระบุว่า หนึ่งคลัสเตอร์รองรับแคช KV ได้ 64 PB และเพิ่มพื้นที่แคชที่ NPU แต่ละตัวเข้าถึงได้จากระดับกิกะไบต์เป็นระดับเทราไบต์ ตัวเลข 64 PB จึงหมายถึงความจุที่แชร์กันทั้งคลัสเตอร์ ไม่ใช่หน่วยความจำที่อยู่ใน NPU ตัวเดียว การเก็บบริบทไว้มากขึ้นมีโอกาสช่วยให้ใช้แคชซ้ำได้มากขึ้น แต่ประโยชน์จริงขึ้นอยู่กับว่าคำขอในงานนั้นมีส่วนที่นำกลับมาใช้ได้เพียงใด 3617

เพื่อให้ชั้น SSD ตอบสนองต่อการประมวลผลคำตอบได้ หัวเว่ยอธิบายเส้นทางเชื่อมต่อจาก NPU ไปยัง SSD แบบ หนึ่งฮอป โดยรวมฟังก์ชันของ CPU ตัวควบคุมเครือข่าย และตัวควบคุม NAND เพื่อลดขั้นตอนแปลงโปรโตคอลและการส่งต่อผ่าน CPU บางส่วน บริษัทระบุเวลาเข้าถึงราว 60 ไมโครวินาที และแบนด์วิดท์รวม 40 TB/s ต่อคลัสเตอร์ ซึ่งเป็นตัวเลขระดับสถาปัตยกรรมและระบบ ไม่ใช่คำรับประกันความเร็วของทุกการเรียกใช้แคช 362832

เร็วขึ้นและถูกลงจริงแค่ไหน

หากคำขอใช้ผลคำนวณเดิมจากแคชได้ ระบบอาจสร้างโทเค็นแรกได้เร็วขึ้น และลดงานคำนวณซ้ำเพื่อรองรับการสร้างโทเค็นโดยรวมได้มากขึ้น หัวเว่ยอ้างว่าในสถานการณ์เขียนโค้ดด้วย AI ที่บริษัทใช้ทดสอบ สถาปัตยกรรมนี้ทำให้ปริมาณโทเค็นที่คลัสเตอร์สร้างได้ เพิ่มเป็นสองเท่า และ ลดเวลารอจนได้โทเค็นแรกลงครึ่งหนึ่ง ผลดังกล่าวเป็นของงานทดสอบเฉพาะ ไม่ควรนำไปคาดหวังว่าจะเกิดกับทุกเวิร์กโหลด 2833

อีกส่วนคือการจัดวางข้อมูลแบบ KV-aware ซึ่งบริหารว่าแคชควรอยู่บนสื่อจัดเก็บแต่ละประเภทนานเท่าใด หัวเว่ยระบุว่า SSD รองรับการเขียนได้สูงสุด 24 เท่าของความจุไดรฟ์ต่อวัน และมีอายุใช้งานดีขึ้น 16 เท่า พร้อมเป้าหมายความเสถียร สามปี แนวคิดด้านต้นทุนคือคำนวณซ้ำน้อยลงและเปลี่ยนสื่อจัดเก็บน้อยลง เพื่อลดต้นทุนต่อโทเค็น อย่างไรก็ดี หลักฐานที่ให้มายังไม่ยืนยันอย่างอิสระว่าตัวเลขด้านประสิทธิภาพ อายุใช้งาน และต้นทุนเหล่านี้เกิดขึ้นจริงใน SuperPoD ที่ใช้งานจริง 6833