Raptor ของ d-Matrix จะเสียบเข้าระบบแร็ก NVL144/MGX ของ Nvidia ได้อย่างไร

ประเด็นสำคัญคือ d-Matrix ไม่ได้วางตำแหน่ง Raptor ให้เป็นเพียงการ์ดเร่งการอนุมาน (inference) ที่ต่อผ่าน PCIe แยกต่างหาก แต่จะทำให้ XPU รุ่นใหม่นี้เชื่อมเข้าแบบเนทีฟในระดับแร็กกับระบบ AI factory ของ Nvidia ผ่าน NVLink Fusion กล่าวคือ ลูกค้าสามารถใช้ชิปที่เน้นสถาปัตยกรรมหน่วยความจำของ d-Matrix สำหรับงาน inference ที่ไวต่อความหน่วง ขณะยังคงใช้โครงสร้างระบบหลักของ Nvidia ได้ 35

เชื่อมเข้ากับแร็ก Nvidia อย่างไร

Raptor จะรองรับอินเทอร์เฟซ NVLink Fusion และถูกผสานเข้ากับสถาปัตยกรรมอ้างอิง Nvidia MGX/NVL144 ที่ออกแบบเพื่อการใช้งานระดับแร็กและระบายความร้อนด้วยของเหลว

• NVLink คือ fabric ความเร็วสูงและความหน่วงต่ำสำหรับการขยายระบบแบบ scale-up ระหว่างอุปกรณ์ภายในระบบเดียวกัน
• Spectrum-X รองรับการขยายแบบ scale-out หรือการเชื่อมต่อเครือข่ายออกไปนอกแร็ก
• NVLink Fusion จึงเป็นชั้นเชื่อมต่อที่ทำให้ Raptor สามารถเข้าร่วมโครงสร้างดังกล่าวได้ แทนที่จะต้องสร้างระบบเชื่อมต่อและแร็กของตัวเองทั้งหมด 35

ผลลัพธ์คือ d-Matrix สามารถนำ XPU ของตนเข้าสู่ระบบแร็กมาตรฐานของ Nvidia ได้เร็วขึ้นและลดความเสี่ยงด้านการบูรณาการระบบ ขณะที่ผู้ใช้ยังได้โครงสร้างแร็กที่ผ่านการตรวจสอบและมีระบบนิเวศรองรับอยู่แล้วของ MGX 4

ส่วนประกอบของแพลตฟอร์ม Nvidia ที่ยังอยู่ในระบบ

ในแร็กที่ใช้ Raptor นั้น d-Matrix ให้ชิป XPU สำหรับงาน inference แต่ Nvidia ยังคงเป็นผู้จัดหาองค์ประกอบสำคัญของระบบ ได้แก่

• Nvidia Vera CPU
• NVLink switches
• BlueField-4 DPU สำหรับงาน data processing และ I/O
• ConnectX-9 SuperNICs
• Spectrum-X Ethernet networking
• การออกแบบแร็กอ้างอิง MGX และระบบควบคุม/การจัดการที่เกี่ยวข้อง 56

d-Matrix ยังระบุว่ากำลังทำงานร่วมกับ Astera Labs ซึ่งเป็นพันธมิตรในระบบนิเวศ NVLink Fusion เพื่อพัฒนาโซลูชันการเชื่อมต่อเฉพาะทางสำหรับให้ข้อมูลไหลผ่านทั้งระบบได้อย่างมีปริมาณงานสูง 6

เหตุใดจึงเน้นงาน decode ของโมเดลภาษา

แนวคิดไม่ได้หมายความว่า Raptor จะเข้ามาแทน GPU ทุกประเภท งานอย่าง prefill ของโมเดลภาษาขนาดใหญ่และงานประมวลผลทั่วไปยังเหมาะกับ GPU ขณะที่ d-Matrix มุ่งเป้าไปยังช่วง decode ซึ่งโมเดลสร้างผลลัพธ์ทีละโทเคนและต้องอ่านน้ำหนักโมเดลซ้ำ ๆ อยู่ตลอด

ลักษณะงานเช่นนี้ทำให้ความจุและแบนด์วิดท์หน่วยความจำมีความสำคัญมาก Raptor จึงถูกออกแบบให้ทำงานเสริมกับ GPU ในไปป์ไลน์ inference โดยมีเป้าหมายลดความหน่วงต่อโทเคน มากกว่าจะเสนอให้เปลี่ยน GPU ออกทั้งหมด 310

เป้าหมายด้านความจุและแบนด์วิดท์

d-Matrix ระบุเป้าหมายของระบบระดับแร็กไว้ที่ Raptor สูงสุด 144 ตัว เชื่อมด้วย NVLink fabric แบบ all-to-all พร้อมหน่วยความจำ 3D-stacked DRAM รวมราว 2.3 TB และแบนด์วิดท์หน่วยความจำรวม 7.2 PB/s 3

ตามหลักคำนวณ ความจุ 2.3 TB สามารถเก็บพารามิเตอร์ที่ควอนไทซ์แบบ 4 บิตได้มากกว่า 4 ล้านล้านพารามิเตอร์ในทางทฤษฎี แต่ขนาดโมเดลที่นำไปใช้งานจริงจะต่ำกว่านั้นตามพื้นที่ที่ต้องใช้สำหรับเมทาดาทา สถานะขณะรันไทม์ และโอเวอร์เฮดของซอฟต์แวร์ 3

ตัวเลขรายละเอียดต่ออุปกรณ์ที่เผยแพร่ในรายงานต่าง ๆ ไม่สอดคล้องกันทั้งหมด: บางแหล่งระบุ Raptor ที่ 32 GB และ 100 TB/s ต่อการ์ด ขณะที่ตัวเลขรวมระดับแร็ก 2.3 TB และ 7.2 PB/s เมื่อหารด้วย 144 จะเทียบได้ราว 16 GB และ 50 TB/s ต่อ XPU ดังนั้นควรรอรายละเอียดสเปกผลิตภัณฑ์ฉบับสมบูรณ์จากบริษัท 37

กำหนดการผลิตภัณฑ์

Raptor ถูกอธิบายว่าใช้ compute die ขนาด 4 นาโนเมตรร่วมกับ DRAM แบบกำหนดเอง โดย d-Matrix คาดว่าจะ tape-out ภายในสิ้นปี 2026 และเริ่มมีระบบที่รวมเข้ากับแร็กใน ไตรมาส 4 ปี 2027 104

Nvidia ได้อะไรจากการเปิดระบบให้ชิปภายนอก

ในเชิงกลยุทธ์ NVLink Fusion ช่วยลดแรงจูงใจที่ลูกค้าจะต้องออกจากระบบนิเวศ Nvidia ทั้งชุด หากต้องการใช้ตัวเร่งเฉพาะทางจากผู้ผลิตรายอื่น แม้ชิปประมวลผลหลักจะเป็น XPU ของ d-Matrix ลูกค้าก็ยังอาจใช้ fabric, สวิตช์, CPU, DPU, SuperNIC, Ethernet และสถาปัตยกรรมแร็กของ Nvidia ต่อไปได้ 35

นี่เป็นข้อสรุปจากรูปแบบสถาปัตยกรรมและโมเดลธุรกิจ ไม่ใช่การเปิดเผยเงื่อนไขทางการค้าหรือรายได้ของข้อตกลง โดยทั้งสองบริษัทไม่ได้เปิดเผยเงื่อนไขทางการเงินของความร่วมมือ 1

d-Matrix จึงเข้าร่วมความพยายามที่กว้างขึ้นของ NVLink Fusion ซึ่งมีพันธมิตรที่มีการเปิดเผยต่อสาธารณะ เช่น AWS, Arm, Intel, Fujitsu, MediaTek และ Marvell เป้าหมายคือทำให้ NVLink เป็นอินเทอร์เฟซแพลตฟอร์มสำหรับฮาร์ดแวร์ AI แบบหลากหลายชนิด ไม่ได้จำกัดอยู่ที่ GPU ของ Nvidia เพียงอย่างเดียว 3

บริบทของ d-Matrix

ก่อนหน้านี้ d-Matrix เปิดตัวตัวเร่ง inference ชื่อ Corsair ในเดือนพฤศจิกายน 2024 บริษัทระดมทุน Series C มูลค่า 275 ล้านดอลลาร์สหรัฐ ซึ่งให้มูลค่าบริษัท 2 พันล้านดอลลาร์สหรัฐ และมี Microsoft M12 ร่วมลงทุน รายงานบางแห่งระบุว่าเงินทุนสะสมของบริษัทอยู่ที่ราว 450 ล้านดอลลาร์สหรัฐ ซึ่งไม่ควรนำไปตีความว่าเป็นเงินระดมทุน 450 ล้านดอลลาร์ในรอบเดียว 26

ParaSail เคยรายงานว่าการใช้ Corsair ร่วมกับ GPU ของ Nvidia เพิ่มความเร็ว inference ได้สูงสุด 10 เท่า อย่างไรก็ดี นี่เป็นคำกล่าวอ้างด้านประสิทธิภาพจากบริษัท/ลูกค้า ไม่ใช่ผลทดสอบอิสระ 12