Nvidia และ d-Matrix วางแผนแยกงาน AI Inference เพื่อให้ตอบเร็วขึ้นอย่างไร

บริการ Generative AI ไม่ได้ถูกตัดสินเพียงว่า “ตอบได้หรือไม่” แต่ยังวัดกันที่เริ่มตอบเร็วแค่ไหน และส่งคำตอบต่อเนื่องได้ลื่นไหลเพียงใด ความร่วมมือระหว่าง Nvidia กับ d-Matrix ที่ประกาศเมื่อเดือนกันยายน 2026 จึงมุ่งแก้โจทย์นี้โดยตรง: นำ Raptor XPU สำหรับงาน inference รุ่นถัดไปของ d-Matrix เข้าเชื่อมกับโครงสร้างพื้นฐาน AI ที่ Nvidia ออกแบบ เพื่อให้หนึ่งแร็กมอบแต่ละช่วงของคำขอโมเดลภาษา (LLM) ให้กับชิปที่เหมาะกับงานนั้นที่สุด 134

แก่นสำคัญคือ การทำงานเสริมกัน ไม่ใช่การแทนที่กัน Raptor ไม่ได้ถูกประกาศมาแทน GPU ของ Nvidia แต่เป็นส่วนหนึ่งของระบบแบบ heterogeneous หรือระบบที่มีโปรเซสเซอร์หลายชนิดทำงานร่วมกัน โดย GPU จัดการขั้น prefill ที่กินพลังประมวลผลสูง ส่วนตัวเร่งของ d-Matrix เน้นขั้น decode ที่ต้องสร้างโทเค็นผลลัพธ์ทีละตัวและไวต่อความหน่วง 45

เหตุใดการแยก prefill กับ decode จึงอาจทำให้ AI ตอบสนองไวขึ้น

คำขอหนึ่งครั้งต่อ LLM มีความต้องการทรัพยากรต่างกันอย่างชัดเจน ขั้น prefill คือการประมวลผลพรอมป์ตและบริบททั้งหมด ขณะที่ decode คือการคำนวณซ้ำเพื่อสร้างโทเค็นถัดไปทีละตัว d-Matrix ระบุว่า สถาปัตยกรรม inference ของบริษัท รวมถึงผลิตภัณฑ์ Corsair ในปัจจุบัน ออกแบบมาสำหรับงาน decode โดยทำงานควบคู่กับ GPU ซึ่งเหมาะกับงานที่ใช้การคำนวณเข้มข้น 26

แนวทางนี้มีประโยชน์กับผลิตภัณฑ์เชิงโต้ตอบที่ “เวลาสู่โทเค็นถัดไป” สำคัญ เช่น ผู้ช่วยเขียนโค้ด แชต และบริการเสียง โดยแพลตฟอร์ม Raptor ถูกตั้งเป้าสำหรับบริการโทเค็นระดับพรีเมียมที่มีความหน่วงต่ำมาก 48

อย่างไรก็ดี การแยกงานย่อมเพิ่มโจทย์ด้านระบบ ชิปทั้งสองฝั่งต้องแลกเปลี่ยนข้อมูลได้เร็วพอ มิฉะนั้นเวลาสื่อสารอาจหักล้างข้อดีจากการแบ่งงานเฉพาะทางได้ ซึ่งเป็นเหตุผลที่ความร่วมมือนี้ให้ความสำคัญกับการเชื่อมต่อและโครงสร้างพื้นฐาน

NVLink Fusion, MGX และ Spectrum-X เข้ามาช่วยอย่างไร

Raptor มีแผนใช้ NVLink Fusion เพื่อเชื่อมเข้าสู่โดเมน scale-up ของ NVLink ขณะที่ Spectrum-X จะทำหน้าที่เป็นเครือข่าย scale-out ระหว่างระบบ Nvidia ระบุว่านี่คือช่องทางให้ d-Matrix เชื่อมชิปที่ออกแบบเองเข้ากับแพลตฟอร์มโครงสร้างพื้นฐาน AI ที่กว้างขึ้นของบริษัท 3

แร็ก d-Matrix ที่วางแผนไว้จะอิงสถาปัตยกรรมอ้างอิง MGX ของ Nvidia และคาดว่าจะประกอบด้วย Vera CPU, NVLink switches, BlueField-4 DPU, ConnectX-9 SuperNIC และ Spectrum-X Ethernet ของ Nvidia 48

ประโยชน์ของ d-Matrix จึงไม่ได้มีแค่ตัวอินเตอร์คอนเน็กต์ แต่อยู่ที่การสร้างบนระบบนิเวศแร็กที่ผ่านการตรวจสอบแล้ว แทนการต้องรับรองความเข้ากันได้ของเซิร์ฟเวอร์ เครือข่าย ไฟฟ้า ระบบระบายความร้อน และซัพพลายเชนรอบชิปใหม่ทั้งหมดด้วยตนเอง Nvidia อธิบายว่า MGX และแพลตฟอร์มโดยรวมช่วยให้ชิปเฉพาะทางไปสู่การติดตั้งขนาดใหญ่ได้เร็วขึ้นและมีความเสี่ยงต่ำลง 3

ในทางปฏิบัติ เป้าหมายคือทำให้ Raptor ติดตั้งเป็นส่วนหนึ่งของ “AI factory” ในแนวทางของ Nvidia แทนที่จะเป็นอุปกรณ์ inference แยกเดี่ยว

Raptor เดิมพันกับหน่วยความจำและแบนด์วิดท์ระดับแร็ก

d-Matrix เปิดเผยเป้าหมายสเปกแร็กของ Raptor ที่สูงมาก: สูงสุด 144 XPU ต่อแร็ก, DRAM แบบ 3D-stacked รวม 2.3 TB และแบนด์วิดท์หน่วยความจำรวม 7.2 PB/s บริษัทระบุว่าดีไซน์นี้ตั้งใจรองรับโมเดลขนาดเกิน 4 ล้านล้านพารามิเตอร์ที่ความละเอียด 4 บิต ตัวเลขเหล่านี้เป็นสเปกตามแผน ไม่ใช่ผลผลิตภัณฑ์ที่วางจำหน่ายและได้รับการตรวจสอบอิสระแล้ว 4

สถาปัตยกรรมดังกล่าวสะท้อนมุมมองของบริษัทว่า งาน LLM decode ถูกกำหนดอย่างมากจากการเคลื่อนย้ายข้อมูลในหน่วยความจำและแบนด์วิดท์ที่มีอยู่ แพ็กเกจ 3D ที่เสนอสำหรับ Raptor รวมชิป DRAM กับชิปประมวลผล SRAM เข้าด้วยกัน เพื่อขยายแนวทางที่เน้นหน่วยความจำเป็นศูนย์กลางของ d-Matrix 4

d-Matrix คาดว่า Raptor จะ tape-out ได้ภายในสิ้นปี 2026 และคาดว่า Raptor รุ่นติดตั้งในแร็ก MGX จะเริ่มพร้อมใช้งานในไตรมาส 4 ปี 2027 นั่นหมายความว่ายังมีงานสำคัญอีกมาก ตั้งแต่การผลิต การแพ็กเกจ การทดสอบความถูกต้องของระบบ ไปจนถึงการนำไปใช้งานระดับแร็ก ก่อนที่ลูกค้าจะประเมินสมรรถนะในสถานการณ์จริงได้ 48

เหตุใด Nvidia จึงเปิดแพลตฟอร์มให้ตัวเร่งจากภายนอก

บทบาทของ Nvidia ในดีลนี้น่าสนใจในเชิงกลยุทธ์ เพราะบริษัทเปิดให้ XPU เฉพาะทางจากภายนอกเชื่อมเข้ากับสถาปัตยกรรมแร็กและเครือข่ายของตน แทนที่จะกำหนดให้ทุกขั้นของ inference ต้องรันบน GPU ของ Nvidia เท่านั้น

Nvidia นิยามแพลตฟอร์ม AI ของตนว่า “บูรณาการในแนวตั้งและเปิดในแนวนอน” กล่าวคือ บริษัทสามารถรักษาคุณค่าของ fabric สำหรับ scale-up เครือข่าย scale-out การออกแบบแร็ก และระบบนิเวศเอาไว้ พร้อมเปิดทางให้โปรเซสเซอร์ชนิดอื่นเข้ามาร่วมระบบ 3

สิ่งนี้ขยายชนิดของเวิร์กโหลดที่แพลตฟอร์มรองรับได้ ลูกค้าที่ต้องการตัวเร่งเฉพาะด้าน decode อาจมีแนวโน้มอยู่กับโครงสร้างพื้นฐานที่เข้ากันได้กับ Nvidia มากขึ้น หากตัวเร่งนั้นใช้ NVLink Fusion, MGX และ Spectrum-X ได้ ดังนั้นดีลนี้ควรถูกมองว่าเป็น “การทำงานเสริมกันแบบควบคุมได้” มากกว่าการถอยห่างจาก GPU: GPU ของ Nvidia ยังเป็นแกนหลักสำหรับการฝึกโมเดล งาน inference ทั่วไป และขั้น prefill ที่ใช้การคำนวณหนัก ขณะที่ชิปเฉพาะทางถูกวางไว้สำหรับ decode 145

Corsair และเงินทุนของ d-Matrix บอกอะไรเกี่ยวกับแผนธุรกิจ

Raptor เป็นรุ่นต่อยอดจาก Corsair ซึ่งเป็นตัวเร่ง inference รุ่นก่อนหน้าของ d-Matrix บริษัทระบุว่า Corsair ถูกสร้างมาเพื่อขั้น decode ในสถาปัตยกรรม inference แบบแยกส่วน และทำงานร่วมกับ GPU แทนที่จะเข้ามาแทนที่ GPU 26

d-Matrix เคยเผยแพร่ตัวเลขด้านประสิทธิภาพ ต้นทุน และพลังงานของระบบไฮบริดที่ใช้ Corsair แต่ควรมองเป็นคำกล่าวอ้างของบริษัทจนกว่าจะมีรายละเอียด benchmark ที่ทำซ้ำและตรวจสอบได้โดยอิสระ หลักฐานที่มีสำหรับการประกาศครั้งนี้ยังไม่เพียงพอที่จะยืนยันว่าระบบจะได้เปรียบอย่างสม่ำเสมอในทุกโมเดล ขนาดแบตช์ หรือรูปแบบการติดตั้ง 2528

บริษัทระดมทุน Series C ได้ 275 ล้านดอลลาร์สหรัฐ ที่มูลค่าบริษัทรายงาน 2 พันล้านดอลลาร์สหรัฐ ทำให้ยอดเงินทุนรวมตามรายงานอยู่ที่ 450 ล้านดอลลาร์สหรัฐ โดยมี M12 กองทุนร่วมลงทุนของ Microsoft เป็นหนึ่งในผู้ร่วมลงทุน 2130 Reuters รายงานเพิ่มเติมว่า Microsoft เคยสนับสนุน d-Matrix ในรอบระดมทุนปี 2023 และบริษัทส่งมอบชิป AI รุ่นแรกในเดือนพฤศจิกายน 2024 1

พัฒนาการเหล่านี้ชี้ว่า d-Matrix กำลังขยับจากการขายชิป inference รายผลิตภัณฑ์ ไปสู่โรดแมประบบระดับแร็ก ความสามารถในการผสานเข้ากับ Nvidia อาจเพิ่มความน่าเชื่อถือในสายตาลูกค้าที่ซื้อหรือใช้งานโครงสร้างพื้นฐานของ Nvidia อยู่แล้ว

สิ่งที่ยังไม่เปิดเผย

เงื่อนไขทางการเงินของข้อตกลงระหว่าง Nvidia กับ d-Matrix ไม่ได้รับการเปิดเผย 1 จึงยังสรุปไม่ได้จากข้อมูลสาธารณะว่า ข้อตกลงมีค่าลิขสิทธิ์ ภาระการร่วมวิศวกรรม การสั่งซื้อปริมาณมาก การแบ่งรายได้ หรือการลงทุนจาก Nvidia รวมอยู่หรือไม่

แต่ทิศทางภาพใหญ่ชัดเจนกว่า: ทั้งสองบริษัทกำลังวางเดิมพันกับตลาด inference ที่ไม่จำเป็นต้องใช้โปรเซสเซอร์ชนิดเดียวทำทุกขั้นของคำขอ LLM d-Matrix ได้เส้นทางเข้าสู่ AI factory ที่เข้ากันได้กับ Nvidia ส่วน Nvidia ได้ทางเลือกตัวเร่งเฉพาะด้าน decode ที่ผนวกกับเครือข่ายและแพลตฟอร์มแร็กของตนได้ ผลลัพธ์ว่าจะลดความหน่วงหรือสร้างความคุ้มค่าทางเศรษฐศาสตร์เมื่อขยายขนาดได้จริงเพียงใด ยังต้องรอฮาร์ดแวร์ Raptor ซอฟต์แวร์สำหรับจัดสรรงาน และผลทดสอบจากลูกค้าหลังช่วงพร้อมใช้งานตามแผนในปี 2027 348