ทำไมแร็ก AI Vera Rubin ของ Nvidia อาจมีราคา 7.8 ล้านดอลลาร์

กล่าวอีกแบบคือ แทบทุกชิ้นส่วนในแร็ก AI รุ่นใหม่มีความซับซ้อนและมีราคาสูงขึ้นเมื่อเทียบกับรุ่นก่อน

หน่วยความจำ: ตัวขับเคลื่อนต้นทุนหลัก

ปัจจัยที่เพิ่มต้นทุนมากที่สุดคือ เทคโนโลยีหน่วยความจำรุ่นใหม่ ที่ใช้ในแพลตฟอร์ม Rubin

GPU ของ Rubin ใช้ HBM4 (High Bandwidth Memory) ซึ่งเป็นรุ่นถัดจาก HBM3 และ HBM3e และถูกออกแบบมาเพื่อรองรับโมเดล AI ขนาดใหญ่ที่ต้องการแบนด์วิดท์สูงมาก

ขณะเดียวกัน ระบบยังใช้ CPU รุ่น Vera ที่เชื่อมต่อกับหน่วยความจำ LPDDR5X ความจุสูงผ่านโมดูล SOCAMM ซึ่งสามารถรวมหน่วยความจำได้สูงสุดถึง 1.5 TB

ผู้ผลิตหน่วยความจำเริ่มผลิตชิ้นส่วนเหล่านี้สำหรับระบบ Rubin แล้ว ตัวอย่างเช่น Micron ได้ประกาศการผลิตจำนวนมากของ

• HBM4 stack สำหรับ GPU
• SOCAMM2 modules สำหรับหน่วยความจำ LPDDR5X

เมื่อรวมกันแล้ว ระบบหนึ่งแร็กจะมีทั้ง

• หน่วยความจำ HBM4 ความเร็วสูงสำหรับ GPU
• หน่วยความจำ LPDDR5X ความจุสูงสำหรับ CPU

ผลคือ ต้นทุนหน่วยความจำรวมต่อแร็กเพิ่มขึ้นอย่างมาก และอาจคิดเป็นประมาณ หนึ่งในสี่ของต้นทุนทั้งหมด ของระบบ

ความซับซ้อนของระบบระดับแร็กเพิ่มขึ้น

Rubin ไม่ใช่แค่เซิร์ฟเวอร์ GPU ธรรมดา แต่เป็นสถาปัตยกรรมที่รวมชิปและเครือข่ายหลายประเภทไว้ด้วยกัน

แพลตฟอร์มนี้ประกอบด้วยองค์ประกอบหลัก เช่น

• Vera CPU
• Rubin GPU
• NVLink switch
• ConnectX SuperNIC
• BlueField DPU
• Spectrum Ethernet switch

การรวมระบบระดับนี้ต้องใช้

• แผงวงจรที่ซับซ้อนขึ้น
• ระบบเชื่อมต่อความเร็วสูง
• ระบบจ่ายไฟและการระบายความร้อนที่ใหญ่ขึ้น

จึงทำให้ต้นทุนของฮาร์ดแวร์สนับสนุนเพิ่มขึ้นอย่างมาก เช่น

• PCB: ต้องใช้หลายเลเยอร์และวัสดุระดับสูงขึ้น
• MLCC: ต้องใช้คาปาซิเตอร์จำนวนมากขึ้นเพื่อเสถียรภาพพลังงาน
• ABF substrates: ใช้แพ็กเกจชิปขั้นสูงขนาดใหญ่ขึ้น

แม้แต่ชิ้นส่วนเล็ก ๆ เหล่านี้ เมื่อรวมกันในระบบที่มีตัวเร่ง AI หลายสิบตัว ก็ทำให้ต้นทุนเพิ่มขึ้นอย่างมีนัยสำคัญ

GPU ยังแพง แต่ไม่ใช่ส่วนใหญ่ของต้นทุนอีกต่อไป

GPU ยังคงเป็นชิ้นส่วนที่มีราคาสูงที่สุดในระบบ แต่สัดส่วนของมันต่อราคาทั้งแร็กกำลังลดลง

การประเมินบางรายระบุว่า GPU Rubin หนึ่งตัวอาจมีราคาประมาณ 55,000 ดอลลาร์ เพิ่มขึ้นราว 57% จากรุ่น Blackwell

อย่างไรก็ตาม เมื่อหน่วยความจำ ระบบเครือข่าย และฮาร์ดแวร์สนับสนุนมีราคาสูงขึ้นเร็วกว่า สัดส่วนของ GPU ในต้นทุนรวมจึงลดลง

นี่สะท้อนการเปลี่ยนแปลงสำคัญในอุตสาหกรรม AI: ประสิทธิภาพของระบบไม่ได้ขึ้นกับชิปเพียงอย่างเดียว แต่ขึ้นกับ สถาปัตยกรรมทั้งระบบ

ผลกระทบต่อซัพพลายเชนเซมิคอนดักเตอร์

โครงสร้างต้นทุนแบบใหม่กำลังเปลี่ยนผู้ที่ได้รับประโยชน์จากกระแส AI

บริษัทที่อาจได้ประโยชน์มากขึ้น ได้แก่ผู้ผลิต

• หน่วยความจำ HBM และ DRAM
• ABF substrate สำหรับแพ็กเกจชิป
• PCB ระดับไฮเอนด์
• อุปกรณ์ passive อย่าง MLCC

นอกจากนี้ ความต้องการ HBM4 และเทคโนโลยีแพ็กเกจขั้นสูง ยังอาจกลายเป็นคอขวดสำคัญของการขยายโครงสร้างพื้นฐาน AI ในอนาคต

ผู้ผลิตเซิร์ฟเวอร์และผู้ประกอบระบบอย่าง ODM และ OEM ก็อาจได้รับมูลค่าเพิ่มมากขึ้น เพราะระบบระดับแร็กมีความซับซ้อนสูงขึ้นเรื่อย ๆ

ภาพใหญ่: AI กำลังกลายเป็นซูเปอร์คอมพิวเตอร์ระดับแร็ก

ราคาประมาณ 7.8 ล้านดอลลาร์ต่อแร็ก แสดงให้เห็นว่าโครงสร้างพื้นฐาน AI กำลังเปลี่ยนอย่างรวดเร็ว

ในอดีต เซิร์ฟเวอร์ AI มักเป็นเพียง GPU ที่ติดตั้งในเซิร์ฟเวอร์มาตรฐาน แต่แพลตฟอร์มอย่าง Rubin ถูกออกแบบให้เป็น ซูเปอร์คอมพิวเตอร์ AI แบบครบระบบในแร็กเดียว รวมทั้ง

• คอมพิวต์
• หน่วยความจำ
• เครือข่าย
• โครงสร้างระบบทั้งหมด

ด้วยเหตุนี้ ราคาของแร็ก AI หนึ่งชุดจึงสามารถเทียบเท่าการลงทุนในศูนย์ข้อมูลขนาดเล็กได้

อย่างไรก็ตาม ตัวเลข 7.8 ล้านดอลลาร์ยังเป็นเพียงการประเมินของนักวิเคราะห์ จากข้อมูลซัพพลายเชน และ Nvidia ยังไม่ได้ประกาศราคาทางการของระบบ Rubin

แม้ตัวเลขจริงอาจเปลี่ยนแปลงได้ แต่แนวโน้มชัดเจนแล้วว่า ยุคใหม่ของฮาร์ดแวร์ AI จะถูกกำหนดโดยทั้งระบบ ไม่ใช่แค่ GPU เพียงชิ้นเดียว