Rack AI Vera Rubin của Nvidia có thể giá 7,8 triệu USD: điều gì đang khiến chi phí tăng vọt?

Nói cách khác, gần như mọi bộ phận trong rack đều trở nên đắt đỏ hơn khi hệ thống AI ngày càng phức tạp.

Bộ nhớ là yếu tố làm chi phí tăng mạnh nhất

Mức tăng lớn nhất đến từ các công nghệ bộ nhớ thế hệ mới được dùng trong nền tảng Rubin.

GPU Rubin sử dụng HBM4 (High Bandwidth Memory) — thế hệ tiếp theo của HBM3/HBM3e — cung cấp băng thông cực cao cho các mô hình AI khổng lồ.

Song song đó, CPU Nvidia Vera còn đi kèm hệ thống bộ nhớ LPDDR5X dung lượng rất lớn, có thể đạt tới 1,5 TB, sử dụng các module SOCAMM.

Một số hãng bộ nhớ đã bắt đầu sản xuất các linh kiện này riêng cho hệ sinh thái Rubin. Ví dụ, Micron xác nhận đã sản xuất hàng loạt HBM4 và SOCAMM2 phục vụ nền tảng này.

Vì Rubin kết hợp:

• HBM4 tốc độ cực cao cho GPU
• LPDDR5X dung lượng lớn cho CPU

…tổng chi phí bộ nhớ trên mỗi rack tăng mạnh. Một số ước tính cho rằng bộ nhớ có thể chiếm khoảng 1/4 tổng chi phí rack, cao hơn nhiều so với các thế hệ trước.

Độ phức tạp của hệ thống tăng trên toàn rack

Không chỉ bộ nhớ, kiến trúc Rubin còn tích hợp nhiều loại chip và công nghệ mạng trong cùng một hệ thống.

Một rack Rubin kết hợp nhiều thành phần quan trọng như:

• CPU Vera
• GPU Rubin
• Switch NVLink
• ConnectX SuperNIC
• BlueField DPU
• Switch Ethernet Spectrum

Mức độ tích hợp này khiến hệ thống cần bo mạch phức tạp hơn, kết nối tốc độ cao hơn và hệ thống cấp nguồn mạnh hơn so với máy chủ AI trước đây.

Do đó chi phí phần cứng hỗ trợ cũng tăng mạnh:

• PCB: nhiều lớp hơn và vật liệu cao cấp hơn để hỗ trợ tín hiệu tốc độ cao
• MLCC: số lượng tụ điện tăng để ổn định nguồn
• ABF substrate: đế đóng gói chip lớn và phức tạp hơn

Từng linh kiện riêng lẻ có thể không đắt, nhưng khi nhân lên trên một rack chứa hàng chục GPU và thiết bị mạng, chi phí cộng dồn rất lớn.

GPU vẫn đắt — nhưng không còn chiếm phần lớn chi phí

GPU vẫn là thành phần đơn lẻ đắt nhất, nhưng tỷ trọng của nó trong tổng chi phí rack đang giảm.

Một số ước tính cho rằng mỗi GPU Rubin có giá khoảng 55.000 USD, cao hơn khoảng 57% so với GPU Blackwell.

Tuy nhiên, vì chi phí bộ nhớ và hệ thống tăng nhanh hơn, GPU chiếm tỷ lệ nhỏ hơn trong tổng chi phí rack so với trước đây.

Điều này cho thấy một thay đổi quan trọng trong thiết kế phần cứng AI: hiệu năng ngày càng phụ thuộc vào toàn bộ kiến trúc hệ thống, không chỉ riêng chip tăng tốc.

Điều này có ý nghĩa gì với chuỗi cung ứng AI

Sự thay đổi cấu trúc chi phí này ảnh hưởng đến toàn bộ ngành bán dẫn.

Thứ nhất, nhiều công ty ngoài Nvidia bắt đầu hưởng lợi nhiều hơn từ làn sóng AI — đặc biệt là các nhà sản xuất:

• bộ nhớ HBM và DRAM
• đế đóng gói chip
• PCB nhiều lớp
• linh kiện thụ động như MLCC

Thứ hai, nguồn cung bộ nhớ và năng lực đóng gói tiên tiến trở thành yếu tố then chốt. Vì Rubin phụ thuộc mạnh vào HBM4, bất kỳ hạn chế nào trong chuỗi cung ứng bộ nhớ cũng có thể làm chậm việc triển khai hạ tầng AI.

Cuối cùng, các nhà lắp ráp hệ thống như ODM/OEM sản xuất máy chủ AI cấp rack có thể nắm giữ nhiều giá trị hơn, bởi hệ thống ngày càng phức tạp và tích hợp sâu.

Bức tranh lớn: AI đang chuyển sang “siêu máy tính trong một rack”

Mức giá gần 7,8 triệu USD cho một rack cho thấy hạ tầng AI đang tiến hóa rất nhanh.

Các thế hệ máy chủ AI trước đây chủ yếu là GPU gắn vào máy chủ tiêu chuẩn. Trong khi đó, nền tảng Rubin được thiết kế như một siêu máy tính AI tích hợp hoàn chỉnh trong một rack, kết hợp tính toán, bộ nhớ và mạng thành một kiến trúc tối ưu hóa chặt chẽ.

Đó là lý do vì sao giá của một rack ngày nay có thể tương đương chi phí của cả một cụm hạ tầng trung tâm dữ liệu nhỏ — và vì sao kinh tế của phần cứng AI đang mở rộng vượt xa riêng GPU.

Một lưu ý quan trọng: con số 7,8 triệu USD vẫn là ước tính của các nhà phân tích dựa trên dữ liệu chuỗi cung ứng, và Nvidia chưa công bố giá bán chính thức cho hệ thống Rubin.

Dù vậy, xu hướng chung đã rõ ràng: thế hệ hạ tầng AI tiếp theo sẽ được định nghĩa bởi toàn bộ hệ thống xung quanh GPU, chứ không chỉ bởi con chip tăng tốc.