Nvidia đang định vị Vera Rubin không chỉ là thế hệ GPU nhanh hơn, mà là một “nhà máy AI” hoàn chỉnh ở quy mô rack. Nền tảng này kết hợp GPU, CPU, mạng kết nối trong và ngoài rack, bộ xử lý dữ liệu cùng phần mềm quản lý công suất để phục vụ các workload AI tác vụ — những hệ thống có khả năng tự chia nhỏ nhiệm vụ, gọi công cụ, chạy mã và lặp lại nhiều lượt suy luận.

Các con số nổi bật như hiệu suất cao hơn 30 lần hay chi phí token thấp hơn 35 lần là tuyên bố của Nvidia dựa trên benchmark do hãng dẫn lại, chưa phải kết quả xác nhận độc lập hoặc đánh giá đồng cấp. 8

Vera Rubin NVL72 có gì bên trong?

Một rack Vera Rubin NVL72 làm mát bằng chất lỏng tích hợp:

• 72 GPU Rubin;
• 36 CPU Vera;
• ConnectX-9 SuperNIC;
• BlueField-4 DPU;
• bộ chuyển mạch NVLink thế hệ thứ sáu.

Nvidia thiết kế hệ thống để 72 GPU hoạt động như một miền tính toán scale-up thống nhất. Ở phía ngoài, rack có thể kết nối với các rack khác thông qua Quantum-X800 InfiniBand hoặc Spectrum-X Ethernet, tạo thành các cụm AI lớn hơn. 36

Cách tiếp cận này cho thấy Nvidia muốn kiểm soát toàn bộ đường đi của dữ liệu: từ CPU và GPU, qua bộ nhớ, mạng nội bộ rack, mạng liên rack cho tới phần mềm vận hành trung tâm dữ liệu.

Tuyên bố hiệu suất: 30 lần trên mỗi megawatt, chi phí token thấp hơn 35 lần

Trong workload AI tác vụ, Nvidia cho biết Vera Rubin NVL72 đạt throughput trên mỗi megawatt cao hơn tới 30 lần so với GB300 NVL72. Hãng cũng tuyên bố chi phí token trong phép so sánh này có thể thấp hơn tới 35 lần. 89

Nvidia từng đưa ra một tuyên bố rộng hơn rằng nền tảng Rubin có thể giảm tới 10 lần chi phí token suy luận so với Blackwell. 11 Tuy nhiên, các tỷ lệ này không nên được hiểu là mức giá cố định cho mọi dịch vụ AI. Kết quả phụ thuộc vào mô hình, độ dài ngữ cảnh, mục tiêu tốc độ phản hồi, cấu hình hệ thống và cách workload được vận hành.

AgentX và DeepSeek V4 Pro được dùng để đo như thế nào?

Phép đo được thực hiện với AgentX, workload do SemiAnalysis xây dựng để phát lại các phiên lập trình mang tính sản xuất. Bài kiểm thử giữ lại những đặc điểm quan trọng của AI tác vụ như:

• ngữ cảnh liên tục mở rộng;
• gọi công cụ;
• chạy mã;
• sinh tác vụ phụ;
• nhiều lượt tương tác giữa mô hình và người dùng.

Nvidia sử dụng DeepSeek V4 Pro trong phép đo được công bố. 89 Đây là điểm khác biệt so với những benchmark chỉ đo số phép tính hoặc tốc độ sinh văn bản trong một lượt hỏi đáp ngắn.

Với AI tác vụ, GPU không phải yếu tố duy nhất quyết định hiệu suất. CPU phải xử lý điều phối, truy xuất dữ liệu, thực thi mã và quản lý các tác vụ phụ. Bộ nhớ và interconnect cũng phải chuyển dữ liệu nhanh giữa nhiều thành phần. Vì vậy, một hệ thống có nhiều FLOPS hơn chưa chắc tạo ra nhiều “công việc hữu ích” hơn nếu các phần còn lại trở thành nút thắt.

Còn Hopper và giá mỗi triệu token thì sao?

Thông tin được cung cấp ở đây củng cố phép so sánh giữa Vera Rubin và GB300, nhưng không có số liệu từ nguồn chính thống đủ trực tiếp để xác nhận một hệ số so sánh tương đương với Hopper. Tương tự, chưa có mức giá bằng USD được công bố và kiểm chứng cho mỗi một triệu token trong phép đo này.

Điều có thể nói chắc chắn là AI tác vụ thường tiêu thụ nhiều token hơn một yêu cầu trò chuyện đơn giản vì phải suy luận lặp, gọi công cụ và thực hiện nhiều bước. Một nguồn của Nvidia cho biết workload AI tác vụ có thể tiêu thụ lượng token lớn hơn đáng kể so với chat thông thường. Do đó, các tuyên bố về chi phí cần được đọc theo từng workload và cấu hình, thay vì xem như bảng giá phục vụ AI phổ quát.

CPU Vera: 88 lõi cho phần việc phía sau suy luận

Nvidia mô tả Vera là CPU Arm tương thích Armv9.2, được thiết kế cho hạ tầng thời đại AI tác vụ. Bộ xử lý này có 88 lõi Olympus và 176 luồng Spatial Multithreading, nhằm xử lý đồng thời nhiều công việc bao quanh quá trình suy luận. 210

Những công việc đó gồm xử lý dữ liệu, điều phối, truy xuất thông tin, gọi công cụ, chạy mã trong môi trường sandbox và mô phỏng. Khi một mô hình AI phải thực hiện hàng loạt thao tác thay vì chỉ trả lời một lần, phần việc của CPU có thể trở nên đáng kể hơn.

Vera sử dụng bộ nhớ SOCAMM2 LPDDR5X, cung cấp băng thông tổng hợp tối đa 1,2 TB/giây, tương đương tối đa khoảng 14 GB/giây cho mỗi lõi. 78 Bộ xử lý cũng có:

• Scalable Coherency Fabric thế hệ thứ hai;
• băng thông hai chiều của fabric lên tới 3,4 TB/giây;
• bộ nhớ đệm L3 hợp nhất dung lượng 164 MB.

Scalable Coherency Fabric kết nối 88 lõi, bộ nhớ đệm dùng chung, hệ thống bộ nhớ và I/O trong một miền dữ liệu nhất quán. Theo so sánh của Nvidia với Grace, Vera cung cấp băng thông bộ nhớ cao hơn 2,4 lần, dung lượng bộ nhớ gấp 3 lần và băng thông NVLink-C2C cao gấp đôi cho hoạt động phối hợp CPU–GPU. 1

“Scale-in” khác gì scale-out?

Nvidia đang chia mạng trong AI factory thành nhiều lớp, mỗi lớp giải quyết một khoảng cách khác nhau:

Scale-in hoặc scale-up: kết nối các GPU trong cùng một rack

NVLink 6 khiến 72 GPU trong NVL72 hoạt động giống một máy tính quy mô rack có kết nối chặt chẽ. Nvidia công bố băng thông hai chiều giữa GPU với GPU lên tới 3,6 TB/giây cho mỗi GPU, trong khi tổng băng thông GPU ở cấp rack đạt 260 TB/giây. 3

Với CPU Vera, NVLink-C2C cung cấp băng thông nhất quán 1,8 TB/giây giữa CPU và GPU, cao hơn nhiều so với kết nối PCIe thông thường.

Scale-out: kết nối nhiều rack thành cụm lớn

Quantum-X800 InfiniBand và Spectrum-X Ethernet đảm nhiệm việc nối các rack với nhau. Đây là lớp cần thiết khi một workload vượt quá khả năng của một rack NVL72. 3

Offload dữ liệu và hạ tầng

ConnectX-9 SuperNIC và BlueField-4 DPU xử lý các chức năng như mạng, lưu trữ, bảo mật và luồng dữ liệu, giúp giảm bớt phần việc mà CPU hoặc GPU phải đảm nhiệm trực tiếp. 36

Vì vậy, “scale-in” không phải tên gọi thay thế cho toàn bộ hệ thống mạng Nvidia. Nó là lớp kết nối nội bộ, phối hợp với scale-out và các bộ xử lý offload để tạo thành một hạ tầng AI hoàn chỉnh.

DSX MaxLPS: tối ưu số token trên mỗi đơn vị điện

Nvidia cũng giới thiệu DSX như một thiết kế AI factory đầu-cuối, bao phủ chip, hệ thống, phần mềm, cơ sở hạ tầng và công nghệ từ đối tác. Trong đó, DSX MaxLPS tập trung tối đa hóa lượng token được xử lý trên mỗi megawatt, từ đó giảm chi phí token. 1215

Điểm đáng chú ý là mục tiêu của MaxLPS không đơn giản là đẩy phần cứng chạy ở công suất tức thời cao nhất. Phần mềm hướng tới việc phân bổ điện năng hiệu quả hơn trên toàn hệ thống để tạo ra nhiều throughput hữu ích hơn trong giới hạn của trung tâm dữ liệu.

Điều này đặc biệt quan trọng khi giới hạn triển khai không còn chỉ nằm ở số lượng GPU. Nguồn điện, khả năng làm mát và công suất mạng cũng có thể quyết định một trung tâm dữ liệu được phép mở rộng đến đâu.

SpaceXAI đưa Vera Rubin từ mặt đất lên kế hoạch quỹ đạo

Theo Nvidia, SpaceXAI sẽ triển khai CPU Vera cho các workload AI tác vụ, đồng thời mở rộng hạ tầng phục vụ Grok trên nền tảng Vera Rubin khi hướng tới quy mô tính toán tính bằng gigawatt. 14

Hai bên cũng dự kiến mở rộng kiến trúc này sang dự án điện toán quỹ đạo Starmind. Hệ thống Nvidia sẽ là nền tảng cho một payload tính toán được tối ưu hóa cho môi trường không gian. 1412

Tuy nhiên, đây vẫn là kế hoạch triển khai trong tương lai, không phải bằng chứng cho thấy hiện đã có một trung tâm dữ liệu AI trên quỹ đạo đang hoạt động. Các thông tin được cung cấp cũng chưa đủ để xác nhận lịch phóng ràng buộc hoặc hiệu năng thực tế của hệ thống trong không gian.

Nvidia đang mở rộng cuộc chơi từ GPU sang cả CPU và AI factory

Nếu các số liệu workload của Nvidia được tái hiện trong các hệ thống khách hàng, lợi ích chính của Vera Rubin sẽ không chỉ là tốc độ mô hình cao hơn. Giá trị lớn hơn nằm ở việc thực hiện được nhiều công việc AI hữu ích hơn trong cùng một ngân sách điện năng.

Điều đó có thể giúp giảm chi phí điện, làm mát, mạng và vốn đầu tư trên mỗi token được sinh ra. Đồng thời, Nvidia đang mở rộng ranh giới cạnh tranh từ GPU sang:

• CPU Arm tùy biến;
• hệ thống CPU–GPU có bộ nhớ nhất quán;
• chuyển mạch quy mô rack;
• DPU và xử lý offload;
• phần mềm vận hành AI factory.

Mô hình tích hợp chặt chẽ này có thể củng cố vị thế của Nvidia trước các đối thủ GPU cũng như các nhà cung cấp CPU truyền thống. Mặt trái là khách hàng có thể phụ thuộc sâu hơn vào kiến trúc, mạng và phần mềm của Nvidia. Vì thế, Vera Rubin không chỉ là một sản phẩm phần cứng mới; nó là nỗ lực biến toàn bộ trung tâm dữ liệu AI thành một hệ thống được thiết kế và vận hành theo cách của Nvidia.

Nvidia đang định vị Vera Rubin không chỉ là thế hệ GPU nhanh hơn, mà là một “nhà máy AI” hoàn chỉnh ở quy mô rack. Nền tảng này kết hợp GPU, CPU, mạng kết nối trong và ngoài rack, bộ xử lý dữ liệu cùng phần mềm quản lý công suất để phục vụ các workload AI tác vụ — những hệ thống có khả năng tự chia nhỏ nhiệm vụ, gọi công cụ, chạy mã và lặp lại nhiều lượt suy luận.

Các con số nổi bật như hiệu suất cao hơn 30 lần hay chi phí token thấp hơn 35 lần là tuyên bố của Nvidia dựa trên benchmark do hãng dẫn lại, chưa phải kết quả xác nhận độc lập hoặc đánh giá đồng cấp. 8

Vera Rubin NVL72 có gì bên trong?

Một rack Vera Rubin NVL72 làm mát bằng chất lỏng tích hợp:

• 72 GPU Rubin;
• 36 CPU Vera;
• ConnectX-9 SuperNIC;
• BlueField-4 DPU;
• bộ chuyển mạch NVLink thế hệ thứ sáu.

Nvidia thiết kế hệ thống để 72 GPU hoạt động như một miền tính toán scale-up thống nhất. Ở phía ngoài, rack có thể kết nối với các rack khác thông qua Quantum-X800 InfiniBand hoặc Spectrum-X Ethernet, tạo thành các cụm AI lớn hơn. 36

Cách tiếp cận này cho thấy Nvidia muốn kiểm soát toàn bộ đường đi của dữ liệu: từ CPU và GPU, qua bộ nhớ, mạng nội bộ rack, mạng liên rack cho tới phần mềm vận hành trung tâm dữ liệu.

Tuyên bố hiệu suất: 30 lần trên mỗi megawatt, chi phí token thấp hơn 35 lần

Trong workload AI tác vụ, Nvidia cho biết Vera Rubin NVL72 đạt throughput trên mỗi megawatt cao hơn tới 30 lần so với GB300 NVL72. Hãng cũng tuyên bố chi phí token trong phép so sánh này có thể thấp hơn tới 35 lần. 89

Nvidia từng đưa ra một tuyên bố rộng hơn rằng nền tảng Rubin có thể giảm tới 10 lần chi phí token suy luận so với Blackwell. 11 Tuy nhiên, các tỷ lệ này không nên được hiểu là mức giá cố định cho mọi dịch vụ AI. Kết quả phụ thuộc vào mô hình, độ dài ngữ cảnh, mục tiêu tốc độ phản hồi, cấu hình hệ thống và cách workload được vận hành.

AgentX và DeepSeek V4 Pro được dùng để đo như thế nào?

Phép đo được thực hiện với AgentX, workload do SemiAnalysis xây dựng để phát lại các phiên lập trình mang tính sản xuất. Bài kiểm thử giữ lại những đặc điểm quan trọng của AI tác vụ như:

• ngữ cảnh liên tục mở rộng;
• gọi công cụ;
• chạy mã;
• sinh tác vụ phụ;
• nhiều lượt tương tác giữa mô hình và người dùng.

Nvidia sử dụng DeepSeek V4 Pro trong phép đo được công bố. 89 Đây là điểm khác biệt so với những benchmark chỉ đo số phép tính hoặc tốc độ sinh văn bản trong một lượt hỏi đáp ngắn.

Với AI tác vụ, GPU không phải yếu tố duy nhất quyết định hiệu suất. CPU phải xử lý điều phối, truy xuất dữ liệu, thực thi mã và quản lý các tác vụ phụ. Bộ nhớ và interconnect cũng phải chuyển dữ liệu nhanh giữa nhiều thành phần. Vì vậy, một hệ thống có nhiều FLOPS hơn chưa chắc tạo ra nhiều “công việc hữu ích” hơn nếu các phần còn lại trở thành nút thắt.

Còn Hopper và giá mỗi triệu token thì sao?

Thông tin được cung cấp ở đây củng cố phép so sánh giữa Vera Rubin và GB300, nhưng không có số liệu từ nguồn chính thống đủ trực tiếp để xác nhận một hệ số so sánh tương đương với Hopper. Tương tự, chưa có mức giá bằng USD được công bố và kiểm chứng cho mỗi một triệu token trong phép đo này.

Điều có thể nói chắc chắn là AI tác vụ thường tiêu thụ nhiều token hơn một yêu cầu trò chuyện đơn giản vì phải suy luận lặp, gọi công cụ và thực hiện nhiều bước. Một nguồn của Nvidia cho biết workload AI tác vụ có thể tiêu thụ lượng token lớn hơn đáng kể so với chat thông thường. Do đó, các tuyên bố về chi phí cần được đọc theo từng workload và cấu hình, thay vì xem như bảng giá phục vụ AI phổ quát.

CPU Vera: 88 lõi cho phần việc phía sau suy luận

Nvidia mô tả Vera là CPU Arm tương thích Armv9.2, được thiết kế cho hạ tầng thời đại AI tác vụ. Bộ xử lý này có 88 lõi Olympus và 176 luồng Spatial Multithreading, nhằm xử lý đồng thời nhiều công việc bao quanh quá trình suy luận. 210

Những công việc đó gồm xử lý dữ liệu, điều phối, truy xuất thông tin, gọi công cụ, chạy mã trong môi trường sandbox và mô phỏng. Khi một mô hình AI phải thực hiện hàng loạt thao tác thay vì chỉ trả lời một lần, phần việc của CPU có thể trở nên đáng kể hơn.

Vera sử dụng bộ nhớ SOCAMM2 LPDDR5X, cung cấp băng thông tổng hợp tối đa 1,2 TB/giây, tương đương tối đa khoảng 14 GB/giây cho mỗi lõi. 78 Bộ xử lý cũng có:

• Scalable Coherency Fabric thế hệ thứ hai;
• băng thông hai chiều của fabric lên tới 3,4 TB/giây;
• bộ nhớ đệm L3 hợp nhất dung lượng 164 MB.

Scalable Coherency Fabric kết nối 88 lõi, bộ nhớ đệm dùng chung, hệ thống bộ nhớ và I/O trong một miền dữ liệu nhất quán. Theo so sánh của Nvidia với Grace, Vera cung cấp băng thông bộ nhớ cao hơn 2,4 lần, dung lượng bộ nhớ gấp 3 lần và băng thông NVLink-C2C cao gấp đôi cho hoạt động phối hợp CPU–GPU. 1

“Scale-in” khác gì scale-out?

Nvidia đang chia mạng trong AI factory thành nhiều lớp, mỗi lớp giải quyết một khoảng cách khác nhau:

Scale-in hoặc scale-up: kết nối các GPU trong cùng một rack

NVLink 6 khiến 72 GPU trong NVL72 hoạt động giống một máy tính quy mô rack có kết nối chặt chẽ. Nvidia công bố băng thông hai chiều giữa GPU với GPU lên tới 3,6 TB/giây cho mỗi GPU, trong khi tổng băng thông GPU ở cấp rack đạt 260 TB/giây. 3

Với CPU Vera, NVLink-C2C cung cấp băng thông nhất quán 1,8 TB/giây giữa CPU và GPU, cao hơn nhiều so với kết nối PCIe thông thường.

Scale-out: kết nối nhiều rack thành cụm lớn

Quantum-X800 InfiniBand và Spectrum-X Ethernet đảm nhiệm việc nối các rack với nhau. Đây là lớp cần thiết khi một workload vượt quá khả năng của một rack NVL72. 3

Offload dữ liệu và hạ tầng

ConnectX-9 SuperNIC và BlueField-4 DPU xử lý các chức năng như mạng, lưu trữ, bảo mật và luồng dữ liệu, giúp giảm bớt phần việc mà CPU hoặc GPU phải đảm nhiệm trực tiếp. 36

Vì vậy, “scale-in” không phải tên gọi thay thế cho toàn bộ hệ thống mạng Nvidia. Nó là lớp kết nối nội bộ, phối hợp với scale-out và các bộ xử lý offload để tạo thành một hạ tầng AI hoàn chỉnh.

DSX MaxLPS: tối ưu số token trên mỗi đơn vị điện

Nvidia cũng giới thiệu DSX như một thiết kế AI factory đầu-cuối, bao phủ chip, hệ thống, phần mềm, cơ sở hạ tầng và công nghệ từ đối tác. Trong đó, DSX MaxLPS tập trung tối đa hóa lượng token được xử lý trên mỗi megawatt, từ đó giảm chi phí token. 1215

Điểm đáng chú ý là mục tiêu của MaxLPS không đơn giản là đẩy phần cứng chạy ở công suất tức thời cao nhất. Phần mềm hướng tới việc phân bổ điện năng hiệu quả hơn trên toàn hệ thống để tạo ra nhiều throughput hữu ích hơn trong giới hạn của trung tâm dữ liệu.

Điều này đặc biệt quan trọng khi giới hạn triển khai không còn chỉ nằm ở số lượng GPU. Nguồn điện, khả năng làm mát và công suất mạng cũng có thể quyết định một trung tâm dữ liệu được phép mở rộng đến đâu.

SpaceXAI đưa Vera Rubin từ mặt đất lên kế hoạch quỹ đạo

Theo Nvidia, SpaceXAI sẽ triển khai CPU Vera cho các workload AI tác vụ, đồng thời mở rộng hạ tầng phục vụ Grok trên nền tảng Vera Rubin khi hướng tới quy mô tính toán tính bằng gigawatt. 14

Hai bên cũng dự kiến mở rộng kiến trúc này sang dự án điện toán quỹ đạo Starmind. Hệ thống Nvidia sẽ là nền tảng cho một payload tính toán được tối ưu hóa cho môi trường không gian. 1412

Tuy nhiên, đây vẫn là kế hoạch triển khai trong tương lai, không phải bằng chứng cho thấy hiện đã có một trung tâm dữ liệu AI trên quỹ đạo đang hoạt động. Các thông tin được cung cấp cũng chưa đủ để xác nhận lịch phóng ràng buộc hoặc hiệu năng thực tế của hệ thống trong không gian.

Nvidia đang mở rộng cuộc chơi từ GPU sang cả CPU và AI factory

Nếu các số liệu workload của Nvidia được tái hiện trong các hệ thống khách hàng, lợi ích chính của Vera Rubin sẽ không chỉ là tốc độ mô hình cao hơn. Giá trị lớn hơn nằm ở việc thực hiện được nhiều công việc AI hữu ích hơn trong cùng một ngân sách điện năng.

Điều đó có thể giúp giảm chi phí điện, làm mát, mạng và vốn đầu tư trên mỗi token được sinh ra. Đồng thời, Nvidia đang mở rộng ranh giới cạnh tranh từ GPU sang:

• CPU Arm tùy biến;
• hệ thống CPU–GPU có bộ nhớ nhất quán;
• chuyển mạch quy mô rack;
• DPU và xử lý offload;
• phần mềm vận hành AI factory.

Mô hình tích hợp chặt chẽ này có thể củng cố vị thế của Nvidia trước các đối thủ GPU cũng như các nhà cung cấp CPU truyền thống. Mặt trái là khách hàng có thể phụ thuộc sâu hơn vào kiến trúc, mạng và phần mềm của Nvidia. Vì thế, Vera Rubin không chỉ là một sản phẩm phần cứng mới; nó là nỗ lực biến toàn bộ trung tâm dữ liệu AI thành một hệ thống được thiết kế và vận hành theo cách của Nvidia.