Hãy hình dung một lập trình viên AI (AI coding agent) đang làm việc. Nó không chỉ viết một dòng code; nó cần gọi mô hình ngôn ngữ lớn (LLM) liên tục, tương tác với các công cụ (như terminal, trình duyệt), xử lý lỗi và ghi nhớ ngữ cảnh xuyên suốt hàng chục bước. Đó chính là những gì AgentPerf mô phỏng.

Cụ thể, bài kiểm tra này đo lường:

• Số lượng tác tử AI đồng thời mà một hệ thống có thể 'gánh' được.
• Khả năng đáp ứng các mục tiêu chất lượng dịch vụ (SLO) nghiêm ngặt về tốc độ sinh token và thời gian phản hồi đầu tiên (TTFT).
• Dữ liệu được lấy từ các quy trình lập trình thực tế, sử dụng hơn 12 ngôn ngữ lập trình, với các lệnh gọi công cụ được mô phỏng có độ trễ thực tế .

Kết quả được chuẩn hóa trên mỗi bộ tăng tốc và trên mỗi megawatt (MW), cho thấy bức tranh toàn cảnh về cả hiệu năng lẫn hiệu quả năng lượng .

'Vũ khí bí mật' GB300 NVL72: Mạnh hơn, 'mát' hơn

Khi chạy mô hình 'quái vật' DeepSeek V4 Pro (một mô hình kết hợp chuyên gia - MoE cỡ lớn, đại diện cho phân khúc AI tác tử tiên tiến nhất), GB300 NVL72 đã thể hiện sức mạnh gần như tuyệt đối .

Điểm đáng kinh ngạc nhất nằm ở hiệu quả năng lượng:

• Ở cả hai mức SLO 20 token/giây và 60 token/giây, nền tảng Blackwell Ultra cho phép chạy nhiều tác tử hơn gấp 20 lần trên mỗi megawatt so với người tiền nhiệm HGX H200 (kiến trúc Hopper) .
• Ở mức SLO dễ nhất (20 token/giây, 10 giây TTFT), cấu hình phân tán ở cấp độ rack của GB300 đã xử lý đồng thời 61.340 tác tử AI . Để so sánh, con số này ở H200 chỉ là 2.594 .

Con số 61.340 không chỉ là một kỷ lục. Nó thể hiện khả năng vận hành một 'đội quân' AI lập trình viên ở quy mô cực lớn với chi phí năng lượng thấp hơn rất nhiều.

Blackwell Ultra 'đóng đinh' vị thế 'ông trùm' AI tác tử như thế nào?

Kết quả từ AgentPerf chỉ là một mảnh ghép mới nhất trong chiến lược tổng thể của NVIDIA nhằm biến Blackwell Ultra thành nền tảng không thể thay thế cho AI tác tử:

1. Sức mạnh tổng hợp từ phần cứng đến phần mềm
NVIDIA không giấu giếm bí quyết: sự cải tiến vượt bậc đến từ thiết kế cộng hưởng ở mọi tầng. Công nghệ NVLink kết nối 72 GPU thành một khối thống nhất, các lõi CUDA được tối ưu để tính toán và giao tiếp song song cho mô hình MoE, cùng với bộ công cụ TensorRT LLM (bao gồm WideEP/DeepEP, DeepGEMM) giúp duy trì hiệu suất cao ngay cả khi số lượng tác tử đồng thời tăng vọt .

2. 'Thâu tóm' mọi bảng xếp hạng
Trước khi chinh phục AgentPerf, Blackwell Ultra đã 'càn quét' các bài kiểm tra danh giá khác:

• MLPerf Inference v5.1: Thiết lập kỷ lục mới với thông lượng suy luận mô hình DeepSeek-R1 cao gấp 1,4 lần so với Blackwell tiêu chuẩn . Và trong MLPerf Inference v6.0, con số này tăng lên gấp 2,7 lần .
• MLPerf Training v5.1: Quét sạch cả 7 hạng mục, bao gồm cả huấn luyện mô hình ngôn ngữ khổng lồ Llama 3.1 405B chỉ trong 10 phút với 5.120 GPU Blackwell .

3. Sẵn sàng cho 'trận chiến' thực địa
NVIDIA nhấn mạnh rằng đây không chỉ là điểm số phòng thí nghiệm. Các đối tác như Together AI (đơn vị cung cấp sức mạnh cho công cụ lập trình AI Cursor) và DeepInfra (hỗ trợ Pam.ai) đã và đang vận hành khối lượng công việc tác tử thực tế trên nền tảng Blackwell . Điều này cho thấy hệ sinh thái đã sẵn sàng cho việc triển khai thương mại quy mô lớn.

4. Con đường phía trước
Dù Blackwell Ultra đang là 'đỉnh cao', NVIDIA đã úp mở về thế hệ tiếp theo: kiến trúc Vera Rubin, hiện đang trong giai đoạn sản xuất, hứa hẹn một cú nhảy vọt khác về năng lực AI tác tử . Những cải tiến như 50 PFLOPs sức mạnh tính toán NVFP4 và khả năng tăng tốc lệnh gọi công cụ đang được hé lộ cho tương lai .

Hãy hình dung một lập trình viên AI (AI coding agent) đang làm việc. Nó không chỉ viết một dòng code; nó cần gọi mô hình ngôn ngữ lớn (LLM) liên tục, tương tác với các công cụ (như terminal, trình duyệt), xử lý lỗi và ghi nhớ ngữ cảnh xuyên suốt hàng chục bước. Đó chính là những gì AgentPerf mô phỏng.

Cụ thể, bài kiểm tra này đo lường:

• Số lượng tác tử AI đồng thời mà một hệ thống có thể 'gánh' được.
• Khả năng đáp ứng các mục tiêu chất lượng dịch vụ (SLO) nghiêm ngặt về tốc độ sinh token và thời gian phản hồi đầu tiên (TTFT).
• Dữ liệu được lấy từ các quy trình lập trình thực tế, sử dụng hơn 12 ngôn ngữ lập trình, với các lệnh gọi công cụ được mô phỏng có độ trễ thực tế .

Kết quả được chuẩn hóa trên mỗi bộ tăng tốc và trên mỗi megawatt (MW), cho thấy bức tranh toàn cảnh về cả hiệu năng lẫn hiệu quả năng lượng .

'Vũ khí bí mật' GB300 NVL72: Mạnh hơn, 'mát' hơn

Khi chạy mô hình 'quái vật' DeepSeek V4 Pro (một mô hình kết hợp chuyên gia - MoE cỡ lớn, đại diện cho phân khúc AI tác tử tiên tiến nhất), GB300 NVL72 đã thể hiện sức mạnh gần như tuyệt đối .

Điểm đáng kinh ngạc nhất nằm ở hiệu quả năng lượng:

• Ở cả hai mức SLO 20 token/giây và 60 token/giây, nền tảng Blackwell Ultra cho phép chạy nhiều tác tử hơn gấp 20 lần trên mỗi megawatt so với người tiền nhiệm HGX H200 (kiến trúc Hopper) .
• Ở mức SLO dễ nhất (20 token/giây, 10 giây TTFT), cấu hình phân tán ở cấp độ rack của GB300 đã xử lý đồng thời 61.340 tác tử AI . Để so sánh, con số này ở H200 chỉ là 2.594 .

Con số 61.340 không chỉ là một kỷ lục. Nó thể hiện khả năng vận hành một 'đội quân' AI lập trình viên ở quy mô cực lớn với chi phí năng lượng thấp hơn rất nhiều.

Blackwell Ultra 'đóng đinh' vị thế 'ông trùm' AI tác tử như thế nào?

Kết quả từ AgentPerf chỉ là một mảnh ghép mới nhất trong chiến lược tổng thể của NVIDIA nhằm biến Blackwell Ultra thành nền tảng không thể thay thế cho AI tác tử:

1. Sức mạnh tổng hợp từ phần cứng đến phần mềm
NVIDIA không giấu giếm bí quyết: sự cải tiến vượt bậc đến từ thiết kế cộng hưởng ở mọi tầng. Công nghệ NVLink kết nối 72 GPU thành một khối thống nhất, các lõi CUDA được tối ưu để tính toán và giao tiếp song song cho mô hình MoE, cùng với bộ công cụ TensorRT LLM (bao gồm WideEP/DeepEP, DeepGEMM) giúp duy trì hiệu suất cao ngay cả khi số lượng tác tử đồng thời tăng vọt .

2. 'Thâu tóm' mọi bảng xếp hạng
Trước khi chinh phục AgentPerf, Blackwell Ultra đã 'càn quét' các bài kiểm tra danh giá khác:

• MLPerf Inference v5.1: Thiết lập kỷ lục mới với thông lượng suy luận mô hình DeepSeek-R1 cao gấp 1,4 lần so với Blackwell tiêu chuẩn . Và trong MLPerf Inference v6.0, con số này tăng lên gấp 2,7 lần .
• MLPerf Training v5.1: Quét sạch cả 7 hạng mục, bao gồm cả huấn luyện mô hình ngôn ngữ khổng lồ Llama 3.1 405B chỉ trong 10 phút với 5.120 GPU Blackwell .

3. Sẵn sàng cho 'trận chiến' thực địa
NVIDIA nhấn mạnh rằng đây không chỉ là điểm số phòng thí nghiệm. Các đối tác như Together AI (đơn vị cung cấp sức mạnh cho công cụ lập trình AI Cursor) và DeepInfra (hỗ trợ Pam.ai) đã và đang vận hành khối lượng công việc tác tử thực tế trên nền tảng Blackwell . Điều này cho thấy hệ sinh thái đã sẵn sàng cho việc triển khai thương mại quy mô lớn.

4. Con đường phía trước
Dù Blackwell Ultra đang là 'đỉnh cao', NVIDIA đã úp mở về thế hệ tiếp theo: kiến trúc Vera Rubin, hiện đang trong giai đoạn sản xuất, hứa hẹn một cú nhảy vọt khác về năng lực AI tác tử . Những cải tiến như 50 PFLOPs sức mạnh tính toán NVFP4 và khả năng tăng tốc lệnh gọi công cụ đang được hé lộ cho tương lai .