NVIDIA 'càn quét' MLPerf Training v6.0: Lập kỷ lục mới với Blackwell Ultra và DeepSeek-V3

CoreWeave Lập Kỷ Lục 'Chớp Nhoáng' với DeepSeek-V3

Đối tác của NVIDIA, CoreWeave, đã tạo nên một cột mốc đáng kinh ngạc khi huấn luyện thành công mô hình DeepSeek-V3 671B chỉ trong 2,02 phút. Thành tích này đạt được trên cụm 8.192 GPU NVIDIA GB300 NVL72 — cụm GB300 lớn nhất được ghi nhận trong kỳ đánh giá này — và hoạt động trên chính hạ tầng đám mây sẵn sàng phục vụ khách hàng của CoreWeave .

Đây là kết quả huấn luyện DeepSeek-V3 nhanh nhất từ trước đến nay, vượt mọi giới hạn trước đó, có được nhờ tối ưu toàn diện trên các lớp mạng, điều phối và lưu trữ .

Cuộc Đua Nội Bộ: GB300 NVL72 Mạnh Hơn Người Tiền Nhiệm Ra Sao?

So sánh giữa hai thế hệ chip mạnh nhất của NVIDIA cho thấy bước nhảy vọt về công nghệ:

• Hệ thống GB300 NVL72 (Blackwell Ultra) không chỉ được hưởng lợi từ bộ nhớ và ngân sách năng lượng lớn hơn, cho phép tăng tính cục bộ của mô hình, mà còn mạnh mẽ hơn hẳn về thông lượng .
• Trong các tác vụ suy luận, GB300 NVL72 cho tốc độ token mỗi giây cao hơn tới 2,77 lần so với thế hệ GB200 NVL72 .
• Ở mảng huấn luyện, thông lượng cũng được cải thiện đáng kể. Một ví dụ điển hình cho sức mạnh của việc đồng thiết kế phần cứng-phần mềm: chỉ trong ba tháng, NVIDIA đã cải thiện thông lượng huấn luyện DeepSeek-V3 thêm 1,3 lần trên cùng một phần cứng, nhờ các đột phá phần mềm như biểu đồ CUDA toàn vòng lặp và kết hợp CuTe DSL .

Sự Tham Gia Kỷ Lục và Những Tín Hiệu Lạc Quan từ AMD

Kỳ MLPerf này ghi nhận sự tham gia đông đảo kỷ lục từ 24 tổ chức với 95 hệ thống khác nhau, sử dụng 13 loại tăng tốc phần cứng — một minh chứng cho sự sôi động của thị trường AI .

Dù "cơn bão" NVIDIA vẫn cực kỳ mạnh mẽ, đối thủ AMD cũng cho thấy những tín hiệu đáng khích lệ. Nền tảng AMD Instinct MI355X sử dụng định dạng dấu phẩy động MXFP4 đã thể hiện hiệu năng rất cạnh tranh so với NVIDIA B200 trên hai bài toán fine-tune Llama 2-70B (chỉ kém 5%) và pre-training Llama 3.1-8B (kém 6%) . Điều này cho thấy cuộc đua về hiệu năng và chi phí trên mỗi token sẽ còn ngày càng hấp dẫn.

Hạ Tầng Mạng và Sức Mạnh Tổng Thể

Để đạt được những kỷ lục ở quy mô hàng nghìn GPU, vai trò của mạng kết nối là sống còn. Các đối tác của NVIDIA đã mở rộng quy mô lên tới 8.192 GPU Blackwell, dựa trên nền tảng Spectrum-X Ethernet với các tính năng Định tuyến Thích ứng và Kiểm soát Tắc nghẽn. Công nghệ này giúp duy trì băng thông mạng gần mức lý thuyết, điều tối quan trọng cho các mô hình MoE vốn có kiểu giao tiếp "bùng nổ" (all-to-all communication) giữa các GPU .

Kết hợp miền kết nối NVLink với hạ tầng mạng mở rộng, NVIDIA cùng các đối tác đã lập hàng loạt kỷ lục ấn tượng khác về thời gian huấn luyện:

• Huấn luyện Llama 3.1 8B: 5,2 phút
• Fine-tune Llama 2 70B: 0,40 phút
• Tạo ảnh (FLUX.1): 12,5 phút
• Hệ thống gợi ý (DLRM-DCNv2): 0,71 phút
• Phát hiện đối tượng (RetinaNet): 1,4 phút .