Câu trả lờiĐã xuất bản16 nguồn
MLPerf Inference v6.1: Phần mềm, quy mô và AI tác tử quan trọng ngang tốc độ GPU
MLPerf Inference v6.1 nhấn mạnh rằng năng lực suy luận AI là bài toán của cả hệ thống: AMD có kết quả MI355X 512 GPU với thông lượng token tổng cao nhất, còn NVIDIA công bố dữ liệu xem trước cho Vera Rubin đạt tối đa... Đợt công bố lập kỷ lục với 30 tổ chức tham gia và 486 kết quả ở trung tâm dữ liệu lẫn biên, đồng...
Đăng bởiBiên tập bằng GPT-5.6 TerraHình ảnh được tạo bằng GPT Image 2
Câu trả lời nghiên cứu
Bài học chính
- MLPerf Inference v6.1 nhấn mạnh rằng năng lực suy luận AI là bài toán của cả hệ thống: AMD có kết quả MI355X 512 GPU với thông lượng token tổng cao nhất, còn NVIDIA công bố dữ liệu xem trước cho Vera Rubin đạt tối đa...
- Đợt công bố lập kỷ lục với 30 tổ chức tham gia và 486 kết quả ở trung tâm dữ liệu lẫn biên, đồng thời bổ sung bài kiểm tra RAG đầu cuối và suy luận AI tác tử tại biên.
- Với bên mua hạ tầng, tiến bộ phần mềm trên phần cứng sẵn có, khả năng tái lập khi triển khai và các chỉ tiêu độ trễ quan trọng không kém thông số GPU.
Prompt AI
openai.comCreate a landscape editorial hero image for this Studio Global article: What were the key results and broader implications of MLCommons’ MLPerf Inference v6.1 benchmarks, including AMD’s record-setting MI355X per. Article summary: MLPerf Inference v6.1 showed a more competitive and more deployment-oriented inference market: AMD set aggregate-scale records, NVIDIA demonstrated its next platform while retaining strong Blackwell results, Intel broade. Topic tags: general, documentation, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
MLPerf Inference v6.1 không đơn thuần là bảng xếp hạng một con chip AI. Đây là bức ảnh chụp về cách hạ tầng phục vụ mô hình AI đang thay đổi: AMD đưa ra bài nộp ở quy mô cực lớn với MI355X, NVIDIA lần đầu công bố dữ liệu xem trước cho Vera Rubin, Intel mở rộng hiện diện ở các cấu hình suy luận dễ tiếp cận hơn, còn MLCommons bổ sung bài đo cho RAG và AI tác tử.
Thông điệp chính là: đơn vị nên đem ra so sánh không còn chỉ là một GPU, mà là một hệ thống phục vụ hoàn chỉnh, có thể triển khai, chạy đúng loại tác vụ và đáp ứng ràng buộc độ trễ đề ra.
AMD MI355X: thông lượng tổng lớn, nhưng cần đặt đúng thước đo
Điểm nhấn của AMD đến từ cấu hình Crusoe gồm 512 GPU Instinct MI355X, đạt các mức thông lượng token tổng cao nhất được báo cáo trong vòng MLPerf Inference v6.1. 5 Đây là màn thể hiện đáng chú ý về quy mô, vì nó kiểm tra không chỉ hiệu năng của bộ tăng tốc mà cả suy luận phân tán, kết nối mạng và tích hợp hệ thống trên một cụm rất lớn.
Tuy vậy, kết quả của 512 GPU không đồng nghĩa với tuyên bố dẫn đầu trong mọi tình huống. Không thể so trực tiếp thông lượng tổng của cụm này với một rack đơn lẻ hay cụm nhỏ hơn nếu chưa chuẩn hóa theo số GPU, mô hình, kịch bản benchmark và yêu cầu mức dịch vụ.
Với một đội máy suy luận quy mô lớn, thông lượng tổng có thể là chỉ số phù hợp. Nhưng khi chọn hệ thống cho một dự án cụ thể, thông lượng trên mỗi bộ tăng tốc, mật độ trong rack, điện năng tiêu thụ, khả năng sẵn sàng và độ phức tạp vận hành có thể quan trọng hơn.
Vì sao tiến bộ ROCm có ý nghĩa chiến lược
Câu chuyện của AMD cũng là câu chuyện về phần mềm. Công ty cho biết cùng phần cứng MI355X đã đạt hiệu năng cao hơn so với vòng MLPerf trước nhờ tối ưu ROCm. Ý nghĩa rộng hơn rất rõ: trình biên dịch, kernel, runtime mô hình và phần mềm phục vụ phân tán có thể nâng công suất hữu ích của đội máy đang vận hành mà không cần thay GPU.
AMD cũng đã cam kết nhịp phát hành ROCm mỗi sáu tuần. Nếu nhịp này liên tục tạo ra cải thiện có thể triển khai thực tế, tốc độ phát triển phần mềm sẽ trở thành một biến số đáng kể trong phép tính chi phí trên mỗi token của người mua.
Dù vậy, các mức tăng từ MLPerf vẫn cần được kiểm chứng trên môi trường riêng: tập mô hình, cách lượng tử hóa, framework, mô hình lưu lượng và mục tiêu độ trễ của từng tổ chức. Cải thiện ở một benchmark không mặc nhiên chuyển nguyên vẹn sang môi trường production.
NVIDIA dùng Vera Rubin để phác họa bước tiếp theo
Vera Rubin NVL72 của NVIDIA lần đầu xuất hiện trong MLPerf Inference với trạng thái xem trước. NVIDIA cho biết hệ thống này đạt thông lượng cao hơn tối đa 3,7 lần so với GB300 NVL72 trên Qwen3-VL, đồng thời một bài nộp GB300 NVL72 gồm 288 GPU trên bốn rack đạt hiệu suất mở rộng 99%. 2
Điều kiện cần lưu ý là tính sẵn có. Kết quả xem trước hữu ích để đánh giá hướng đi kiến trúc và độ trưởng thành của phần mềm, nhưng chưa tự động tạo thành phép so sánh mua sắm ngang hàng với hệ thống đã thương mại hóa rộng rãi. Quy mô cụm trong các bài nộp xem trước cũng khác nhau; vì thế, so sánh theo GPU hoặc theo một chuẩn quy đổi tương đương sẽ có ý nghĩa hơn thông lượng tổng của cả hệ thống. 8
Trong ngắn hạn, Blackwell và Blackwell Ultra vẫn là phần quan trọng của bức tranh triển khai. Chẳng hạn, CoreWeave cho biết họ có các kết quả dẫn đầu trong nhóm nhà cung cấp đám mây trên nhiều cấu hình Blackwell và Blackwell Ultra, với các tác vụ Qwen3-VL, DeepSeek-R1 và GPT-OSS-120B. 4
Kết luận thực tế không phải là một người thắng tuyệt đối, mà là sự phân hóa theo nhu cầu: năng lực tổng ở cụm cực lớn, phục vụ theo rack, suy luận đa phương thức và độ trễ tương tác có thể ưu tiên những cấu hình khác nhau.
Intel mở rộng dải lựa chọn suy luận
Các bài nộp của Intel giúp MLPerf phản ánh rõ hơn mảng suy luận trên CPU và GPU cấp workstation. Nút máy gồm bốn Arc Pro B70 của Intel có tổng 128 GB VRAM, với kết quả cho Llama, GPT-OSS-120B, Whisper và bài kiểm tra RAG đầu-cuối mới. Intel cũng báo cáo các mức tăng do phần mềm trên chính cấu hình Arc Pro B70 đó so với vòng trước. 3
Điều này không biến Arc Pro thành phương án thay thế trực tiếp cho các cụm bộ tăng tốc ở quy mô hyperscale. Nhưng nó khiến benchmark đại diện hơn cho những tổ chức đang cân nhắc triển khai nhỏ hơn, chi phí thấp hơn hoặc linh hoạt hơn — nhất là khi dung lượng bộ nhớ, suy luận cục bộ hay hạ tầng máy chủ sẵn có là yếu tố chi phối quyết định.
RAG và AI tác tử khiến MLPerf gần hơn với triển khai thật
MLCommons cho biết v6.1 ghi nhận kỷ lục 30 tổ chức nộp kết quả và 486 kết quả ở trung tâm dữ liệu lẫn thiết bị biên. Bộ bài đo bổ sung benchmark RAG đầu-cuối tại trung tâm dữ liệu và benchmark suy luận AI tác tử tại biên, phản ánh sự dịch chuyển từ các prompt đơn lẻ sang ứng dụng AI nhiều công đoạn. 9
Điều này quan trọng vì workload tác tử có thể tạo ra các điểm nghẽn mà bài đo thông lượng token ngoại tuyến truyền thống không bộc lộ: tương tác nhiều lượt, gọi công cụ, chi phí điều phối và yêu cầu phản hồi nhanh giữa các bước. MLCommons mô tả benchmark tại biên là đại diện cho các tác vụ nhiều lượt phức tạp, chẳng hạn lập trình với AI tác tử. 9
Đây vẫn là các benchmark có kiểm soát, chưa phải mô phỏng đầy đủ một dịch vụ production đang hoạt động. Tuy nhiên, chúng đưa việc đánh giá tiến gần hơn những dạng ứng dụng mà nhiều đội ngũ đang tìm cách triển khai.
MLPerf Endpoints có thể thay đổi cách đo hiệu năng
MLCommons cũng xem trước MLPerf Endpoints như một hướng phát triển có thể xảy ra. Khác biệt cốt lõi nằm giữa các bài nộp benchmark định kỳ và hiệu năng có thể quan sát từ những endpoint phục vụ đang chạy.
Nếu phát triển đầy đủ, một chương trình theo hướng endpoint có thể nhấn mạnh hơn vào hành vi khi có tải, tính ổn định của độ trễ, khả năng sẵn sàng và tính lặp lại trong vận hành — thay vì chỉ một kết quả đỉnh từ lần chạy benchmark cố định.
Hiện tại, người mua nên coi đây là hướng đo lường đang hình thành, chưa phải phương án thay thế đã hoàn thiện cho quy trình nộp kết quả hiện nay. Nhưng v6.1 cũng cho thấy vì sao hướng đi này đáng quan tâm: chất lượng triển khai phụ thuộc vào nhiều yếu tố hơn hẳn con số token/giây tối đa.
Bài học cho bên mua: so sánh cả stack, không chỉ nhìn tiêu đề
MLPerf v6.1 cho thấy cạnh tranh trong suy luận AI đang được định hình bởi ba yếu tố gắn chặt với nhau: năng lực bộ tăng tốc, cải thiện phần mềm và tích hợp hệ thống.
Bài nộp MI355X quy mô lớn của AMD nhấn mạnh giá trị của khả năng mở rộng. Vera Rubin ở trạng thái xem trước của NVIDIA báo hiệu bước hiệu năng kế tiếp, trong khi Blackwell phục vụ nhu cầu triển khai hiện tại. Intel mở rộng dải phần cứng được thể hiện trong benchmark. Còn các bài đo mới của MLCommons thừa nhận rằng RAG và AI tác tử có yêu cầu hiệu năng khác với suy luận một lượt.
Khi đánh giá một nền tảng, hãy bắt đầu từ workload và mục tiêu vận hành: mô hình sử dụng, độ dài ngữ cảnh, mức đồng thời, SLO độ trễ, giới hạn điện năng, quy mô triển khai và chi phí trên mỗi đầu ra hữu ích. Sau đó mới so sánh những hệ thống tương đương về quy mô và tình trạng sẵn có. Cách tiếp cận đó hữu ích hơn nhiều so với việc coi bất kỳ tiêu đề MLPerf nào là đáp án chung cho mọi nhu cầu.
Studio Global AI
Tiếp tục nghiên cứu của bạn
Trang này bao gồm câu trả lời dựa trên nguồn mà bạn có thể tiếp tục bên trong Studio Global.
Người ta cũng hỏi
Câu trả lời ngắn gọn cho "MLPerf Inference v6.1: Phần mềm, quy mô và AI tác tử quan trọng ngang tốc độ GPU" là gì?
MLPerf Inference v6.1 nhấn mạnh rằng năng lực suy luận AI là bài toán của cả hệ thống: AMD có kết quả MI355X 512 GPU với thông lượng token tổng cao nhất, còn NVIDIA công bố dữ liệu xem trước cho Vera Rubin đạt tối đa...
Những điểm chính cần xác nhận đầu tiên là gì?
MLPerf Inference v6.1 nhấn mạnh rằng năng lực suy luận AI là bài toán của cả hệ thống: AMD có kết quả MI355X 512 GPU với thông lượng token tổng cao nhất, còn NVIDIA công bố dữ liệu xem trước cho Vera Rubin đạt tối đa... Đợt công bố lập kỷ lục với 30 tổ chức tham gia và 486 kết quả ở trung tâm dữ liệu lẫn biên, đồng thời bổ sung bài kiểm tra RAG đầu cuối và suy luận AI tác tử tại biên.
Tôi nên làm gì tiếp theo trong thực tế?
Với bên mua hạ tầng, tiến bộ phần mềm trên phần cứng sẵn có, khả năng tái lập khi triển khai và các chỉ tiêu độ trễ quan trọng không kém thông số GPU.