AnswersPublished16 sources
MLPerf Inference v6.1: Perisian, Skala dan AI Ejen Kini Sama Penting dengan Kelajuan GPU
MLPerf Inference v6.1 memperlihatkan persaingan inferens AI kini bergantung pada sistem penuh: AMD mencatat keputusan agregat terbesar dengan 512 GPU MI355X, manakala NVIDIA memperkenalkan data pratonton Vera Rubin. Pusingan ini merekodkan 30 organisasi yang menghantar keputusan dan 486 hasil pusat data serta edge,...
Diterbitkan olehDisunting dengan GPT-5.6 TerraImej dijana dengan GPT Image 2
Research answer
Key takeaways
- MLPerf Inference v6.1 memperlihatkan persaingan inferens AI kini bergantung pada sistem penuh: AMD mencatat keputusan agregat terbesar dengan 512 GPU MI355X, manakala NVIDIA memperkenalkan data pratonton Vera Rubin.
- Pusingan ini merekodkan 30 organisasi yang menghantar keputusan dan 486 hasil pusat data serta edge, sambil menambah ujian RAG hujung ke hujung dan inferens AI ejen di edge.
- Bagi pembeli infrastruktur, kemajuan perisian pada perkakasan sedia ada, kebolehulangan prestasi dan kesesuaian untuk penggunaan sebenar sama penting dengan spesifikasi pemecut.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What were the key results and broader implications of MLCommons’ MLPerf Inference v6.1 benchmarks, including AMD’s record-setting MI355X per. Article summary: MLPerf Inference v6.1 showed a more competitive and more deployment-oriented inference market: AMD set aggregate-scale records, NVIDIA demonstrated its next platform while retaining strong Blackwell results, Intel broade. Topic tags: general, documentation, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
MLPerf Inference v6.1 bukan sekadar carta kedudukan untuk satu cip AI. Ia lebih menyerupai gambaran perubahan cara perkhidmatan AI dibina dan dikendalikan. Isyarat paling besar dalam pusingan ini ialah penyerahan AMD Instinct MI355X pada skala luar biasa, data pratonton pertama NVIDIA Vera Rubin, liputan inferens yang lebih meluas daripada Intel, serta ujian baharu untuk retrieval-augmented generation (RAG) dan AI ejen.
Kesimpulannya mudah: unit perbandingan yang berguna kini bukan lagi GPU semata-mata. Ia ialah keseluruhan sistem penyajian AI yang tersedia, menjalankan beban kerja relevan sambil memenuhi keperluan kependaman.
AMD MI355X menekankan nilai skala agregat
Keputusan utama AMD datang daripada konfigurasi Crusoe yang menggunakan 512 GPU Instinct MI355X. Sistem itu mencatat angka daya pemprosesan token agregat terbesar yang dilaporkan dalam pusingan v6.1. 5 Ini penting sebagai demonstrasi skala kerana ia menguji lebih daripada prestasi pemecut: ia turut melibatkan inferens teragih, rangkaian dan penyepaduan sistem merentasi penggunaan yang sangat besar.
Namun, keputusan 512 GPU itu bukan pengisytiharan bahawa satu platform menang untuk semua keadaan. Prestasi agregat sistem sebesar itu tidak wajar dibandingkan terus dengan satu rak atau kelompok lebih kecil tanpa mengambil kira jumlah GPU, model, senario penanda aras dan syarat tahap perkhidmatan.
Daya pemprosesan agregat mungkin ukuran tepat bagi armada inferens besar. Tetapi bagi pelaksanaan tertentu, prestasi setiap pemecut, kepadatan dalam rak, penggunaan kuasa, ketersediaan dan kerumitan operasi mungkin lebih penting.
Mengapa kemajuan ROCm penting secara strategik
Kisah AMD juga berkait rapat dengan perisian. Syarikat itu menonjolkan prestasi MI355X yang lebih tinggi berbanding kitaran MLPerf sebelumnya menggunakan perkakasan yang sama, dengan peningkatan tersebut dikaitkan dengan pengoptimuman ROCm.
Implikasinya jelas: pengkompil, kernel, masa jalan model dan perisian penyajian teragih boleh meningkatkan kapasiti berguna armada sedia ada tanpa perlu menaik taraf perkakasan.
AMD juga komited kepada jadual keluaran ROCm setiap enam minggu. Jika rentak ini menghasilkan penambahbaikan yang berterusan dan boleh digunakan dalam operasi sebenar, kelajuan pembangunan perisian boleh menjadi faktor penting dalam kiraan kos bagi setiap token. Namun begitu, peningkatan MLPerf perlu disahkan mengikut gabungan model, pilihan kuantisasi, kerangka kerja, corak trafik dan sasaran kependaman organisasi sendiri. Keuntungan dalam satu penanda aras tidak semestinya berpindah sepenuhnya ke persekitaran produksi.
NVIDIA menggunakan Vera Rubin untuk menunjukkan potensi platform seterusnya
NVIDIA Vera Rubin NVL72 muncul buat kali pertama dalam MLPerf Inference sebagai penyerahan pratonton. NVIDIA melaporkan daya pemprosesan sehingga 3.7 kali lebih tinggi berbanding GB300 NVL72 pada Qwen3-VL, dan menyatakan bahawa penyerahan GB300 NVL72 dengan 288 GPU mencapai kecekapan penskalaan 99% merentasi empat rak. 2
Syarat pentingnya ialah ketersediaan. Keputusan pratonton berguna untuk menunjukkan arah seni bina dan kematangan perisian, tetapi ia bukan perbandingan pembelian setara dengan sistem yang sudah tersedia secara umum. Saiz kelompok bagi penyerahan pratonton juga berbeza-beza, maka perbandingan setiap GPU atau ukuran lain yang dinormalkan lebih bermakna daripada jumlah daya pemprosesan sistem sahaja. 8
Blackwell dan Blackwell Ultra kekal penting bagi pelaksanaan dalam masa terdekat. Sebagai contoh, CoreWeave melaporkan keputusan teratas dalam kalangan penyedia awan bagi beberapa konfigurasi Blackwell dan Blackwell Ultra untuk beban kerja Qwen3-VL, DeepSeek-R1 dan GPT-OSS-120B. 4
Mesej praktikalnya bukan bahawa ada satu pemenang mutlak. Kapasiti agregat kelompok besar, penyajian pada skala rak, inferens multimodal dan kependaman interaktif boleh memihak kepada konfigurasi yang berlainan.
Intel meluaskan jenis sistem inferens yang diwakili
Penyerahan Intel memperluas keterlihatan inferens menggunakan CPU dan GPU kelas stesen kerja. Nod Arc Pro B70 dengan empat GPU menggabungkan 128 GB VRAM dan menghantar keputusan bagi Llama, GPT-OSS-120B, Whisper serta beban kerja RAG hujung ke hujung yang baharu. Intel turut melaporkan peningkatan berpandukan perisian pada konfigurasi Arc Pro B70 yang sama berbanding pusingan terdahulu. 3
Ini tidak menjadikan Arc Pro pengganti langsung kepada kelompok pemecut berskala pusat data besar. Namun, ia menjadikan MLPerf lebih mewakili organisasi yang menilai pelaksanaan lebih kecil, kos lebih rendah atau lebih fleksibel—terutama apabila kapasiti memori, inferens tempatan atau infrastruktur pelayan sedia ada mempengaruhi keputusan.
Ujian RAG dan AI ejen menjadikan MLPerf lebih dekat dengan realiti pelaksanaan
MLCommons melaporkan rekod 30 organisasi yang membuat penyerahan serta 486 keputusan pusat data dan edge dalam v6.1. Suite ini menambah penanda aras RAG hujung ke hujung untuk pusat data dan penanda aras Edge Agentic Inference, sejajar dengan peralihan daripada arahan model sekali sahaja kepada aplikasi AI berbilang peringkat. 9
Perkembangan ini penting kerana beban kerja ejen membawa kesesakan yang mungkin tidak kelihatan dalam ujian daya pemprosesan token luar talian biasa: interaksi berbilang giliran, penggunaan alat, overhed orkestrasi dan keperluan respons pantas antara langkah. MLCommons menerangkan penanda aras edge itu sebagai mencerminkan tugasan kompleks berbilang giliran seperti pengekodan berasaskan ejen. 9
Ia masih penanda aras terkawal, bukannya gambaran lengkap perkhidmatan produksi langsung. Namun, ujian ini membawa penilaian lebih hampir kepada beban kerja yang cuba digunakan oleh banyak pasukan hari ini.
Apa maknanya jika MLPerf bergerak ke arah Endpoints
MLCommons turut memberi pratonton tentang MLPerf Endpoints sebagai hala tuju berpotensi. Perbezaan utamanya ialah antara penyerahan penanda aras berkala dan prestasi yang boleh diperhatikan daripada endpoint penyajian yang sedang beroperasi.
Program berorientasikan endpoint yang matang berpotensi memberi penekanan lebih besar pada tingkah laku ketika menerima beban, konsistensi kependaman, ketersediaan dan kebolehulangan operasi—bukan hanya keputusan puncak daripada satu larian penanda aras tetap.
Buat masa ini, pembeli perlu melihatnya sebagai arah pengukuran yang sedang berkembang, bukan pengganti muktamad kepada proses penyerahan sedia ada. Keputusan v6.1 sendiri menunjukkan sebab pendekatan ini mungkin bernilai: kualiti pelaksanaan bergantung pada jauh lebih banyak perkara daripada angka maksimum token sesaat.
Pengajaran untuk pembeli: bandingkan keseluruhan susunan, bukan tajuk utama
MLPerf v6.1 memberikan petunjuk kukuh bahawa persaingan inferens dibentuk oleh tiga faktor yang saling berkait: keupayaan pemecut, peningkatan perisian dan penyepaduan sistem.
Penyerahan MI355X berskala besar AMD menunjukkan kepentingan skala. Pratonton Vera Rubin NVIDIA memberi isyarat langkah prestasi seterusnya, sementara Blackwell menyokong pelaksanaan semasa. Keputusan Arc Pro B70 Intel pula meluaskan julat perkakasan yang diwakili. Ujian baharu MLCommons mengakui bahawa RAG dan ejen mempunyai tuntutan prestasi berbeza.
Semasa menilai platform, mulakan dengan beban kerja dan sasaran operasi: model, panjang konteks, keserentakan, SLO kependaman, had kuasa, saiz pelaksanaan dan kos bagi setiap output yang benar-benar berguna. Kemudian bandingkan sistem pada skala serta tahap ketersediaan yang setara. Pendekatan itu jauh lebih berguna daripada menganggap satu tajuk utama MLPerf sebagai jawapan untuk semua keadaan.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "MLPerf Inference v6.1: Perisian, Skala dan AI Ejen Kini Sama Penting dengan Kelajuan GPU"?
MLPerf Inference v6.1 memperlihatkan persaingan inferens AI kini bergantung pada sistem penuh: AMD mencatat keputusan agregat terbesar dengan 512 GPU MI355X, manakala NVIDIA memperkenalkan data pratonton Vera Rubin.
What are the key points to validate first?
MLPerf Inference v6.1 memperlihatkan persaingan inferens AI kini bergantung pada sistem penuh: AMD mencatat keputusan agregat terbesar dengan 512 GPU MI355X, manakala NVIDIA memperkenalkan data pratonton Vera Rubin. Pusingan ini merekodkan 30 organisasi yang menghantar keputusan dan 486 hasil pusat data serta edge, sambil menambah ujian RAG hujung ke hujung dan inferens AI ejen di edge.
What should I do next in practice?
Bagi pembeli infrastruktur, kemajuan perisian pada perkakasan sedia ada, kebolehulangan prestasi dan kesesuaian untuk penggunaan sebenar sama penting dengan spesifikasi pemecut.