JawabanDipublikasikan16 sumber
MLPerf Inference v6.1: Perangkat Lunak, Skala, dan AI Agentik Kini Sama Pentingnya dengan Kecepatan GPU
AMD mencatat throughput token agregat terbesar lewat konfigurasi 512 GPU Instinct MI355X, tetapi angka tersebut perlu dibandingkan pada skala, model, dan skenario layanan yang setara. NVIDIA memperkenalkan hasil pratinjau Vera Rubin NVL72 hingga 3,7 kali throughput GB300 NVL72 pada Qwen3 VL, sementara Blackwell teta...
Diterbitkan olehDiedit dengan GPT-5.6 TerraGambar dibuat dengan GPT Image 2
Jawaban penelitian
Poin-poin penting
- AMD mencatat throughput token agregat terbesar lewat konfigurasi 512 GPU Instinct MI355X, tetapi angka tersebut perlu dibandingkan pada skala, model, dan skenario layanan yang setara.
- NVIDIA memperkenalkan hasil pratinjau Vera Rubin NVL72 hingga 3,7 kali throughput GB300 NVL72 pada Qwen3 VL, sementara Blackwell tetap penting untuk implementasi saat ini.
- MLPerf menambahkan pengujian RAG menyeluruh dan inferensi agentik di edge, menandakan pergeseran dari pengukuran model tunggal ke aplikasi AI bertahap.
AI Perintah
openai.comCreate a landscape editorial hero image for this Studio Global article: What were the key results and broader implications of MLCommons’ MLPerf Inference v6.1 benchmarks, including AMD’s record-setting MI355X per. Article summary: MLPerf Inference v6.1 showed a more competitive and more deployment-oriented inference market: AMD set aggregate-scale records, NVIDIA demonstrated its next platform while retaining strong Blackwell results, Intel broade. Topic tags: general, documentation, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
MLPerf Inference v6.1 bukan sekadar papan peringkat untuk satu jenis cip AI. Putaran benchmark ini lebih tepat dibaca sebagai gambaran perubahan cara sistem AI melayani aplikasi: AMD memamerkan skala besar MI355X, NVIDIA membawa data pratinjau pertama Vera Rubin, Intel memperluas representasi sistem inferensi yang lebih mudah diakses, dan MLCommons menambahkan pengujian untuk retrieval-augmented generation (RAG) serta agen AI.
Pesan utamanya sederhana: unit perbandingan yang relevan kini bukan hanya GPU, melainkan sistem penyajian AI lengkap yang tersedia, menjalankan beban kerja yang relevan, dan memenuhi batas latensi yang dipersyaratkan.
AMD: skala agregat MI355X menjadi sorotan
Hasil utama AMD datang dari konfigurasi Crusoe dengan 512 GPU Instinct MI355X, yang mencatat angka throughput token agregat terbesar dalam putaran v6.1. 5 Ini merupakan demonstrasi penting pada skala besar karena yang diuji bukan hanya kemampuan akselerator, melainkan juga inferensi terdistribusi, jaringan, dan integrasi sistem di lingkungan yang sangat besar.
Namun, hasil itu bukan otomatis vonis bahwa satu platform unggul di semua kondisi. Konfigurasi 512 GPU tidak bisa dibandingkan mentah-mentah dengan satu rak atau klaster yang lebih kecil. Perbandingan harus dinormalisasi berdasarkan jumlah GPU, model, skenario benchmark, dan target layanan seperti latensi. Throughput agregat memang relevan bagi armada inferensi skala besar, tetapi throughput per akselerator, kepadatan per rak, konsumsi daya, ketersediaan, serta kerumitan operasional bisa lebih menentukan untuk kebutuhan tertentu.
ROCm menegaskan pentingnya perangkat lunak
Kisah AMD juga merupakan kisah perangkat lunak. Perusahaan tersebut menyoroti peningkatan performa pada perangkat keras MI355X yang sama dibandingkan putaran MLPerf sebelumnya, yang dikaitkan dengan optimasi ROCm. Implikasinya jelas: compiler, kernel, runtime model, dan perangkat lunak untuk penyajian terdistribusi dapat meningkatkan kapasitas praktis armada yang sudah terpasang tanpa harus mengganti perangkat keras.
AMD juga berkomitmen pada jadwal rilis ROCm setiap enam minggu. Bila ritme tersebut menghasilkan peningkatan yang konsisten dan siap dipakai di produksi, kecepatan pengembangan perangkat lunak dapat menjadi bagian nyata dari perhitungan biaya per token. Meski begitu, hasil MLPerf tetap perlu diuji pada kombinasi model, kuantisasi, framework, pola trafik, dan target latensi milik masing-masing pengguna. Kenaikan pada satu benchmark tidak selalu berpindah satu banding satu ke layanan produksi.
NVIDIA: Vera Rubin memberi sinyal generasi berikutnya
Vera Rubin NVL72 dari NVIDIA tampil pertama kali di MLPerf Inference sebagai sistem pratinjau. NVIDIA melaporkan throughput hingga 3,7 kali lebih tinggi dibandingkan GB300 NVL72 pada Qwen3-VL. Perusahaan itu juga menyebut konfigurasi 288 GPU GB300 NVL72 di empat rak mencapai efisiensi penskalaan 99%. 2
Kata kuncinya adalah ketersediaan. Hasil pratinjau berguna untuk menunjukkan arah arsitektur dan kematangan perangkat lunak, tetapi belum otomatis menjadi perbandingan pembelian yang setara dengan sistem yang telah tersedia secara umum. Ukuran klaster pada submission pratinjau juga berbeda-beda, sehingga metrik per GPU atau metrik lain yang telah dinormalisasi lebih informatif daripada throughput total sistem semata. 8
Blackwell dan Blackwell Ultra tetap menjadi bagian utama dari gambaran implementasi jangka dekat. CoreWeave, misalnya, melaporkan hasil penyedia cloud terdepan pada sejumlah konfigurasi Blackwell dan Blackwell Ultra untuk beban kerja Qwen3-VL, DeepSeek-R1, dan GPT-OSS-120B. 4 Artinya, tidak ada satu pemenang untuk semua kebutuhan: kapasitas agregat klaster besar, penyajian pada skala rak, inferensi multimodal, dan latensi interaktif dapat menguntungkan konfigurasi yang berbeda.
Intel memperluas cakupan sistem inferensi
Submission Intel memperbesar visibilitas inferensi berbasis CPU dan GPU kelas workstation. Node empat-GPU Arc Pro B70 miliknya menggabungkan VRAM 128 GB dan mengirimkan hasil untuk Llama, GPT-OSS-120B, Whisper, serta beban kerja RAG ujung ke ujung yang baru. Intel juga melaporkan peningkatan berbasis perangkat lunak pada konfigurasi Arc Pro B70 yang sama dibandingkan putaran sebelumnya. 3
Hal ini tidak menjadikan Arc Pro pengganti langsung untuk klaster akselerator hyperscale. Namun, kehadirannya membuat benchmark lebih mewakili organisasi yang menilai implementasi lebih kecil, berbiaya lebih rendah, atau lebih fleksibel—terutama ketika kapasitas memori, inferensi lokal, atau infrastruktur server yang sudah ada menjadi pertimbangan utama.
RAG dan agen AI membuat benchmark lebih dekat ke praktik implementasi
MLCommons melaporkan rekor 30 organisasi pengirim hasil dan 486 hasil untuk datacenter serta edge pada v6.1. Suite ini menambahkan benchmark RAG datacenter secara ujung ke ujung dan benchmark Edge Agentic Inference, sejalan dengan peralihan dari prompt model satu kali ke aplikasi AI yang terdiri dari beberapa tahap. 9
Penambahan tersebut penting karena beban kerja agentik dapat memunculkan hambatan yang tidak terlihat pada pengujian throughput token offline biasa: interaksi multi-putaran, penggunaan alat, overhead orkestrasi, dan kebutuhan respons cepat di antara setiap langkah. MLCommons menggambarkan benchmark edge itu sebagai cerminan tugas kompleks multi-putaran, seperti pemrograman agentik. 9
Tetap saja, benchmark ini adalah pengujian terkontrol, bukan representasi lengkap dari layanan produksi langsung. Namun, arahnya membawa evaluasi lebih dekat ke jenis aplikasi yang kini banyak ingin diterapkan oleh tim pengembang dan perusahaan.
Arah potensial menuju MLPerf Endpoints
MLCommons juga memberi pratinjau MLPerf Endpoints sebagai kemungkinan arah berikutnya. Perbedaannya penting: submission benchmark berkala mengukur hasil dalam satu putaran tertentu, sedangkan pendekatan endpoint dapat lebih menyoroti performa yang dapat diamati dari layanan inferensi yang benar-benar berjalan.
Jika program semacam ini matang, fokusnya berpotensi meluas ke perilaku saat sistem dibebani, konsistensi latensi, ketersediaan, dan kemampuan operasi yang dapat diulang—bukan hanya hasil puncak dari satu eksekusi benchmark. Untuk saat ini, pembeli sebaiknya melihatnya sebagai arah pengukuran yang sedang berkembang, bukan pengganti final bagi proses submission yang ada.
Pelajaran untuk pembeli: bandingkan seluruh stack
MLPerf v6.1 memperlihatkan bahwa persaingan inferensi AI dibentuk oleh tiga unsur yang saling terkait: kemampuan akselerator, kemajuan perangkat lunak, dan integrasi sistem. MI355X skala besar dari AMD menonjolkan arti skala; Vera Rubin memberi sinyal lompatan performa berikutnya, sementara Blackwell menangani implementasi saat ini; Arc Pro B70 dari Intel memperluas ragam perangkat keras yang diwakili; dan pengujian baru MLCommons mengakui bahwa RAG serta agen AI menciptakan tuntutan performa yang berbeda.
Saat mengevaluasi platform, mulailah dari beban kerja dan target operasi: model, panjang konteks, jumlah pengguna serentak, SLO latensi, batas daya, ukuran implementasi, dan biaya per keluaran yang benar-benar berguna. Setelah itu, bandingkan sistem pada skala dan status ketersediaan yang setara. Pendekatan tersebut jauh lebih berguna daripada menganggap satu judul besar MLPerf sebagai jawaban universal.
Studio Global AI
Lanjutkan penelitian Anda
Halaman ini berisi jawaban yang didukung sumber yang dapat Anda lanjutkan di dalam Studio Global.
Orang-orang juga bertanya
Apa jawaban singkat untuk "MLPerf Inference v6.1: Perangkat Lunak, Skala, dan AI Agentik Kini Sama Pentingnya dengan Kecepatan GPU"?
AMD mencatat throughput token agregat terbesar lewat konfigurasi 512 GPU Instinct MI355X, tetapi angka tersebut perlu dibandingkan pada skala, model, dan skenario layanan yang setara.
Apa poin penting yang harus divalidasi terlebih dahulu?
AMD mencatat throughput token agregat terbesar lewat konfigurasi 512 GPU Instinct MI355X, tetapi angka tersebut perlu dibandingkan pada skala, model, dan skenario layanan yang setara. NVIDIA memperkenalkan hasil pratinjau Vera Rubin NVL72 hingga 3,7 kali throughput GB300 NVL72 pada Qwen3 VL, sementara Blackwell tetap penting untuk implementasi saat ini.
Apa yang harus saya lakukan selanjutnya dalam latihan?
MLPerf menambahkan pengujian RAG menyeluruh dan inferensi agentik di edge, menandakan pergeseran dari pengukuran model tunggal ke aplikasi AI bertahap.