Nvidia Pimpin Pasar Agen AI: Benchmark AgentPerf Buktikan Dominasi Blackwell Ultra

Dominasi Nvidia: 20x Lebih Efisien

Hasilnya? Keunggulan Nvidia sangat telak. Platform rakitan teranyar mereka, Nvidia GB300 NVL72 dengan arsitektur Blackwell Ultra, berhasil menyalip semua platform lain dalam pengujian menggunakan model DeepSeek V4 Pro. Model ini adalah model mixture-of-experts (MoE) besar yang mewakili kelas model agen AI frontier canggih .

Jika dibandingkan dengan sistem Nvidia HGX H200 (arsitektur Hopper) generasi sebelumnya, lompatan efisiensinya sangat signifikan:

• Hingga 20 kali lipat lebih banyak agen AI per megawatt, baik pada tingkatan SLO 20 token per detik maupun 60 token per detik .
• Angka mentahnya lebih mencengangkan lagi. Pada tingkatan SLO termudah (20 token/detik, time-to-first-token 10 detik), konfigurasi rakitan (rack-scale disaggregated) GB300 NVL72 sanggup menangani 61.340 agen secara bersamaan, seperti yang diungkapkan Artificial Analysis melalui media sosial mereka .

Untuk gambaran lebih jelas, berikut perbandingan performanya:

Strategi Besar Nvidia: Menuju Kemandirian AI

Hasil gemilang ini bukanlah kejutan tanpa sebab. Ini adalah bagian dari kampanye agresif Nvidia untuk memposisikan platform Blackwell Ultra sebagai fondasi utama bagi era agen AI berskala besar. Beberapa pilar strategi mereka terlihat jelas:

1. Cerita Optimasi Full-Stack. Nvidia mengklaim peningkatan 20x lipat ini bukan hanya berkat perangkat keras baru, tetapi hasil dari desain bersama (co-design) yang ekstrem: teknologi NVLink yang menghubungkan 72 GPU menjadi satu sistem tunggal, kernel CUDA yang mampu menumpang-tindihkan komunikasi dan komputasi untuk model MoE, serta pustaka TensorRT LLM (seperti WideEP/DeepEP, DeepGEMM, dan fused MoE) yang menjaga efisiensi tetap tinggi seiring bertambahnya jumlah agen .

2. Dominasi di Semua Lini Benchmark. AgentPerf hanyalah tambahan terbaru dalam portofolio benchmark Nvidia. Sebelumnya, Blackwell Ultra sudah memecahkan rekor di MLPerf Inference v5.1 (1,4x throughput DeepSeek-R1 dibandingkan Blackwell generasi pertama) dan menyapu bersih tujuh benchmark di MLPerf Training v5.1 .

3. Bukti di Dunia Nyata. Nvidia menekankan bahwa mitra mereka, seperti Together AI (yang menggerakkan fitur kode agen di aplikasi Cursor) dan DeepInfra (yang mendukung tenaga kerja AI Pam.ai), sudah menggunakan infrastruktur Blackwell untuk beban kerja agen nyata. Ini adalah sinyal kuat bahwa perangkat ini bukan sekadar jawara benchmark, tetapi sudah siap pakai untuk produksi .

4. Peta Jalan Masa Depan. Di akhir pengumuman, Nvidia sudah melirik ke depan. Mereka secara eksplisit menyebutkan arsitektur generasi berikutnya, Vera Rubin (yang saat berita ini dirilis sudah dalam tahap produksi), sebagai langkah evolusi selanjutnya untuk menyediakan kapasitas agen AI yang lebih besar lagi .