Keputusan Cemerlang Nvidia

• Nvidia GB300 NVL72 (Blackwell Ultra) memberikan prestasi tertinggi dalam kalangan semua platform yang diuji menggunakan beban kerja model DeepSeek V4 Pro, model campuran-pakar (MoE) besar yang mewakili AI ejen perintis .
• Sehingga 20 kali lebih banyak ejen serentak per megawatt berbanding sistem Nvidia HGX H200 (Hopper) generasi sebelumnya, pada kedua-dua peringkat SLO 20 token/s dan 60 token/s .
• Angka pengeluaran mentah daripada hantaran sosial Artificial Analysis menunjukkan konfigurasi terurai skala rak GB300 mencapai 61,340 ejen serentak pada peringkat SLO yang paling mudah (20 token/s, 10s TTFT) .

Bagaimana Pencapaian Ini Sesuai dengan Strategi Lebih Luas Nvidia

Keputusan ini adalah sebahagian daripada usaha terancang dan pelbagai sudut untuk meletakkan Blackwell Ultra sebagai platform muktamad untuk AI ejen secara besar-besaran:

• Naratif pengoptimuman sepenuh tindanan. Nvidia mengaitkan peningkatan 20 kali ganda ini kepada reka bentuk bersama yang ekstrem: skala naik NVLink yang menghubungkan 72 GPU menjadi satu fabrik, kernel CUDA yang menindih komunikasi dan pengiraan untuk model MoE, serta pengoptimuman TensorRT LLM (WideEP/DeepEP, DeepGEMM, MoE bersatu) yang mengekalkan kecekapan apabila sesi ejen serentak meningkat .
• Meluaskan dominasi dalam penanda aras. AgentPerf menambah dimensi beban kerja ejen kepada siri kemenangan Nvidia yang sedia ada dalam penanda aras MLPerf Inference dan Training tradisional dengan Blackwell Ultra, di mana ia telah mencipta rekod dalam MLPerf Inference v5.1 dan menyapu bersih semua tujuh penanda aras MLPerf Training v5.1 .
• Bukti kukuh kepada ekosistem. Nvidia menekankan bahawa rakan kongsi seperti Together AI (yang menggerakkan pengekodan ejen Cursor) dan DeepInfra (yang menggerakkan tenaga kerja AI Pam.ai) sudah pun menjalankan beban kerja ejen pada Blackwell, meletakkan perkakasan ini sebagai sedia pengeluaran, bukan sekadar kukuh dalam penanda aras .
• Pelan hala tuju ke hadapan. Blog tersebut secara jelas memberi bayangan tentang seni bina Vera Rubin generasi akan datang (kini dalam pengeluaran) sebagai langkah seterusnya untuk kapasiti AI ejen, dan nota teknikal mendalam menyatakan unjuran peningkatan daripada 50 PFLOP pengiraan NVFP4 dan pecutan panggilan alat LLM yang dipertingkatkan .

Keputusan Cemerlang Nvidia

• Nvidia GB300 NVL72 (Blackwell Ultra) memberikan prestasi tertinggi dalam kalangan semua platform yang diuji menggunakan beban kerja model DeepSeek V4 Pro, model campuran-pakar (MoE) besar yang mewakili AI ejen perintis .
• Sehingga 20 kali lebih banyak ejen serentak per megawatt berbanding sistem Nvidia HGX H200 (Hopper) generasi sebelumnya, pada kedua-dua peringkat SLO 20 token/s dan 60 token/s .
• Angka pengeluaran mentah daripada hantaran sosial Artificial Analysis menunjukkan konfigurasi terurai skala rak GB300 mencapai 61,340 ejen serentak pada peringkat SLO yang paling mudah (20 token/s, 10s TTFT) .

Bagaimana Pencapaian Ini Sesuai dengan Strategi Lebih Luas Nvidia

Keputusan ini adalah sebahagian daripada usaha terancang dan pelbagai sudut untuk meletakkan Blackwell Ultra sebagai platform muktamad untuk AI ejen secara besar-besaran:

• Naratif pengoptimuman sepenuh tindanan. Nvidia mengaitkan peningkatan 20 kali ganda ini kepada reka bentuk bersama yang ekstrem: skala naik NVLink yang menghubungkan 72 GPU menjadi satu fabrik, kernel CUDA yang menindih komunikasi dan pengiraan untuk model MoE, serta pengoptimuman TensorRT LLM (WideEP/DeepEP, DeepGEMM, MoE bersatu) yang mengekalkan kecekapan apabila sesi ejen serentak meningkat .
• Meluaskan dominasi dalam penanda aras. AgentPerf menambah dimensi beban kerja ejen kepada siri kemenangan Nvidia yang sedia ada dalam penanda aras MLPerf Inference dan Training tradisional dengan Blackwell Ultra, di mana ia telah mencipta rekod dalam MLPerf Inference v5.1 dan menyapu bersih semua tujuh penanda aras MLPerf Training v5.1 .
• Bukti kukuh kepada ekosistem. Nvidia menekankan bahawa rakan kongsi seperti Together AI (yang menggerakkan pengekodan ejen Cursor) dan DeepInfra (yang menggerakkan tenaga kerja AI Pam.ai) sudah pun menjalankan beban kerja ejen pada Blackwell, meletakkan perkakasan ini sebagai sedia pengeluaran, bukan sekadar kukuh dalam penanda aras .
• Pelan hala tuju ke hadapan. Blog tersebut secara jelas memberi bayangan tentang seni bina Vera Rubin generasi akan datang (kini dalam pengeluaran) sebagai langkah seterusnya untuk kapasiti AI ejen, dan nota teknikal mendalam menyatakan unjuran peningkatan daripada 50 PFLOP pengiraan NVFP4 dan pecutan panggilan alat LLM yang dipertingkatkan .