JawabanDipublikasikan17 sumber
NVIDIA Klaim Vera Rubin NVL72 Menghasilkan Throughput AI Agentik 30× Lebih Tinggi per Megawatt
NVIDIA melaporkan Vera Rubin NVL72 mencapai throughput inferensi AI agentik hingga 30× lebih tinggi per megawatt dan biaya token hingga 35× lebih rendah dibandingkan GB300 NVL72 dalam pengujian DeepSeek V4 Pro pada be... Perbandingan langsung 30× tersebut adalah dengan GB300 NVL72, bukan Hopper.
Diterbitkan olehDiedit dengan GPT-5.6 LunaGambar dibuat dengan GPT Image 1.5
Jawaban penelitian
Poin-poin penting
- NVIDIA melaporkan Vera Rubin NVL72 mencapai throughput inferensi AI agentik hingga 30× lebih tinggi per megawatt dan biaya token hingga 35× lebih rendah dibandingkan GB300 NVL72 dalam pengujian DeepSeek V4 Pro pada be...
- Perbandingan langsung 30× tersebut adalah dengan GB300 NVL72, bukan Hopper. NVIDIA secara terpisah menyebut GB300 NVL72 dapat mencapai throughput hingga 15× lebih tinggi per megawatt dibandingkan sistem H200 Hopper pa...
- Vera Rubin NVL72 memadukan 72 GPU Rubin dengan 36 CPU Vera, sementara DPU BlueField 4 menangani fungsi infrastruktur seperti jaringan, keamanan, orkestrasi, dan perpindahan data.
AI Perintah
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Nvidia announce about its next-generation Vera Rubin NVL72 platform’s efficiency for agentic AI workloads—including its claimed inf. Article summary: NVIDIA’s headline claim is that Vera Rubin NVL72 can deliver up to 30× higher agentic-inference throughput per megawatt than GB300 NVL72 and reduce cost per token by up to 35×, based on its stated SemiAnalysis AgentX res. Topic tags: general, documentation, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fak
NVIDIA menempatkan Vera Rubin NVL72 sebagai platform infrastruktur AI untuk beban kerja ketika agen tidak hanya menghasilkan jawaban, tetapi juga berulang kali membuat token, memanggil alat, menjalankan kode, dan membangun konteks baru. Dalam hasil yang dipublikasikan NVIDIA, sistem ini menghasilkan throughput hingga 30× lebih tinggi per megawatt dibandingkan GB300 NVL72 serta memangkas biaya token hingga 35× dalam pengujian AgentX menggunakan DeepSeek V4 Pro.
Angka tersebut memang besar, tetapi perlu dibaca dengan hati-hati. Bukti yang tersedia belum mencantumkan harga dolar spesifik per satu juta token untuk Vera Rubin dan belum menunjukkan verifikasi independen dengan kondisi uji yang benar-benar setara.
Klaim utama NVIDIA
Perbandingan yang disampaikan NVIDIA adalah sebagai berikut:
- Throughput AI agentik hingga 30× lebih tinggi per megawatt dibandingkan GB300 NVL72.
- Biaya per token hingga 35× lebih rendah dibandingkan GB300 NVL72.
- Pengujian menggunakan model DeepSeek V4 Pro pada beban kerja SemiAnalysis AgentX.
AgentX dirancang untuk menguji agentic coding, bukan sekadar sesi tanya-jawab singkat. Beban kerja ini memutar ulang sesi pengodean bergaya produksi yang mencakup pertumbuhan konteks, pemanggilan alat, serta pembuatan subagen. 6
Perbedaan ini penting. Dalam satu tugas, agen bisa menghasilkan jawaban, memeriksa hasilnya, memanggil alat eksternal, menjalankan kode, membuat tugas lanjutan, lalu meneruskan penalaran dengan konteks yang jauh lebih besar. Infrastruktur pun harus menangani lebih dari sekadar respons awal model. Bebannya merambat ke memori, jaringan, CPU, penyimpanan, dan konsumsi daya.
Bukan berarti 450× dibandingkan Hopper
Klaim 30× membandingkan Vera Rubin NVL72 secara langsung dengan GB300 NVL72, bukan dengan Hopper. Dalam materi terkait AgentX, NVIDIA secara terpisah menyebut GB300 NVL72 memberikan throughput hingga 15× lebih tinggi per megawatt dibandingkan sistem H200 berbasis arsitektur Hopper saat menjalankan DeepSeek V4 Pro.
Angka itu memberi gambaran tentang perkembangan antargenerasi, tetapi tidak boleh dikalikan menjadi klaim tunggal 450×. Keduanya adalah perbandingan terpisah dengan angka maksimum “hingga”, dan materi yang tersedia tidak memberikan satu tabel pengujian terpadu yang membandingkan Vera Rubin, GB300, dan Hopper dalam kondisi identik.
Batasan yang sama berlaku untuk biaya. Bukti yang ada mendukung klaim NVIDIA tentang pengurangan maksimum 35× dibandingkan GB300, tetapi tidak menyediakan harga Vera Rubin dalam dolar per satu juta token maupun angka biaya spesifik Vera Rubin versus Hopper.
Isi platform Vera Rubin NVL72
NVL72 adalah sistem berskala rak yang menggabungkan 72 GPU Rubin dan 36 CPU Vera, dilengkapi ConnectX-9 SuperNIC serta BlueField-4 DPU. NVIDIA menyebut NVLink 6 sebagai fabric untuk koneksi scale-up, sedangkan Quantum-X800 InfiniBand dan Spectrum-X Ethernet digunakan untuk koneksi scale-out. 2
3
Desain ini memperlakukan satu rak sebagai sistem komputasi yang terintegrasi erat, bukan sekumpulan server akselerator yang berdiri sendiri. Pendekatan tersebut relevan untuk beban kerja agentik karena kinerja tidak hanya ditentukan oleh akselerator, tetapi juga oleh koordinasi eksekusi CPU, jaringan, penyimpanan, dan pasokan data ke GPU.
Mengapa CPU Vera penting bagi AI agentik
Vera merupakan CPU 88 inti yang menggunakan core Olympus rancangan NVIDIA, teknologi Spatial Multithreading, serta memori LPDDR5X dengan bandwidth hingga 1,2 TB/s. NVIDIA mengklaim Vera dapat menyelesaikan tugas hingga 1,8× lebih cepat dibandingkan CPU x86 pada sejumlah beban kerja, termasuk AI agentik, reinforcement learning, dan pemrosesan data. 1
5
Perannya bukan hanya menjalankan sistem operasi host biasa. Vera ditujukan untuk menangani pekerjaan di sekitar inferensi model, antara lain:
- Penggunaan alat
- Eksekusi kode
- Sandboxing dan orkestrasi
- Pemrosesan serta analitik data
- Simulasi dan beban kerja reinforcement learning
Dengan mempercepat pekerjaan tersebut, NVIDIA berupaya menjaga GPU tetap fokus pada inferensi sekaligus mengurangi hambatan pada rangkaian kerja agen. 1
5
9
BlueField-4 dan lapisan infrastruktur “Scale-In”
BlueField-4 adalah komponen NVIDIA untuk pemrosesan infrastruktur. DPU ini menggabungkan CPU Grace 64 inti, memori LPDDR5X, dan konektivitas ConnectX-9 hingga 800 Gb/s. 1
NVIDIA menyatakan BlueField-4 memindahkan fungsi seperti kontrol, keamanan, perpindahan data, dan orkestrasi dari CPU host serta GPU. Dengan model ini, DPU berperan sebagai lapisan infrastruktur yang membantu menjaga operasi tetap terisolasi, aman, dan dapat diprediksi dalam skala AI factory. 1
Inilah dasar pendekatan “Scale-In” NVIDIA: efisiensi tidak hanya ditentukan oleh chip GPU. Komunikasi, penyimpanan, penjadwalan, dan keamanan juga harus dikelola secara efisien agar kapasitas akselerator tidak tersita untuk pekerjaan pendukung.
Peran DSX MaxLPS
DSX MaxLPS merupakan perangkat lunak dalam pendekatan AI factory NVIDIA DSX, bukan GPU atau CPU Vera Rubin yang terpisah. NVIDIA menjelaskannya sebagai rangkaian teknologi untuk memaksimalkan kinerja token per megawatt dalam batas daya tertentu. Pendekatan ini menggabungkan pendinginan cair dan optimalisasi di dalam rak agar operator dapat menjalankan lebih banyak GPU di sekitar titik operasi yang paling hemat energi.
Karena itu, DSX MaxLPS berkaitan dengan klaim efisiensi 30×. Metrik tersebut diukur pada tingkat AI factory, tempat pendinginan, konfigurasi rak, dan perangkat lunak infrastruktur dapat memengaruhi jumlah token yang dihasilkan untuk setiap unit daya. Namun, bukti yang tersedia belum menjelaskan secara terpisah berapa bagian peningkatan itu berasal dari silikon, tumpukan perangkat lunak, konfigurasi pengujian, atau gabungan semuanya.
Rencana penerapan SpaceXAI
NVIDIA dan SpaceXAI menyatakan bahwa SpaceXAI berencana menggunakan CPU Vera untuk generasi berikutnya beban kerja AI agentik serta memperluas infrastruktur di balik Grok dengan Vera Rubin. 4
5
Kedua perusahaan juga menyampaikan rencana untuk mengembangkan sistem Vera Rubin NVL72 yang telah dioptimalkan agar dapat ditempatkan di orbit sebagai bagian dari satelit AI Starmind generasi pertama. 4
Pernyataan tersebut masih berupa rencana penerapan. Itu bukan bukti bahwa sistem berbasis NVL72 di orbit sudah diluncurkan atau mulai beroperasi.
Kesimpulan bagi pembeli infrastruktur AI
Pentingnya Vera Rubin NVL72 terletak pada upaya NVIDIA mengukur infrastruktur berdasarkan cara kerja agen dalam praktik: sesi panjang dan berulang yang mengonsumsi konteks besar serta melibatkan alat, kode, dan subagen. Pada beban kerja itu, NVIDIA melaporkan throughput hingga 30× lebih tinggi per megawatt dan biaya token hingga 35× lebih rendah dibandingkan GB300 NVL72.
Bagi pembeli dan tim infrastruktur, pertanyaan utamanya bukan sekadar apakah pengali tersebut terdengar besar. Yang lebih penting adalah apakah hasilnya tetap berlaku pada model, target latensi, panjang konteks, tingkat konkurensi, batas daya, dan asumsi total biaya mereka sendiri. Bukti yang tersedia menguatkan klaim NVIDIA beserta arsitektur di belakangnya, tetapi belum memberikan putusan independen final.
Studio Global AI
Lanjutkan penelitian Anda
Halaman ini berisi jawaban yang didukung sumber yang dapat Anda lanjutkan di dalam Studio Global.
Orang-orang juga bertanya
Apa jawaban singkat untuk "NVIDIA Klaim Vera Rubin NVL72 Menghasilkan Throughput AI Agentik 30× Lebih Tinggi per Megawatt"?
NVIDIA melaporkan Vera Rubin NVL72 mencapai throughput inferensi AI agentik hingga 30× lebih tinggi per megawatt dan biaya token hingga 35× lebih rendah dibandingkan GB300 NVL72 dalam pengujian DeepSeek V4 Pro pada be...
Apa poin penting yang harus divalidasi terlebih dahulu?
NVIDIA melaporkan Vera Rubin NVL72 mencapai throughput inferensi AI agentik hingga 30× lebih tinggi per megawatt dan biaya token hingga 35× lebih rendah dibandingkan GB300 NVL72 dalam pengujian DeepSeek V4 Pro pada be... Perbandingan langsung 30× tersebut adalah dengan GB300 NVL72, bukan Hopper. NVIDIA secara terpisah menyebut GB300 NVL72 dapat mencapai throughput hingga 15× lebih tinggi per megawatt dibandingkan sistem H200 Hopper pa...
Apa yang harus saya lakukan selanjutnya dalam latihan?
Vera Rubin NVL72 memadukan 72 GPU Rubin dengan 36 CPU Vera, sementara DPU BlueField 4 menangani fungsi infrastruktur seperti jaringan, keamanan, orkestrasi, dan perpindahan data.