Nvidia Geser Fokus AI Factory: Bukan Sekadar GPU Lebih Banyak, tapi Token Lebih Banyak per Megawatt

Kapasitas infrastruktur AI makin sering dibatasi oleh pasokan listrik, bukan semata oleh jumlah akselerator yang dapat dipasang dalam satu rak. Pada hari pembukaan AI Infra Summit 2026 di Santa Clara, Nvidia mengajukan metrik baru untuk menilai sebuah AI factory: token agentik per megawatt—yakni seberapa banyak pekerjaan inferensi yang berguna dapat dihasilkan fasilitas dalam batas daya yang tersedia. 23

Pesan Ian Buck, wakil presiden hyperscale dan komputasi berkinerja tinggi Nvidia, lebih luas daripada peningkatan performa GPU. Menurut Nvidia, AI factory memerlukan orkestrasi terpadu antara komputasi, jaringan, perangkat lunak inferensi, pendinginan, pengendalian daya, hingga operasi yang peka terhadap kondisi jaringan listrik. 123

Bukti awal dari Lambda: 19 node dengan anggaran daya 16 node

Hasil paling konkret datang dari penyedia cloud AI Lambda, yang menjalankan validasi pertama DSX MaxLPS Nvidia dalam lingkungan penerapan pada server GPU HGX B200. Nvidia menjelaskan DSX MaxLPS memantau konsumsi daya GPU dan rak, lalu mendistribusikan kembali ruang daya (headroom) yang belum terpakai di antara node. 23

Dalam klaster lima rak berisi 19 node, Lambda mengoperasikan 19 node dengan anggaran daya yang biasanya hanya cukup untuk 16 node pada daya penuh. Hasil yang dilaporkan: throughput token klaster naik 24%, dari sekitar 4 juta menjadi 5 juta token per detik, serta performa per watt meningkat 23%. 23

Nilai utamanya bersifat operasional. Kapasitas pusat data kerap ditentukan oleh daya listrik yang benar-benar dapat dipasok ke lokasi. Ketika profil konsumsi daya tiap beban kerja berubah-ubah, perangkat lunak yang memanfaatkan ruang daya menganggur berpotensi menaikkan output tanpa harus menambah sambungan listrik atau menaikkan anggaran daya fasilitas.

Klaim Vera Rubin masih berupa proyeksi

Nvidia juga memaparkan potensi keuntungan untuk penerapan Vera Rubin NVL72 di masa depan. Perusahaan menyebut DSX MaxLPS dapat memungkinkan hingga 40% kapasitas GPU tambahan dalam batas daya lokasi yang sama dan hingga 35% throughput token lebih tinggi, bergantung pada kondisi penerapan. 23

Angka tersebut perlu dibaca berbeda dari hasil Lambda berbasis Blackwell. Pengukuran Lambda adalah hasil validasi yang dilaporkan dalam lingkungan penerapan, sedangkan angka Vera Rubin merupakan proyeksi Nvidia untuk platform masa depan. 23

AI factory yang dapat merespons kondisi jaringan listrik

Tema besar kedua Nvidia adalah fleksibilitas. AI factory, menurut pendekatan ini, perlu bisa merespons kondisi jaringan listrik tanpa menganggap semua beban kerja memiliki tingkat urgensi yang sama.

Di AI factory Eos milik Nvidia, platform Conductor dari Emerald AI bekerja bersama Silicon Valley Power dalam program beban fleksibel berskala komersial. Nvidia melaporkan sistem itu merespons lebih dari 200 sinyal permintaan dari utilitas listrik dan, dalam satu demonstrasi, menurunkan konsumsi fasilitas dari 4 MW menjadi 3 MW dalam waktu kurang dari satu menit. Caranya adalah menurunkan prioritas pekerjaan komputasi yang fleksibel, sambil membiarkan inferensi berprioritas tinggi terus berjalan. 23

Nvidia memosisikan program tersebut sebagai contoh awal kemampuan yang direncanakan untuk DSX Flex. Teknologi ini dirancang untuk menerima sinyal pengurangan beban, respons permintaan, dan harga listrik; kemudian menerapkan prioritas beban kerja agar pekerjaan yang dapat ditunda bisa dihentikan sementara dan dilanjutkan kembali, tanpa mengganggu layanan penting. Demonstrasi Eos sendiri adalah pembuktian skala komersial yang lebih awal, bukan instalasi DSX Flex. 23

Bagi operator pusat data, pendekatan ini relevan karena pelatihan model, pemrosesan batch, atau pekerjaan offline tidak selalu membutuhkan respons secepat layanan inferensi produksi. Dengan memperlakukan sebagian komputasi sebagai beban fleksibel, fasilitas dapat berpartisipasi dalam program jaringan listrik sambil tetap melindungi pekerjaan yang paling bernilai.

Ambisi platform menyeluruh, dari silikon hingga operasi

Pengumuman di konferensi tersebut menampilkan Nvidia bukan hanya sebagai pemasok komponen, melainkan penyedia platform AI factory. Tumpukan teknologinya mencakup komputasi Vera Rubin, jaringan scale-up NVLink, perangkat lunak inferensi Dynamo, jaringan Ethernet dan SuperNIC, komponen infrastruktur BlueField, optimasi daya tingkat rak, serta operasi beban kerja yang sadar kondisi jaringan listrik. 2

Groq 3 LPX menjadi bagian dari strategi tersebut. Nvidia menggambarkannya sebagai akselerator inferensi interaktif untuk Vera Rubin, yang ditujukan bagi kebutuhan latensi rendah dan konteks besar pada sistem AI agentik. 112 Bukti yang tersedia mendukung peran itu, tetapi belum secara independen membuktikan klaim yang lebih spesifik mengenai jadwal rilis, perbandingan throughput per megawatt 35 kali, atau performa untuk model dengan lebih dari dua triliun parameter.

Mengapa strategi ini penting bagi bisnis Nvidia

Pesan soal infrastruktur ini datang ketika bisnis pusat data Nvidia terus bertumbuh. Pada kuartal II tahun fiskal 2027 yang berakhir 26 Juli 2026, Nvidia membukukan pendapatan US$96,2 miliar, naik 106% secara tahunan, termasuk pendapatan Data Center sebesar US$89,0 miliar. 17 Untuk kuartal III, perusahaan memberi panduan pendapatan US$108 miliar, plus atau minus 2%. 2830

Konteks keuangan tersebut menjelaskan mengapa Nvidia menaruh perhatian besar pada operasi berskala pabrik. Ketika pelanggan memasang kapasitas AI yang lebih besar, persoalan praktisnya bukan lagi hanya memperoleh GPU: mereka juga harus mendapatkan listrik, meningkatkan output dalam batas daya tetap, serta menjaga layanan inferensi saat terjadi gangguan daya maupun operasional.

Intinya

Nvidia tidak mengatakan performa mentah akselerator sudah tidak penting. Namun, performa puncak saja dinilai tidak lagi cukup untuk menentukan ekonomi sebuah AI factory.

Metrik yang diajukan perusahaan—token tervalidasi per megawatt—menghubungkan performa perangkat keras dengan kendala nyata di lapangan: daya lokasi, peristiwa pada jaringan listrik, prioritas beban kerja, dan ketersediaan sistem. Kenaikan throughput 24% yang dilaporkan Lambda menjadi titik data awal dari penerapan strategi tersebut. Sementara itu, klaim Nvidia yang lebih luas tentang Vera Rubin dan DSX masih merupakan peta jalan yang perlu diuji lebih lanjut dalam operasi pelanggan. 23