Apa yang dilaporkan kepada pelanggan Nvidia?

Perubahan harga yang diberitakan mencakup sistem yang menggunakan:

• Vera Rubin, platform AI Nvidia generasi berikutnya;
• Grace Blackwell, keluarga platform generasi saat ini; dan
• konfigurasi dengan tingkat kenaikan berbeda, tergantung generasi chip serta susunan memorinya.

Perbedaan konfigurasi sangat penting bagi pembeli. Rak berskala besar dengan kapasitas memori tinggi kemungkinan menghadapi penyesuaian berbeda dibandingkan sistem dengan kapasitas lebih rendah. Karena itu, laporan yang tersedia belum dapat digunakan untuk menghitung harga setiap server Rubin atau Blackwell secara pasti.

Mengapa biaya memori menjadi masalah besar?

Akselerator AI membutuhkan HBM agar dapat memindahkan data dengan cepat antara prosesor dan memori kerja. Sistem AI berukuran besar juga menggunakan DRAM konvensional di samping HBM. Akibatnya, memori kini menjadi salah satu komponen paling menentukan dalam total biaya sebuah sistem.

Salah satu estimasi yang dikutip dalam pemberitaan mengenai Vera Rubin menyebut semikonduktor memori dapat menyumbang sekitar 62% biaya superchip Vera Rubin. Angka ini merupakan estimasi biaya komponen, bukan harga jual Nvidia yang telah dikonfirmasi.

Analisis Morgan Stanley secara terpisah memperkirakan komponen memori dalam satu rak Vera Rubin VR200 NVL72 bernilai sekitar 2 juta dolar AS. Estimasi tersebut sekitar 435% lebih tinggi dibandingkan kandungan memori yang diperkirakan ada pada rak GB300.

Besarnya porsi memori membantu menjelaskan mengapa harga sistem bisa meningkat tajam, meski kenaikan akhirnya tetap berbeda untuk setiap konfigurasi.

Perbandingan estimasi harga rak Vera Rubin dan Blackwell

Estimasi sebelum pengiriman menempatkan harga satu rak Vera Rubin VR200 NVL72 di sekitar 7,8 juta dolar AS, sedangkan rak Grace Blackwell GB300 NVL72 diperkirakan sekitar 4 juta dolar AS.

Angka ini perlu dibaca dengan hati-hati:

• angka tersebut berasal dari estimasi analis atau industri, bukan daftar harga resmi Nvidia;
• perbandingan yang tersedia adalah antara VR200 dan GB300, bukan secara spesifik GB200; dan
• estimasi biaya sistem atau komponennya tidak otomatis sama dengan harga transaksi yang dibayar setiap pelanggan.

Dengan demikian, bukti publik mendukung adanya perbedaan biaya yang besar antara generasi Rubin dan Blackwell, tetapi belum menyediakan perbandingan harga transaksi VR200 versus GB200 yang definitif.

Berdekatan dengan laporan keuangan Nvidia 26 Agustus

Laporan mengenai kenaikan harga muncul menjelang jadwal publikasi laporan keuangan kuartal fiskal kedua Nvidia pada 26 Agustus. Pada kuartal sebelumnya, Nvidia membukukan pendapatan 81,6 miliar dolar AS, termasuk sekitar 75,2 miliar dolar AS dari bisnis pusat data, dengan margin kotor sekitar 75%.

Bagi investor dan pembeli infrastruktur, waktunya cukup penting. Harga server yang lebih tinggi dapat membantu Nvidia mengimbangi kenaikan biaya input, tetapi sekaligus meningkatkan kebutuhan modal perusahaan cloud dan pelanggan lain yang sedang membangun klaster AI berskala besar. Sumber yang tersedia belum menunjukkan seberapa besar kenaikan tersebut akan berdampak pada margin Nvidia.

Mengapa pelanggan bisa mencari alternatif?

Kenaikan harga server Nvidia dapat memperkuat dorongan perusahaan cloud dan teknologi besar untuk mengurangi ketergantungan pada satu pemasok. Amazon, Microsoft, Google, dan Meta memiliki alasan untuk mengembangkan chip sendiri agar dapat menyesuaikan perangkat keras dengan beban kerja internal, mengendalikan biaya jangka panjang, dan memperkuat posisi tawar dalam pengadaan.

Meski demikian, keunggulan Nvidia tidak hanya terletak pada GPU. Ekosistemnya mencakup perangkat lunak CUDA, jaringan NVLink, serta platform lengkap yang menggabungkan chip, sistem, dan perangkat lunak. Salah satu sumber pasar memperkirakan Nvidia menguasai lebih dari 80% pasar akselerator AI kelas atas, meski angka pangsa pasar dapat berbeda bergantung pada definisi pasar yang digunakan.

Karena itu, mengganti Nvidia bukan perkara sekadar membeli chip dari pemasok lain. Perusahaan perlu menyesuaikan perangkat lunak, arsitektur sistem, dan alur kerja yang sudah dibangun. Alternatif seperti akselerator AMD dari keluarga MI300 atau chip khusus milik penyedia cloud dapat membantu diversifikasi, tetapi belum tentu menjadi pengganti langsung untuk semua aplikasi berbasis CUDA.

Chip khusus seperti AWS Trainium berpotensi menarik untuk beban kerja yang didukung di dalam ekosistem cloud tertentu. Namun, penggunaannya tidak bersifat pengganti universal bagi seluruh aplikasi dan sistem yang saat ini mengandalkan Nvidia. Dengan demikian, AMD dan chip rancangan sendiri kemungkinan lebih dulu berfungsi sebagai pelengkap kapasitas Nvidia, bukan langsung menggantikannya di seluruh pusat data AI besar.

Apa yang masih belum terverifikasi?

Kesimpulan paling kuat dari laporan tersebut masih terbatas: sejumlah pelanggan besar Nvidia disebut telah diberi tahu mengenai kenaikan di atas 15% dalam banyak kasus untuk sistem yang dikirim awal tahun depan, dengan besaran yang bergantung pada generasi chip dan konfigurasi memori.

Informasi publik belum menetapkan:

• persentase kenaikan yang berlaku untuk semua sistem;
• harga pasti setiap konfigurasi Vera Rubin atau Grace Blackwell;
• ketentuan kontrak masing-masing pelanggan;
• perbandingan harga VR200 yang terverifikasi dengan GB200; atau
• konfirmasi resmi dari Nvidia maupun pelanggan yang terdampak.

Reuters menyampaikan klaim tersebut sebagai laporan Bloomberg dan mengatakan belum dapat segera memverifikasinya. Sampai Nvidia atau para pelanggannya membuka rincian harga, pembacaan yang paling hati-hati adalah bahwa inflasi biaya memori sedang menekan ekonomi server AI, sementara dampak komersial pastinya masih bersifat tertutup.

Apa yang dilaporkan kepada pelanggan Nvidia?

Perubahan harga yang diberitakan mencakup sistem yang menggunakan:

• Vera Rubin, platform AI Nvidia generasi berikutnya;
• Grace Blackwell, keluarga platform generasi saat ini; dan
• konfigurasi dengan tingkat kenaikan berbeda, tergantung generasi chip serta susunan memorinya.

Perbedaan konfigurasi sangat penting bagi pembeli. Rak berskala besar dengan kapasitas memori tinggi kemungkinan menghadapi penyesuaian berbeda dibandingkan sistem dengan kapasitas lebih rendah. Karena itu, laporan yang tersedia belum dapat digunakan untuk menghitung harga setiap server Rubin atau Blackwell secara pasti.

Mengapa biaya memori menjadi masalah besar?

Akselerator AI membutuhkan HBM agar dapat memindahkan data dengan cepat antara prosesor dan memori kerja. Sistem AI berukuran besar juga menggunakan DRAM konvensional di samping HBM. Akibatnya, memori kini menjadi salah satu komponen paling menentukan dalam total biaya sebuah sistem.

Salah satu estimasi yang dikutip dalam pemberitaan mengenai Vera Rubin menyebut semikonduktor memori dapat menyumbang sekitar 62% biaya superchip Vera Rubin. Angka ini merupakan estimasi biaya komponen, bukan harga jual Nvidia yang telah dikonfirmasi.

Analisis Morgan Stanley secara terpisah memperkirakan komponen memori dalam satu rak Vera Rubin VR200 NVL72 bernilai sekitar 2 juta dolar AS. Estimasi tersebut sekitar 435% lebih tinggi dibandingkan kandungan memori yang diperkirakan ada pada rak GB300.

Besarnya porsi memori membantu menjelaskan mengapa harga sistem bisa meningkat tajam, meski kenaikan akhirnya tetap berbeda untuk setiap konfigurasi.

Perbandingan estimasi harga rak Vera Rubin dan Blackwell

Estimasi sebelum pengiriman menempatkan harga satu rak Vera Rubin VR200 NVL72 di sekitar 7,8 juta dolar AS, sedangkan rak Grace Blackwell GB300 NVL72 diperkirakan sekitar 4 juta dolar AS.

Angka ini perlu dibaca dengan hati-hati:

• angka tersebut berasal dari estimasi analis atau industri, bukan daftar harga resmi Nvidia;
• perbandingan yang tersedia adalah antara VR200 dan GB300, bukan secara spesifik GB200; dan
• estimasi biaya sistem atau komponennya tidak otomatis sama dengan harga transaksi yang dibayar setiap pelanggan.

Dengan demikian, bukti publik mendukung adanya perbedaan biaya yang besar antara generasi Rubin dan Blackwell, tetapi belum menyediakan perbandingan harga transaksi VR200 versus GB200 yang definitif.

Berdekatan dengan laporan keuangan Nvidia 26 Agustus

Laporan mengenai kenaikan harga muncul menjelang jadwal publikasi laporan keuangan kuartal fiskal kedua Nvidia pada 26 Agustus. Pada kuartal sebelumnya, Nvidia membukukan pendapatan 81,6 miliar dolar AS, termasuk sekitar 75,2 miliar dolar AS dari bisnis pusat data, dengan margin kotor sekitar 75%.

Bagi investor dan pembeli infrastruktur, waktunya cukup penting. Harga server yang lebih tinggi dapat membantu Nvidia mengimbangi kenaikan biaya input, tetapi sekaligus meningkatkan kebutuhan modal perusahaan cloud dan pelanggan lain yang sedang membangun klaster AI berskala besar. Sumber yang tersedia belum menunjukkan seberapa besar kenaikan tersebut akan berdampak pada margin Nvidia.

Mengapa pelanggan bisa mencari alternatif?

Kenaikan harga server Nvidia dapat memperkuat dorongan perusahaan cloud dan teknologi besar untuk mengurangi ketergantungan pada satu pemasok. Amazon, Microsoft, Google, dan Meta memiliki alasan untuk mengembangkan chip sendiri agar dapat menyesuaikan perangkat keras dengan beban kerja internal, mengendalikan biaya jangka panjang, dan memperkuat posisi tawar dalam pengadaan.

Meski demikian, keunggulan Nvidia tidak hanya terletak pada GPU. Ekosistemnya mencakup perangkat lunak CUDA, jaringan NVLink, serta platform lengkap yang menggabungkan chip, sistem, dan perangkat lunak. Salah satu sumber pasar memperkirakan Nvidia menguasai lebih dari 80% pasar akselerator AI kelas atas, meski angka pangsa pasar dapat berbeda bergantung pada definisi pasar yang digunakan.

Karena itu, mengganti Nvidia bukan perkara sekadar membeli chip dari pemasok lain. Perusahaan perlu menyesuaikan perangkat lunak, arsitektur sistem, dan alur kerja yang sudah dibangun. Alternatif seperti akselerator AMD dari keluarga MI300 atau chip khusus milik penyedia cloud dapat membantu diversifikasi, tetapi belum tentu menjadi pengganti langsung untuk semua aplikasi berbasis CUDA.

Chip khusus seperti AWS Trainium berpotensi menarik untuk beban kerja yang didukung di dalam ekosistem cloud tertentu. Namun, penggunaannya tidak bersifat pengganti universal bagi seluruh aplikasi dan sistem yang saat ini mengandalkan Nvidia. Dengan demikian, AMD dan chip rancangan sendiri kemungkinan lebih dulu berfungsi sebagai pelengkap kapasitas Nvidia, bukan langsung menggantikannya di seluruh pusat data AI besar.

Apa yang masih belum terverifikasi?

Kesimpulan paling kuat dari laporan tersebut masih terbatas: sejumlah pelanggan besar Nvidia disebut telah diberi tahu mengenai kenaikan di atas 15% dalam banyak kasus untuk sistem yang dikirim awal tahun depan, dengan besaran yang bergantung pada generasi chip dan konfigurasi memori.

Informasi publik belum menetapkan:

• persentase kenaikan yang berlaku untuk semua sistem;
• harga pasti setiap konfigurasi Vera Rubin atau Grace Blackwell;
• ketentuan kontrak masing-masing pelanggan;
• perbandingan harga VR200 yang terverifikasi dengan GB200; atau
• konfirmasi resmi dari Nvidia maupun pelanggan yang terdampak.

Reuters menyampaikan klaim tersebut sebagai laporan Bloomberg dan mengatakan belum dapat segera memverifikasinya. Sampai Nvidia atau para pelanggannya membuka rincian harga, pembacaan yang paling hati-hati adalah bahwa inflasi biaya memori sedang menekan ekonomi server AI, sementara dampak komersial pastinya masih bersifat tertutup.