Mengapa Perusahaan AI China Harus Menghemat Setiap GPU Nvidia

Krisis komputasi AI China kini semakin terasa bukan saat model dilatih, melainkan ketika model tersebut digunakan secara massal. Ketika aplikasi konsumen dan perusahaan mulai menangani permintaan dalam jumlah besar, perusahaan harus memproses respons secara terus-menerus—termasuk dari AI agent yang dapat bernalar, memanggil berbagai alat, dan menyelesaikan tugas dalam beberapa tahap.

Akibatnya, kapasitas inferensi—tahap ketika model yang sudah dilatih menghasilkan jawaban—menjadi kendala utama, bukan sekadar kapasitas untuk melatih model.

Pergeseran dari melatih model ke menjalankannya

Pelatihan menghasilkan sebuah model, sedangkan inferensi adalah tahap ketika model itu memberikan respons kepada pengguna. Sebagian beban inferensi lebih mudah dialihkan ke perangkat keras buatan dalam negeri dibandingkan pelatihan model besar. Namun, perbedaannya tidak mutlak.

Aplikasi yang menuntut kualitas tinggi tetap membutuhkan perpaduan antara daya komputasi, kapasitas memori, keandalan, dan ekosistem perangkat lunak yang matang. Kombinasi ini masih sulit digantikan sepenuhnya.

Karena itu, perusahaan AI China menghadapi persoalan infrastruktur dengan banyak jenis perangkat keras. Akselerator domestik dapat menangani sebagian beban inferensi, sedangkan sejumlah kecil prosesor Nvidia kelas atas harus diprioritaskan untuk tugas yang paling sulit dialihkan. Laporan industri menyebut pekerjaan coding yang kompleks sebagai salah satu titik tekanan utama.

Mengapa coding dan AI agent menghabiskan kapasitas lebih besar

Pertanyaan sederhana dalam format tanya-jawab mungkin hanya membutuhkan komputasi terbatas. Sebaliknya, asisten coding atau AI agent otonom dapat bekerja jauh lebih berat. Sistem semacam ini harus mempertahankan konteks panjang, menghasilkan kode, menggunakan alat eksternal, memeriksa hasilnya, lalu berulang kali memperbaiki jawaban.

Hal ini mengubah cara menghitung nilai sebuah GPU. Pertanyaannya bukan hanya berapa banyak chip yang dimiliki perusahaan, melainkan berapa banyak pekerjaan yang dapat diselesaikan chip tersebut dengan andal dan berkualitas tinggi.

Jika prosesor domestik bekerja kurang efektif untuk tugas coding dan penalaran yang kompleks, memindahkan seluruh beban inferensi dari Nvidia justru dapat menurunkan kualitas atau efisiensi. Kapasitas Nvidia yang langka akhirnya harus disimpan untuk pekerjaan yang paling membutuhkan keunggulannya.

Tidak semua token memiliki nilai yang sama

Jumlah token memang dapat menjadi indikator permintaan, tetapi setiap token tidak mewakili beban kerja yang sama. Output sederhana dan murah dapat diarahkan ke perangkat keras yang lebih terjangkau. Namun, output berkualitas tinggi dari model yang lebih kuat, proses penalaran yang lebih panjang, atau rangkaian pemanggilan alat berulang membutuhkan komputasi lebih besar—dan biasanya lebih bernilai bagi pelanggan.

Itulah sebabnya kenaikan jumlah token secara keseluruhan bisa menutupi kelangkaan inferensi premium. Pasar mungkin menghasilkan lebih banyak token, tetapi sekaligus mengalami kekurangan yang lebih tajam atas perangkat keras untuk menghasilkan respons andal dalam tugas-tugas kompleks.

Fokus investasi pada produksi token berkualitas tinggi dan sistem yang menggabungkan berbagai jenis sumber daya komputasi menunjukkan perbedaan tersebut.

Permintaan tumbuh jauh lebih cepat daripada kapasitas

Rata-rata panggilan token AI harian di China melampaui 140 triliun pada Maret 2026, dibandingkan sekitar 100 miliar pada awal 2024. Menurut angka yang dilaporkan dari Administrasi Data Nasional China, pertumbuhan tersebut mencapai lebih dari 1.000 kali lipat.

Lonjakan ini mencerminkan perubahan cara AI digunakan. Model tidak lagi hanya dipakai untuk eksperimen atau menjawab prompt secara terpisah, tetapi mulai ditanamkan ke asisten digital, perangkat lunak perusahaan, dan AI agent yang menjalankan alur kerja nyata.

Dengan demikian, inferensi berubah menjadi salah satu pendorong utama konsumsi komputasi—bukan lagi sekadar tahap lanjutan setelah pelatihan model.

Mengapa optimalisasi perangkat lunak menjadi pilihan tercepat

Menambah prosesor kelas atas tidak mudah ketika pembatasan ekspor membatasi akses ke produk Nvidia terbaru, pasokan chip terbatas, dan ekosistem perangkat keras mahal untuk diganti. Pengembang AI China juga menghadapi biaya transisi besar karena model, alat, dan alur kerja yang sudah ada sangat terikat pada platform perangkat lunak yang mapan.

Optimalisasi perangkat lunak memang tidak dapat menciptakan silikon baru. Namun, langkah ini bisa meningkatkan jumlah pekerjaan berguna yang dihasilkan setiap prosesor. Pendekatan yang dapat dilakukan antara lain:

• Pengarahan beban kerja: mengirim permintaan sederhana ke akselerator domestik atau perangkat keras yang lebih murah, lalu menyisakan GPU Nvidia untuk tugas kompleks.
• Penyajian yang lebih efisien: mengatur pengelompokan dan penjadwalan permintaan agar perangkat keras tidak banyak menganggur.
• Penempatan sesuai kebutuhan sumber daya: menyesuaikan ukuran model, panjang konteks, dan strategi respons dengan tingkat kesulitan serta nilai setiap permintaan.
• Infrastruktur heterogen: mengintegrasikan arsitektur chip yang berbeda, alih-alih memaksa seluruh beban kerja berjalan pada satu platform.

Langkah-langkah tersebut menjadi jembatan antara permintaan yang meningkat dan pasokan yang terbatas. Namun, optimalisasi bukan pengganti penuh bagi perangkat keras terdepan, terutama ketika tugas yang sensitif terhadap kualitas masih bergantung pada kelompok prosesor yang lebih terbatas.

Tekanan bisnis ikut memperparah masalah

Krisis ini semakin sulit diatasi karena harga layanan inferensi berada di bawah tekanan. Analis Jefferies memperkirakan biaya model China, secara rata-rata, sekitar seperenam biaya per token dibandingkan layanan perusahaan besar Amerika Serikat.

Harga murah dapat mempercepat adopsi, tetapi juga membatasi pendapatan yang bisa digunakan untuk membiayai komputasi premium yang langka. Pada saat yang sama, asisten coding dan produk berbasis AI agent dapat mengonsumsi sumber daya jauh lebih besar daripada chatbot sederhana.

Perusahaan AI China pun menghadapi kombinasi yang serba sulit: permintaan tumbuh cepat, pelanggan mengharapkan akses murah, sementara kapasitas inferensi paling mumpuni tidak mudah diperluas atau digantikan.

Tekanan tersebut telah terlihat pada ketersediaan layanan. Sebuah laporan pasar menyebut pengembang model besar dan penyedia cloud di China memperlambat layanan, membatasi akses, atau menaikkan harga ketika permintaan melampaui sumber daya komputasi yang tersedia—terutama untuk asisten coding yang membutuhkan banyak sumber daya.

Tantangan China bukan sekadar kekurangan chip

Masalah infrastruktur AI China bukan hanya soal jumlah chip. Yang langka adalah kombinasi antara prosesor canggih, perangkat lunak yang kompatibel, dan kapasitas ekonomis untuk menjalankan inferensi bernilai tinggi.

Perangkat keras domestik dapat menyerap porsi beban yang lebih besar seiring membaiknya perangkat lunak dan semakin banyaknya sistem yang dirancang sesuai keunggulannya. Namun, bukti yang ada menunjukkan bahwa strategi China masih berada dalam masa transisi: mengoptimalkan setiap lapisan inferensi, memakai chip domestik ketika memang efektif, dan menyimpan kapasitas Nvidia yang terbatas untuk pekerjaan tersulit.

Strategi ini dapat memperpanjang umur sumber daya yang tersedia. Tetapi, pertumbuhan AI agent secara berkelanjutan pada akhirnya akan bergantung pada kemampuan China memperluas pasokan perangkat keras sekaligus membangun ekosistem perangkat lunak yang membuat berbagai jenis prosesor dapat digunakan secara praktis.