NVIDIA Berhasil Tekan Biaya Inferensi DeepSeek V4 hingga 5 Kali Lipat Hanya dalam Sebulan — Tanpa Sentuhan Hardware Baru

Framework Inferensi NVIDIA Dynamo

Dynamo adalah framework serving terdistribusi sumber terbuka yang memisahkan fase inferensi di berbagai GPU. Framework ini memisahkan prefill dari decode, secara cerdas mengarahkan permintaan ke GPU yang tepat untuk menghindari komputasi berulang, dan memperluas memori GPU melalui caching berbasis NVLink ke tingkatan penyimpanan yang lebih hemat biaya . Dynamo mendukung SGLang, TensorRT-LLM, dan vLLM, serta terintegrasi secara native dengan mesin sumber terbuka ini . Framework ini dapat meningkatkan jumlah permintaan yang dilayani hingga 7x di NVIDIA Blackwell, sebagaimana ditunjukkan dalam tolok ukur SemiAnalysis InferenceX .

Optimasi TensorRT-LLM

NVIDIA mencapai pengurangan 5x dalam biaya per token melalui optimasi TensorRT-LLM saja dalam waktu dua bulan setelah peluncuran Blackwell, tanpa perubahan hardware . Dalam skala pusat data, pengurangan 5x dalam biaya per token mewakili peningkatan lima kali lipat dalam kapasitas menghasilkan pendapatan dari investasi infrastruktur yang sama .

Disaggregated Serving

Dengan memisahkan fase prefill (pemrosesan input) dan decode (generasi token) di berbagai GPU, disaggregated serving menghilangkan persaingan sumber daya dan memungkinkan setiap fase dioptimalkan secara independen untuk kebutuhannya masing-masing . Ini adalah fitur inti dari framework NVIDIA Dynamo .

Large-Scale Expert Parallelism

DeepSeek V4 menggunakan arsitektur Mixture-of-Experts (MoE) dengan 384 expert terdistribusi . Routing yang dioptimalkan mengirimkan token ke para expert ini dengan pengurangan komputasi berulang, meningkatkan efisiensi di seluruh cluster GPU .

Komunikasi Paralel Berbasis NVLink

Interkoneksi GPU berkecepatan tinggi NVIDIA memungkinkan komunikasi all-to-all yang efisien antar expert, yang sangat penting untuk model MoE di mana expert parallelism memerlukan pertukaran data yang sering antar GPU .

Presisi NVFP4

Menggunakan presisi floating-point 4-bit untuk inferensi mengurangi kebutuhan bandwidth memori dan komputasi tanpa penurunan akurasi yang signifikan . Untuk DeepSeek-V3.2, kuantisasi NVFP4 NVIDIA mengurangi ukuran memori hingga 1,7x dibandingkan format FP8 asli (415 GB vs. 690 GB), menghasilkan peningkatan signifikan dalam throughput dan efisiensi biaya .

Multi-Token Prediction (MTP)

MTP menghasilkan beberapa token per operan maju (forward pass), meningkatkan throughput. Dukungan MTP pertama untuk DeepSeek V4 hadir pada Hari ke-3 dari SGLang . Menggunakan MTP, SGLang kemudian melampaui 12.000 token/detik per GPU pada hardware GB300 NVL72 .

Kernel CUDA yang Dioptimalkan

Tidak semua optimasi datang dari NVIDIA sendiri. SemiAnalysis harus memperbaiki kode peluncuran kernel mHC (manifold-constrained hyper-connection) sumber terbuka NVIDIA untuk arsitektur baru DeepSeek V4, karena TensorRT-LLM awalnya tidak bekerja dengan baik dengan model tersebut . Kontribusi komunitas ini sangat penting untuk inferensi berkualitas produksi.

Resep Serving SGLang

LMSYS Org mencapai peningkatan throughput 5x yang terverifikasi pada hardware NVIDIA GB300 NVL72 menggunakan SGLang, melonjak dari sekitar 2.200 menjadi 11.200 token per detik per GPU pada sekitar 50 token per detik per pengguna . Matriks dukungan Dynamo NVIDIA secara khusus mencantumkan lmsysorg/sglang:deepseek-v4-blackwell sebagai konfigurasi yang didukung .

Secara kombinasi, optimasi ini memberikan hingga 20x throughput lebih tinggi per GPU di Blackwell .

Spesifikasi Keluarga Model DeepSeek V4

DeepSeek V4 dirilis pada 24 April 2026, di bawah lisensi MIT sebagai keluarga model dua tingkat .

Sumber:

Arsitektur hybrid attention menggabungkan Compressed Sparse Attention (CSA) dan Heavily Compressed Attention (HCA) , mencapai hanya 27% dari FLOPs inferensi token tunggal DeepSeek-V3.2 pada konteks 1M-token . Efisiensi inilah yang membuat konteks agen berjuta-juta token dapat dihitung secara ekonomis.

Penyedia Inferensi yang Sudah Menggunakan Optimasi Ini

Beberapa penyedia dan mesin inferensi telah menerapkan optimasi software NVIDIA untuk DeepSeek V4 di Blackwell:

• LMSYS Org (SGLang) — mencapai peningkatan throughput 5x yang terverifikasi pada hardware NVIDIA GB300 NVL72 (23 Juni 2026) . Matriks dukungan Dynamo NVIDIA mencantumkan lmsysorg/sglang:deepseek-v4-blackwell sebagai konfigurasi yang didukung . SGLang juga melampaui 12.000 tok/s per GPU pada hardware yang sama .
• NVIDIA NIM — tumpukan layanan mikro inferensi milik NVIDIA sendiri menawarkan endpoint DeepSeek-V4-Pro melalui katalog API NVIDIA .
• vLLM — mesin inferensi sumber terbuka yang memberikan dukungan DeepSeek V4 dalam hitungan hari setelah peluncuran, terintegrasi dengan NVIDIA Dynamo untuk inferensi terdistribusi di GB200 .
• TensorRT-LLM — runtime teroptimasi milik NVIDIA, meskipun adopsi awal memiliki masalah dengan kode kernel mHC yang kemudian dibantu diperbaiki oleh SemiAnalysis .
• DeepInfra — menawarkan endpoint DeepSeek V4 Pro dengan harga $0,435/M token input dan $0,87/M token output .
• Together AI, Fireworks AI, Baseten — Blog NVIDIA mencatat penerapan luas melalui endpoint cloud yang dipercepat GPU, dengan para penyedia ini mengurangi biaya per token hingga 10x dibandingkan Hopper .

Penyedia seperti Together AI dan Baseten mengurangi biaya per token hingga 90% dibandingkan dengan Hopper setelah mengadopsi Blackwell, menurut NVIDIA .

Pembingkaian Ekonomi NVIDIA untuk Beban Kerja AI Agen

NVIDIA memposisikan biaya per token sebagai metrik paling penting untuk total biaya kepemilikan (TCO) inferensi — secara eksplisit menolak metrik lama seperti biaya per jam GPU atau FLOPS per dolar . Jensen Huang menyatakan bahwa "biaya per token NVIDIA adalah yang terendah di dunia" pada April 2026, membingkainya sebagai "hasil langsung dari keunggulan arsitektur dan co-design yang ekstrem" .

Alasan di balik pergeseran metrik ini terkait langsung dengan AI agen:

Beban Kerja Agen Bersifat Explosif dalam Komputasi Inferensi

Seiring pergeseran AI dari jawaban satu langkah ke penalaran multi-langkah — merencanakan, mengambil konteks, memanggil alat, merefleksikan, dan mengoreksi diri — jumlah token yang dihasilkan per kueri dapat berlipat ganda 100x hingga 1.000x . Satu tugas agen multi-langkah dapat menghabiskan biaya $0,10 hingga $1,00 dalam komputasi inferensi . Analisis Gartner Maret 2026 mengonfirmasi bahwa model AI agen membutuhkan 5–30x lebih banyak token per tugas dibandingkan chatbot standar .

Inferensi Kini Menjadi Pusat Biaya yang Dominan

Perkiraan industri menunjukkan 55–80% dari belanja GPU AI perusahaan digunakan untuk inferensi, bukan pelatihan . Deloitte memperkirakan bahwa inferensi menyumbang sekitar dua pertiga dari seluruh komputasi AI pada tahun 2026, naik dari sepertiga pada tahun 2023 . Inferensi juga menyumbang 80 hingga 90 persen dari biaya seumur hidup sistem AI produksi .

Optimasi Software Membuka Nilai Luar Biasa Tanpa Hardware Baru

NVIDIA secara eksplisit membingkai ini sebagai keunggulan strategis: "NVIDIA mencapai pengurangan 5x dalam biaya per token melalui optimasi TensorRT-LLM saja dalam waktu dua bulan setelah peluncuran Blackwell, tanpa perubahan hardware" . Dalam skala pusat data, pengurangan 5x dalam biaya per token secara langsung menentukan apakah beban kerja AI agen menjadi layak secara ekonomi . Software inferensi NVIDIA terus menekan biaya token jauh setelah infrastruktur AI diterapkan .

Biaya per Token Adalah "Satu-satunya Metrik TCO yang Penting"

NVIDIA berpendapat bahwa biaya per token adalah satu-satunya metrik yang secara langsung memperhitungkan kinerja hardware, optimasi software, dukungan ekosistem, dan pemanfaatan dunia nyata . Perusahaan menerbitkan "biaya token terendah" sebagai proposisi nilai utama Blackwell . NVIDIA B200 mencapai dua sen per juta token pada GPT-OSS-120B, dan arsitektur ini menurunkan biaya per juta token hingga 15x dibandingkan generasi sebelumnya .

Kesimpulannya, pesan NVIDIA jelas: AI agen membutuhkan token inferensi yang jauh lebih banyak per tugas; optimasi inferensi tingkat software di Blackwell dapat memangkas biaya token ini hingga 5x tanpa hardware baru, secara langsung menentukan apakah penerapan agen skala besar menguntungkan .