Klaim bahwa DeepSeek V4 memakai memori 98% lebih sedikit terdengar menarik, terutama bagi tim yang sedang menghitung biaya GPU. Masalahnya ada pada kata “memori”. Bukti publik saat ini lebih kuat menunjukkan kompresi KV cache untuk inferensi konteks panjang, bukan penurunan seluruh kebutuhan VRAM saat model dijalankan.
Dalam konteks ini, VRAM adalah memori di GPU. KV cache adalah ruang yang dipakai model bahasa besar untuk menyimpan pasangan key-value dari token sebelumnya, agar model tidak perlu menghitung ulang semuanya setiap menghasilkan token baru. KV cache memang bisa menjadi beban besar pada konteks panjang. Namun, ia bukan satu-satunya komponen memori dalam deployment model.
Kesimpulan paling aman
Cara paling akurat untuk merangkum DeepSeek V4 saat ini adalah:
DeepSeek V4 memakai Hybrid Attention, Compressed Sparse Attention (CSA), dan Heavily Compressed Attention (HCA) untuk mengurangi tekanan KV cache pada inferensi konteks panjang. Namun, data publik yang tersedia belum cukup untuk menyatakan bahwa total VRAM turun 98% [
13][
14].
Perbedaan ini penting. Jika klaim “98% lebih hemat memori” dipakai untuk anggaran GPU, desain kapasitas, atau materi pemasaran, risikonya besar: yang terbukti dioptimalkan adalah bagian tertentu dari beban memori, bukan seluruh stack serving model [5][
13][
14].
Apa yang benar-benar dikonfirmasi dokumen publik
Hal yang bisa dicek dari sumber resmi: laman berita API DeepSeek mencatat DeepSeek-V4 Preview dirilis pada 24 April 2026 [5]. Kartu model DeepSeek V4 menyebut seri ini mencakup DeepSeek-V4-Pro dan DeepSeek-V4-Flash, berbasis arsitektur Mixture-of-Experts (MoE), mempertahankan framework DeepSeekMoE serta strategi Multi-Token Prediction (MTP), dan menambahkan perubahan arsitektur seperti Hybrid Attention [
14].
Bagian yang paling relevan dengan penghematan memori adalah desain attention untuk konteks panjang. Artikel teknis NVIDIA menjelaskan bahwa Compressed Sparse Attention (CSA) memakai dynamic sequence compression untuk mengompresi KV entries sehingga jejak memori KV cache lebih kecil, lalu menerapkan DeepSeek Sparse Attention (DSA) untuk membuat attention matrices lebih sparse. Heavily Compressed Attention (HCA) melangkah lebih jauh dengan menggabungkan KV entries dari beberapa set token menjadi satu compressed entry, sehingga ukuran KV cache turun lebih signifikan [13].
Dengan kata lain, bukti langsungnya adalah: DeepSeek V4 mengoptimalkan ukuran KV cache dan biaya komputasi attention pada konteks panjang. Itu belum sama dengan pernyataan bahwa semua kebutuhan VRAM model ikut turun dengan persentase yang sama.
Angka 98%, 90%, dan 9,5× jangan dicampur
Angka 98% yang paling langsung terlihat dalam materi yang tersedia berasal dari artikel LinkedIn buatan pengguna berjudul “DeepSeek Sparse Attention Shrinks KV Memory by 98 Percent in Real World Serving” [21]. Konten seperti ini bisa menjadi petunjuk untuk ditelusuri, tetapi tidak seharusnya diperlakukan sebagai spesifikasi resmi DeepSeek.
Angka pihak ketiga yang lebih mudah diperiksa adalah 10% KV cache. Wccftech melaporkan bahwa dibanding DeepSeek V3.2, DeepSeek V4 hanya membutuhkan 27% single-token inference FLOPs dan 10% key-value (KV) cache [20]. Jika dibaca sederhana, 10% KV cache berarti KV cache sekitar 90% lebih kecil. Namun, acuannya adalah DeepSeek V3.2, dan itu tetap tidak berarti semua panjang konteks, batch size, konfigurasi hardware, atau total VRAM akan turun 90% [
20].
Ada juga judul berita yang menyebut DeepSeek V4 memiliki 9,5× lower memory requirements [3]. Secara matematika sederhana, 1/9,5 berarti sisa kebutuhan sekitar 10,5%, atau penurunan sekitar 89,5%. Itu pun bukan 98%, dan tetap perlu diperjelas apakah yang dimaksud adalah KV cache, skenario konteks panjang tertentu, atau memori deployment secara keseluruhan [
3].
| Klaim | Status bukti | Pembacaan yang lebih aman |
|---|---|---|
| Total VRAM turun 98% | Belum terlihat dukungan resmi | Jangan dipakai sebagai spesifikasi pembelian atau klaim pemasaran [ |
| KV cache dikompresi besar-besaran | Didukung materi teknis | CSA/HCA memang menargetkan kompresi KV entries pada konteks panjang [ |
| 10% KV cache | Muncul dalam laporan pihak ketiga | Bisa dibaca sebagai sekitar 90% pengurangan KV cache dibanding V3.2, bukan total VRAM [ |
| 9,5× lower memory | Muncul dalam judul berita pihak ketiga | Kira-kira setara penurunan 89,5%, tetapi ruang lingkupnya tetap harus dicek [ |
Mengapa KV cache bukan total VRAM
KV cache sangat penting dalam inferensi konteks panjang. Hugging Face menjelaskan bahwa pada workload agentic yang berjalan lama, hasil dari tool terus ditambahkan ke context; token berikutnya harus menghadapi konteks yang makin panjang. Dua angka yang menjadi kunci adalah single-token inference FLOPs dan ukuran KV cache, dan keduanya naik mengikuti panjang sequence [17]. Versi GitHub dari tulisan Hugging Face juga menyebut pola kegagalan umum pada tugas panjang: trace melampaui context budget, KV cache memenuhi GPU, atau putaran tool-call membuat tugas melambat [
22].
Namun, menjalankan model secara penuh tidak hanya memakan memori untuk KV cache. Bahkan artikel LinkedIn yang memuat klaim 98% pun memisahkan komponen seperti shared weights, expert weights, activations, KV cache, dan framework overhead [21]. Ini justru menegaskan bahwa perencanaan kapasitas harus dipecah per komponen. Jika KV cache turun drastis dalam skenario tertentu, total VRAM belum tentu turun dengan persentase yang sama.
CSA dan HCA adalah rekayasa efisiensi, bukan angka ajaib
Arah teknis DeepSeek V4 tetap penting. Model ini menargetkan salah satu sumber biaya terbesar pada inferensi konteks sangat panjang: attention dan KV cache. Dari penjelasan NVIDIA, CSA dan HCA bekerja dengan mengompresi KV entries, membuat attention matrices lebih sparse, serta menggabungkan KV entries dari beberapa kelompok token menjadi satu entri terkompresi [13].
Laporan teknis DeepSeek V4 juga menyebut optimasi infrastruktur untuk training dan inferensi, termasuk single fused kernel untuk modul MoE yang dirancang agar computation, communication, dan memory access bisa saling overlap [2]. Ini semua adalah upaya efisiensi yang nyata. Namun, tetap saja, hal-hal tersebut bukan bukti langsung bahwa total VRAM berkurang 98%.
Cara membaca klaim ini saat mengevaluasi DeepSeek V4
Jika Anda menilai DeepSeek V4 untuk dokumen panjang, percakapan panjang, atau alur kerja agent, pertanyaan kuncinya bukan “benarkah 98%?”, melainkan: apakah bottleneck Anda memang KV cache?
Jika workload Anda terutama dibatasi oleh KV cache, desain kompresi DeepSeek V4 bisa sangat bernilai. Tetapi jika hambatan utama ada pada bobot model, activation, overhead framework, strategi concurrency, atau konfigurasi serving engine, pengurangan KV cache tidak otomatis berubah menjadi penghematan total VRAM dalam skala yang sama [13][
21][
22].
Pendekatan yang lebih aman adalah melakukan benchmark dengan konteks, batch size, concurrency, serving engine, dan hardware yang benar-benar akan dipakai. Untuk saat ini, klaim yang paling bertanggung jawab adalah: DeepSeek V4 menunjukkan optimasi kuat pada KV cache konteks panjang; klaim total VRAM hemat 98% belum didukung bukti resmi yang cukup [5][
13][
14][
20][
21].
