DeepSeek merilis lebih banyak perangkat lunak inferensinya untuk digunakan tim di luar perusahaan pada 20 Oktober 2026. DeepInfer adalah mesin yang menurut DeepSeek menopang layanan produksinya, sementara komponen pendamping deepseek-recipe menangani pemrosesan permintaan dan token. Catatan pentingnya: rilis publik ini menyediakan inferensi offline, bukan pengganti API DeepSeek yang lengkap dan siap diterapkan.
3
4
33
Fungsi DeepInfer dan deepseek-recipe
DeepInfer adalah kerangka kerja inferensi: perangkat lunak yang menjalankan model terlatih untuk menghasilkan respons. Rilis awal mendukung DeepSeek-V4.1-Flash dan tersedia dengan lisensi Apache 2.0, menurut laporan tentang peluncurannya.
4
5
Fitur yang dicantumkan mencakup inferensi terdistribusi, kernel yang dioptimalkan, speculative decoding, penjadwalan asinkron, inferensi batch-invariant, dan keluaran terstruktur.
33
34 Fitur keluaran terstruktur dapat membatasi respons model agar sesuai dengan format seperti skema JSON, regex, atau tata bahasa EBNF.
29
30
deepseek-recipe adalah komponen pendamping untuk mengubah permintaan menjadi masukan bagi model, lalu mengolah keluaran model menjadi respons. Laporan menyebut dukungan untuk format permintaan API yang umum, tetapi itu saja belum membuktikan kompatibilitas penuh dengan setiap fitur API DeepSeek yang dihosting.
3
9
Model dan perangkat keras yang didukung
Pada saat dirilis, DeepInfer mencantumkan DeepSeek-V4.1-Flash serta dua keluarga akselerator: GPU NVIDIA SM100 dan NPU Huawei Ascend 950.
3
5 Spesifikasi ini tidak membuktikan bahwa semua GPU NVIDIA atau akselerator Huawei didukung. Sumber yang tersedia juga tidak mengonfirmasi kompatibilitas dengan setiap varian perangkat.
Cara membaca klaim performanya
DeepSeek menyebut DeepInfer sebagai kerangka kerja berperforma tinggi. Bloomberg menilai perangkat lunak ini berpotensi membuat model DeepSeek lebih murah dan mudah dijalankan bisnis karena dapat membantu pemanfaatan sumber daya komputasi secara lebih efisien.
33
45 Namun, itu adalah manfaat yang diharapkan, bukan jaminan bahwa setiap penerapan akan menurunkan biaya operasional, konsumsi energi, atau latensi, maupun mencapai throughput tertentu.
Angka 155 triliun token per hari per klaster yang dilaporkan DeepSeek turut muncul dalam pemberitaan. Namun, laporan yang tersedia belum memverifikasi angka tersebut secara independen atau memberikan detail yang cukup untuk membandingkannya langsung dengan sistem lain.
1
5 The Next Web juga melaporkan bahwa klaim kecepatan DeepSeek belum diuji secara independen.
49
Mengapa DeepInfer belum menjadi layanan daring siap pakai
Rilis publik menyediakan inferensi offline. Laporan tentang dokumentasi penerapannya juga menyebut beberapa komponen tingkat layanan yang tidak disertakan: pengelolaan KV cache, pemisahan tahap prefill dari pembuatan token (prefill/decode disaggregation), dan penyeimbangan beban di antara replika.
4
7
Artinya, tim yang ingin menyediakan layanan langsung untuk banyak pengguna perlu membangun atau mengelola sendiri infrastruktur tambahan tersebut. Karena itu, DeepInfer lebih cocok bagi organisasi yang memiliki keahlian rekayasa inferensi daripada tim yang mencari layanan hosting siap pakai. Apakah menjalankan model sendiri akan lebih hemat bergantung pada perangkat keras dan pekerjaan operasional yang dibutuhkan; rilis ini saja belum cukup untuk memastikan biayanya.
Intinya
DeepInfer membuka akses ke mesin inferensi berorientasi produksi untuk DeepSeek-V4.1-Flash, sementara deepseek-recipe menyediakan lapisan pendamping untuk mengolah permintaan dan respons. Keduanya memberi tim infrastruktur lebih banyak perangkat untuk menjalankan model sendiri. Namun, tim perlu membedakan fitur optimasi yang diumumkan dari hasil pengukuran independen—serta memperhitungkan pekerjaan tambahan untuk mengubah inferensi offline menjadi layanan daring yang andal.
3
4
33
49