JawabanDipublikasikan18 sumber
Cara Cambricon Mengaktifkan DeepSeek-V4.1-Flash di vLLM pada Hari Pertama
Cambricon menyatakan DeepSeek V4.1 Flash sudah dapat dijalankan melalui vLLM pada hari rilis model, dengan menggabungkan runtime NeuWare, Torch MLU Ops, dan kernel BangC yang dioptimalkan. DeepSeek V4.1 Flash adalah model MoE multimodal dengan 552 miliar parameter backbone, konteks hingga satu juta token, serta seki...
Diterbitkan olehDiedit dengan GPT-5.6 TerraGambar dibuat dengan GPT Image 2
Jawaban penelitian
Poin-poin penting
- Cambricon menyatakan DeepSeek V4.1 Flash sudah dapat dijalankan melalui vLLM pada hari rilis model, dengan menggabungkan runtime NeuWare, Torch MLU Ops, dan kernel BangC yang dioptimalkan.
- DeepSeek V4.1 Flash adalah model MoE multimodal dengan 552 miliar parameter backbone, konteks hingga satu juta token, serta sekitar 8 miliar parameter aktif saat prefill dan 16 miliar saat decoding.
- Angka memori yang dilaporkan DeepSeek—890 byte KV cache global per token—menunjukkan potensi penting untuk layanan konteks panjang, tetapi bukan benchmark throughput atau latensi independen di klaster Cambricon.
AI Perintah
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Cambricon achieve Day-0, production-ready enablement of DeepSeek-V4.1-Flash on the open-source vLLM inference stack using NeuWare, T. Article summary: Cambricon’s claimed Day‑0 result is primarily a software-integration achievement: it brought the new model up on the public vLLM serving path rather than requiring customers to wait for a private, hardware-specific port.. Topic tags: general, general web, documentation, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
Klaim Day-0 Cambricon pada dasarnya adalah pencapaian integrasi perangkat lunak. Perusahaan tersebut menyatakan DeepSeek-V4.1-Flash dapat berjalan di akselerator MLU miliknya melalui stack inferensi sumber terbuka vLLM pada hari checkpoint model dirilis. Jalurnya memadukan runtime NeuWare, dukungan operator Torch-MLU-Ops, dan kernel BangC yang dioptimalkan. 13
Ini penting karena bobot model yang sudah tersedia belum otomatis berarti model siap dilayani di infrastruktur nyata. Model masih memerlukan runtime akselerator, operator framework, dukungan eksekusi terdistribusi, serta kernel efisien untuk bagian komputasi yang paling berat.
Tiga lapisan integrasi yang dipakai Cambricon
Cambricon menggambarkan enablement tersebut melalui tiga komponen utama:
- NeuWare adalah runtime perangkat lunak untuk akselerator MLU Cambricon.
- Torch-MLU-Ops menyediakan dukungan operator yang sadar MLU, termasuk untuk struktur Engram dan Compressor pada model tersebut sebagaimana dilaporkan dalam pemberitaan tentang integrasinya.
9
- BangC adalah bahasa pemrograman paralel heterogen Cambricon untuk membuat program berkinerja tinggi di arsitektur MLU; kernel BangC ditujukan bagi operasi yang menjadi titik panas komputasi.
18
Dengan susunan ini, deployment vLLM dapat memakai backend khusus akselerator tanpa mengubah jalur serving menjadi aplikasi privat yang hanya berlaku untuk satu vendor. Cambricon juga menyebut pengembangan vLLM-nya mencakup inferensi mixed precision dan presisi rendah, optimasi paralelisme, expert parallelism skala besar, serta pemisahan deployment prefill dan decode. 18
Mengapa DeepSeek-V4.1-Flash tidak ringan untuk disajikan
DeepSeek-V4.1-Flash merupakan model mixture-of-experts (MoE) multimodal yang menerima teks dan gambar. Model ini memiliki 552 miliar parameter backbone, ditambah 196 miliar parameter memori Engram, serta mendukung konteks hingga satu juta token. 5
8
Namun, total parameter tidak sama dengan parameter yang aktif dalam setiap langkah. DeepSeek menyatakan model ini mengaktifkan sekitar 8 miliar parameter per token prompt saat prefill—fase pembacaan dan pemrosesan input—serta 16 miliar parameter per token saat decoding, yaitu fase menghasilkan keluaran. 8
Desain asimetris itu berpotensi mengurangi kebutuhan komputasi pada beban kerja yang didominasi prompt. Meski begitu, biaya serving di dunia nyata tetap bergantung pada presisi, ukuran batch, komunikasi antarakselerator, kapasitas memori, bobot model, dan pola trafik.
Arsitektur Causal Encoder–Decoder
Model ini memakai arsitektur Causal Encoder–Decoder (CED) 40 lapisan: 20 lapisan encoder kausal dan 20 lapisan decoder. Alih-alih setiap lapisan decoder membentuk key-value (KV) globalnya sendiri, decoder memproyeksikan status KV global dari hidden state terakhir encoder. 5
8
Pilihan ini relevan untuk inferensi konteks panjang. Dalam serving model generatif, KV cache—status yang disimpan agar model dapat memperhatikan token sebelumnya—sering menjadi pembatas utama kapasitas memori dan jumlah sesi yang bisa dilayani bersamaan.
Klaim KV cache: 890 byte per token
DeepSeek melaporkan bahwa penggunaan ulang KV cache lintas lapisan pada Compressed Sparse Attention 2, dipadukan dengan caching KV FP4, memangkas kebutuhan KV cache global yang berada di HBM (high-bandwidth memory) menjadi 890 byte per token. Angka itu kira-kira seperempat dari kebutuhan DeepSeek-V4-Flash. 7
8
Materi teknis yang sama juga menyebut optimasi deployment SWA Bounded Replay menurunkan kebutuhan KV cache persisten di SSD atau memori host menjadi sekitar seperdelapan dari V4-Flash. 7
Bagi operator klaster, pengurangan state cache per permintaan berpotensi menyisakan memori lebih banyak untuk sesi simultan, khususnya pada konteks panjang dan input multimodal. Tetapi angka tersebut adalah klaim desain model dari DeepSeek, bukan hasil uji ujung ke ujung yang independen pada klaster Cambricon. Angka itu tidak membuktikan throughput, latensi, kualitas, ketersediaan, maupun biaya yang sama pada setiap deployment.
Bagaimana optimasi serving saling melengkapi
Materi perangkat lunak Cambricon menyebut beberapa teknik yang relevan untuk menyajikan model MoE besar melalui vLLM. 18
- Inferensi mixed precision dan presisi rendah dapat mengurangi lalu lintas memori serta ruang yang diperlukan untuk bobot dan aktivasi.
- Optimasi paralelisme dan expert parallelism skala besar dimaksudkan untuk membagi pekerjaan model dan eksekusi expert yang dirutekan ke banyak akselerator.
- Tumpang tindih komunikasi dan komputasi berupaya menjaga perangkat tetap bekerja saat komunikasi kolektif atau data perutean expert bergerak antarpelayan.
- Pemisahan prefill–decode memungkinkan pemrosesan prompt dan generasi token disediakan serta dituning secara terpisah.
Teknik-teknik itu tidak saling menggantikan. Prefill cenderung berat pada pemrosesan prompt dan bandwidth, sementara decode bersifat iteratif serta peka terhadap latensi. MoE juga menambahkan kebutuhan koordinasi terdistribusi karena token dapat dirutekan ke expert berbeda. Sasaran akhirnya adalah pemakaian akselerator yang lebih baik dan layanan yang lebih stabil saat banyak permintaan masuk—bukan sekadar angka FLOPS teoretis yang lebih tinggi.
Materi publik yang tersedia belum memberikan pengukuran V4.1-Flash yang dapat direproduksi untuk throughput, latensi, kualitas model, topologi klaster, atau ketersediaan layanan di perangkat keras Cambricon. Karena itu, istilah “siap produksi” sebaiknya dipahami sebagai adanya jalur deployment yang dapat digunakan dan didukung, bukan sebagai jaminan performa untuk semua konfigurasi. Operator tetap perlu melakukan uji kualifikasi sendiri sebelum menetapkan kapasitas atau SLA.
Arti keanggotaan Platinum di PyTorch Foundation
Pada 8 September 2026, PyTorch Foundation mengumumkan Cambricon sebagai anggota Platinum. 49 Foundation tersebut juga menyatakan Cambricon telah bekerja dengan komunitas vLLM untuk dukungan Day-0 bagi model sumber terbuka, termasuk DeepSeek-V4 dan GLM-5.
57
Maknanya terutama terletak pada keselarasan ekosistem. Dukungan akselerator jauh lebih berguna bila tersedia melalui framework dan lapisan serving publik yang lazim dipakai, ketimbang menuntut pengguna merawat stack khusus vendor. Keanggotaan itu sendiri tidak menjamin semua model atau fitur akan langsung mendapat dukungan upstream, tetapi memperkuat fokus Cambricon pada kompatibilitas PyTorch dan vLLM.
Keluarga model lain yang masuk jejak dukungan Cambricon
Materi perangkat lunak Cambricon mencantumkan pekerjaan terkait DeepSeek V3/V3.1, Qwen2.5, Qwen3, Qwen3-Next, GLM-4.5, Qwen3-VL, Flux, Wan 2.1/2.2, dan Hunyuan-Video. 18
Namun, daftar itu mencampurkan dukungan pelatihan dan optimasi perangkat lunak yang lebih luas. Daftar tersebut tidak membuktikan bahwa setiap keluarga model memiliki status inferensi vLLM siap produksi dan Day-0 yang identik dengan DeepSeek-V4.1-Flash. Ketersediaan inferensi, dukungan presisi, cakupan multimodal, dan status Day-0 tetap perlu diverifikasi per rilis model.
Mengapa ketersediaan pada hari rilis penting
Bagi operator klaster, kompatibilitas sejak hari peluncuran dapat memperpendek jeda antara rilis model dan evaluasi terkontrol di infrastruktur yang sudah ada. Jalur vLLM publik juga memberi fondasi yang lebih familier untuk perencanaan kapasitas, routing, observabilitas, evaluasi kuantisasi, dan pengujian integrasi dibanding fork serving yang dibuat khusus.
Hal itu sangat relevan untuk DeepSeek-V4.1-Flash karena kompresi cache yang dilaporkannya menyasar dua tekanan utama serving konteks panjang: kapasitas HBM bagi sesi aktif serta kebutuhan SSD atau memori host untuk pemakaian ulang cache. 7
8
Inti ceritanya bukan bahwa satu pengumuman Day-0 membuktikan performa produksi untuk segala skenario. Nilai utamanya adalah dukungan yang dapat diulang di runtime, operator framework, kernel, eksekusi terdistribusi, dan tooling serving dapat mendekatkan kesiapan akselerator ke waktu peluncuran model—terutama ketika model terbuka makin besar, makin sparse, dan makin multimodal.
Studio Global AI
Lanjutkan penelitian Anda
Halaman ini berisi jawaban yang didukung sumber yang dapat Anda lanjutkan di dalam Studio Global.
Orang-orang juga bertanya
Apa jawaban singkat untuk "Cara Cambricon Mengaktifkan DeepSeek-V4.1-Flash di vLLM pada Hari Pertama"?
Cambricon menyatakan DeepSeek V4.1 Flash sudah dapat dijalankan melalui vLLM pada hari rilis model, dengan menggabungkan runtime NeuWare, Torch MLU Ops, dan kernel BangC yang dioptimalkan.
Apa poin penting yang harus divalidasi terlebih dahulu?
Cambricon menyatakan DeepSeek V4.1 Flash sudah dapat dijalankan melalui vLLM pada hari rilis model, dengan menggabungkan runtime NeuWare, Torch MLU Ops, dan kernel BangC yang dioptimalkan. DeepSeek V4.1 Flash adalah model MoE multimodal dengan 552 miliar parameter backbone, konteks hingga satu juta token, serta sekitar 8 miliar parameter aktif saat prefill dan 16 miliar saat decoding.
Apa yang harus saya lakukan selanjutnya dalam latihan?
Angka memori yang dilaporkan DeepSeek—890 byte KV cache global per token—menunjukkan potensi penting untuk layanan konteks panjang, tetapi bukan benchmark throughput atau latensi independen di klaster Cambricon.