AnswersPublished18 sources
Cambricon Bawa DeepSeek-V4.1-Flash ke vLLM pada Hari Pelancaran
Cambricon berkata DeepSeek V4.1 Flash boleh dijalankan pada pemecut MLUnya melalui vLLM sumber terbuka pada hari model itu dilancarkan, menggunakan runtime NeuWare, Torch MLU Ops dan kernel BangC yang dioptimumkan. DeepSeek V4.1 Flash ialah model MoE multimodal dengan 552 bilion parameter tulang belakang, konteks se...
Diterbitkan olehDisunting dengan GPT-5.6 TerraImej dijana dengan GPT Image 2
Research answer
Key takeaways
- Cambricon berkata DeepSeek V4.1 Flash boleh dijalankan pada pemecut MLUnya melalui vLLM sumber terbuka pada hari model itu dilancarkan, menggunakan runtime NeuWare, Torch MLU Ops dan kernel BangC yang dioptimumkan.
- DeepSeek V4.1 Flash ialah model MoE multimodal dengan 552 bilion parameter tulang belakang, konteks sehingga satu juta token, serta kira kira 8 bilion parameter aktif ketika prefill dan 16 bilion ketika decode.
- DeepSeek melaporkan jejak cache KV global 890 bait bagi setiap token—sekitar satu perempat daripada DeepSeek V4 Flash—tetapi angka ini ialah tuntutan reka bentuk model, bukannya penanda aras kluster Cambricon yang bebas.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Cambricon achieve Day-0, production-ready enablement of DeepSeek-V4.1-Flash on the open-source vLLM inference stack using NeuWare, T. Article summary: Cambricon’s claimed Day‑0 result is primarily a software-integration achievement: it brought the new model up on the public vLLM serving path rather than requiring customers to wait for a private, hardware-specific port.. Topic tags: general, general web, documentation, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
Bagi operator kluster AI, tuntutan Day-0 Cambricon lebih tepat dilihat sebagai pencapaian kesediaan perisian dan integrasi. Syarikat itu berkata DeepSeek-V4.1-Flash boleh berjalan pada pemecut Cambricon menerusi timbunan inferens sumber terbuka vLLM pada hari yang sama titik semak model diterbitkan. Laluan tersebut menggabungkan runtime NeuWare, Torch-MLU-Ops dan kernel BangC yang dioptimumkan. 13
Ini penting kerana ketersediaan pemberat model sahaja belum menjadikannya sedia digunakan. Sesuatu model baharu masih memerlukan runtime pemecut, sokongan operator dalam rangka kerja, pelaksanaan teragih, serta kernel yang cekap untuk bahagian pengiraan paling berat.
Tiga lapisan di sebalik penyepaduan
Cambricon menggambarkan laluan sokongannya melalui tiga komponen utama:
- NeuWare ialah runtime perisian bagi pemecut MLU Cambricon.
- Torch-MLU-Ops menyediakan sokongan operator yang memahami MLU, termasuk bagi struktur Engram dan Compressor model ini seperti yang dilaporkan dalam liputan penyepaduan tersebut.
9
- BangC pula ialah bahasa pengaturcaraan selari heterogen Cambricon untuk menulis program MLU berprestasi tinggi, termasuk kernel bagi operasi kritikal.
18
Gabungan ini membolehkan penggunaan vLLM melalui backend khusus pemecut tanpa perlu membina aplikasi pelayan tertutup dan tersendiri. Bahan perisian Cambricon turut menyebut inferens ketepatan campuran dan bit rendah, pengoptimuman selarian, selarian pakar berskala besar, serta pengasingan prefill–decode sebagai bidang kerja vLLMnya. 18
Mengapa DeepSeek-V4.1-Flash sukar untuk dihidangkan
DeepSeek-V4.1-Flash ialah model mixture-of-experts (MoE) multimodal yang menerima teks dan imej. Ia mempunyai 552 bilion parameter tulang belakang, tambahan 196 bilion parameter memori Engram, dan menyokong konteks sehingga satu juta token. 5
8
Nombor paling penting untuk operasi bukan hanya jumlah parameter, tetapi parameter yang aktif. DeepSeek menyatakan bahawa sekitar 8 bilion parameter diaktifkan bagi setiap token arahan semasa fasa prefill, manakala sekitar 16 bilion parameter aktif bagi setiap token yang dijana dalam fasa decode. 8
Secara ringkas, prefill ialah proses membaca dan memproses arahan awal pengguna; decode ialah proses menjana jawapan token demi token. Reka bentuk asimetri ini berpotensi mengurangkan pengiraan bagi beban kerja yang berat pada arahan, namun kos sebenar masih bergantung pada ketepatan numerik, saiz kelompok, komunikasi antara pemecut, kapasiti memori, pemberat model dan campuran trafik.
Seni bina Causal Encoder–Decoder
Model ini menggunakan seni bina Causal Encoder–Decoder (CED) dengan 40 lapisan: 20 lapisan pengekod kausal diikuti 20 lapisan penyahkod. Daripada setiap lapisan penyahkod membina keadaan key-value (KV) globalnya sendiri, penyahkod memproyeksikan KV global daripada keadaan tersembunyi terakhir pengekod. 5
8
Reka bentuk ini berkait rapat dengan isu memori ketika inferens konteks panjang. Dalam penjanaan model bahasa, cache KV menyimpan keadaan yang diperlukan model untuk merujuk token terdahulu. Cache inilah yang sering menjadi kekangan utama apabila konteks atau bilangan sesi serentak meningkat.
Tuntutan 890 bait bagi setiap token untuk cache KV
DeepSeek melaporkan bahawa penggunaan semula cache KV merentas lapisan dalam Compressed Sparse Attention 2, bersama cache KV FP4, menurunkan jejak cache KV global yang disimpan dalam memori jalur lebar tinggi (HBM) kepada 890 bait bagi setiap token. Itu kira-kira satu perempat daripada jejak DeepSeek-V4-Flash yang sepadan. 7
8
Bahan teknikal yang sama menyatakan bahawa SWA Bounded Replay mengurangkan jejak cache KV berterusan—yang disimpan dalam SSD atau memori hos—kepada sekitar satu perlapan daripada V4-Flash. 7
Bagi operator, angka ini menunjukkan perubahan penting pada kekangan servis konteks panjang dan multimodal: cache yang lebih kecil bagi setiap permintaan boleh membebaskan lebih banyak memori untuk sesi serentak. Namun, ia perlu dibaca dengan berhati-hati. Angka tersebut ialah tuntutan reka bentuk daripada DeepSeek, bukannya penanda aras hujung ke hujung yang bebas bagi kluster Cambricon. Ia tidak membuktikan kadar throughput, kependaman, ketepatan, ketersediaan atau kos tertentu bagi setiap pemasangan.
Cara pengoptimuman pelayan saling melengkapi
Bahan awam Cambricon menyenaraikan beberapa pendekatan yang relevan untuk menghidangkan model MoE besar melalui vLLM. 18
- Inferens ketepatan campuran dan bit rendah boleh mengurangkan trafik memori serta ruang untuk pemberat dan pengaktifan.
- Pengoptimuman selarian dan selarian pakar berskala besar bertujuan membahagikan kerja model serta pelaksanaan pakar yang dipilih oleh penghala merentas pemecut.
- Pertindihan komunikasi dengan pengiraan bertujuan memastikan pemecut terus bekerja ketika data penghalaan pakar atau komunikasi kolektif bergerak antara pekerja.
- Pengasingan prefill–decode membolehkan pemprosesan arahan dan penjanaan token disediakan serta ditala secara berasingan.
Teknik-teknik ini menyelesaikan masalah yang berbeza tetapi berkait. Prefill lazimnya berat dari segi jalur lebar dan panjang arahan, manakala decode bersifat berulang serta peka kepada kependaman. MoE pula menambah keperluan koordinasi teragih kerana token perlu dihantar kepada pakar yang dipilih. Matlamatnya ialah penggunaan perkakasan yang lebih baik dan servis yang lebih stabil di bawah beban serentak—bukan sekadar angka FLOPS teori yang lebih tinggi.
Bahan awam yang tersedia tidak memberikan ukuran V4.1-Flash yang boleh dihasilkan semula bagi throughput, kependaman, topologi kluster, kualiti model atau ketersediaan perkhidmatan pada perkakasan Cambricon. Oleh itu, istilah “sedia untuk produksi” patut difahami sebagai adanya laluan penggunaan yang boleh disokong, bukan jaminan prestasi untuk semua konfigurasi. Operator masih perlu mengesahkan versi model, ketepatan, panjang konteks, batching dan tetapan kluster sendiri sebelum membuat komitmen kapasiti atau SLA.
Maksud keahlian Platinum dalam PyTorch Foundation
Pada 8 September 2026, PyTorch Foundation mengumumkan bahawa Cambricon menyertai organisasi itu sebagai ahli Platinum. 49 Foundation itu juga menyatakan Cambricon telah bekerjasama dengan komuniti vLLM untuk menyediakan sokongan Day-0 bagi model sumber terbuka termasuk DeepSeek-V4 dan GLM-5.
57
Isyarat utamanya ialah penjajaran ekosistem. Sokongan pemecut lebih berguna jika ia berfungsi melalui rangka kerja awam yang digunakan secara meluas seperti PyTorch dan lapisan pelayan vLLM, berbanding memaksa pengguna menyelenggara timbunan perisian khusus vendor. Keahlian itu sendiri tidak menjamin setiap model atau ciri akan terus menerima sokongan huluan, tetapi ia mengukuhkan tumpuan Cambricon terhadap keserasian PyTorch dan vLLM.
Model lain yang disentuh oleh ekosistem perisian Cambricon
Bahan Cambricon menyenaraikan kerja sokongan yang melibatkan DeepSeek V3/V3.1, Qwen2.5, Qwen3, Qwen3-Next, GLM-4.5, Qwen3-VL, Flux, Wan 2.1/2.2 dan Hunyuan-Video. 18
Namun, senarai itu meliputi campuran sokongan latihan dan pengoptimuman perisian yang lebih luas. Ia tidak membuktikan bahawa semua keluarga model tersebut mempunyai status inferens vLLM produksi dan Day-0 yang sama seperti tuntutan bagi DeepSeek-V4.1-Flash. Status sebenar—termasuk format ketepatan, sokongan multimodal dan ketersediaan pada hari pelancaran—perlu disemak bagi setiap keluaran.
Mengapa keserasian pada hari pelancaran penting
Keserasian pada hari model dilancarkan boleh memendekkan masa antara keluaran model dan penilaian terkawal pada infrastruktur sedia ada. Laluan vLLM awam juga memberi pasukan asas yang lebih biasa untuk perancangan kapasiti, penghalaan, pemerhatian sistem, ujian kuantisasi dan integrasi, berbanding cabang pelayan khusus vendor.
Bagi V4.1-Flash, perkara ini lebih ketara kerana reka bentuk mampatan cachenya menyasarkan dua tekanan utama servis konteks panjang: kapasiti HBM untuk sesi aktif dan keperluan SSD atau memori hos bagi penggunaan semula cache. 7
8
Kesimpulan yang lebih berhati-hati bukanlah bahawa satu pengumuman Day-0 membuktikan prestasi produksi dalam semua keadaan. Sebaliknya, ia menunjukkan nilai sokongan berulang merentas runtime, operator rangka kerja, kernel, pelaksanaan teragih dan alat pelayan. Rantaian itulah yang boleh mendekatkan kesediaan pemecut kepada tarikh pelancaran model, khususnya apabila model terbuka akan datang menjadi lebih besar, lebih jarang diaktifkan dan lebih multimodal.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Cambricon Bawa DeepSeek-V4.1-Flash ke vLLM pada Hari Pelancaran"?
Cambricon berkata DeepSeek V4.1 Flash boleh dijalankan pada pemecut MLUnya melalui vLLM sumber terbuka pada hari model itu dilancarkan, menggunakan runtime NeuWare, Torch MLU Ops dan kernel BangC yang dioptimumkan.
What are the key points to validate first?
Cambricon berkata DeepSeek V4.1 Flash boleh dijalankan pada pemecut MLUnya melalui vLLM sumber terbuka pada hari model itu dilancarkan, menggunakan runtime NeuWare, Torch MLU Ops dan kernel BangC yang dioptimumkan. DeepSeek V4.1 Flash ialah model MoE multimodal dengan 552 bilion parameter tulang belakang, konteks sehingga satu juta token, serta kira kira 8 bilion parameter aktif ketika prefill dan 16 bilion ketika decode.
What should I do next in practice?
DeepSeek melaporkan jejak cache KV global 890 bait bagi setiap token—sekitar satu perempat daripada DeepSeek V4 Flash—tetapi angka ini ialah tuntutan reka bentuk model, bukannya penanda aras kluster Cambricon yang bebas.