AnswersPublished18 sources
Cambricon, DeepSeek-V4.1-Flash’i vLLM’de ilk günden nasıl çalıştırdı?
Cambricon, DeepSeek V4.1 Flash’i model denetim noktasının yayımlandığı gün açık kaynaklı vLLM çıkarım yığını üzerinde çalıştırdığını; bunun için NeuWare, Torch MLU Ops ve BangC çekirdeklerini bir araya getirdiğini söy... DeepSeek V4.1 Flash; 552 milyar omurga parametreli, metin ve görüntü kabul eden bir MoE model.
YayımlayanGPT-5.6 Terra ile düzenlendiGörseller GPT Image 2 ile oluşturuldu
Research answer
Key takeaways
- Cambricon, DeepSeek V4.1 Flash’i model denetim noktasının yayımlandığı gün açık kaynaklı vLLM çıkarım yığını üzerinde çalıştırdığını; bunun için NeuWare, Torch MLU Ops ve BangC çekirdeklerini bir araya getirdiğini söy...
- DeepSeek V4.1 Flash; 552 milyar omurga parametreli, metin ve görüntü kabul eden bir MoE model.
- DeepSeek’in bildirdiği tasarıma göre küresel KV önbelleği token başına 890 bayta iniyor.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Cambricon achieve Day-0, production-ready enablement of DeepSeek-V4.1-Flash on the open-source vLLM inference stack using NeuWare, T. Article summary: Cambricon’s claimed Day‑0 result is primarily a software-integration achievement: it brought the new model up on the public vLLM serving path rather than requiring customers to wait for a private, hardware-specific port.. Topic tags: general, general web, documentation, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
Cambricon’un “ilk gün” (Day-0) desteği iddiası, esas olarak bir yazılım entegrasyonu ve hazır olma başarısı olarak okunmalı. Şirket, DeepSeek-V4.1-Flash’in model denetim noktası yayımlandığı gün, açık kaynaklı vLLM çıkarım katmanı üzerinden Cambricon MLU hızlandırıcılarında çalıştırılabildiğini belirtiyor. Bu yol; NeuWare çalışma zamanı, Torch-MLU-Ops operatör desteği ve optimize edilmiş BangC çekirdeklerini birleştiriyor. 13
Bu ayrım önemli: Büyük bir modelin ağırlıklarının yayımlanmış olması, onun herhangi bir hızlandırıcıda hemen üretimde sunulabileceği anlamına gelmez. Çalışma zamanı, çerçeve operatörleri, dağıtık yürütme desteği ve modelin hesaplama açısından zorlayıcı noktalarına uygun verimli çekirdekler gerekir.
Entegrasyonun üç yazılım katmanı
Cambricon’un tarif ettiği yapı üç ana parçadan oluşuyor:
- NeuWare, şirketin MLU hızlandırıcıları için çalışma zamanı katmanını sağlıyor.
- Torch-MLU-Ops, model bileşenleri için MLU uyumlu operatör desteği sunuyor; haberlere göre Engram ve Compressor yapıları da buna dahil.
9
- BangC çekirdekleri, MLU mimarisindeki kritik işlemleri doğrudan hedefliyor. Cambricon, BangC’yi MLU’larda yüksek performanslı programlar yazmak için geliştirdiği heterojen paralel programlama dili olarak tanımlıyor.
18
Bu katmanlar, vLLM servis yolunun özel ve tek seferlik bir uygulamaya dönüşmeden hızlandırıcıya özgü bir arka uç kullanabilmesini amaçlıyor. Cambricon ayrıca vLLM çalışmalarında düşük bitli karma hassasiyetli çıkarım, paralellik optimizasyonu, büyük ölçekli uzman paralelliği ve prefill–decode ayrıştırmalı dağıtımı sayıyor. 18
DeepSeek-V4.1-Flash neden zor bir servis hedefi?
DeepSeek-V4.1-Flash; 552 milyar omurga parametresine ek olarak 196 milyar Engram bellek parametresi bulunan, çok modlu bir uzmanlar karışımı (Mixture-of-Experts/MoE) modeli. Metin ve görüntü girdilerini kabul ediyor, bağlam uzunluğu ise 1 milyon tokena kadar çıkıyor. 5
8
İşletim açısından kritik fark, toplam parametre sayısıyla her token için etkinleşen parametre sayısı arasındaki fark. DeepSeek’e göre model, prefill olarak adlandırılan istem işleme aşamasında token başına yaklaşık 8 milyar, çıktı üretimindeki decode aşamasında ise yaklaşık 16 milyar parametreyi etkinleştiriyor. 8
Bu asimetrik yaklaşım, özellikle uzun istemlerin işlendiği iş yüklerinde hesaplama gereksinimini azaltabilir. Ancak gerçek servis maliyeti; ağırlıklar, kullanılan hassasiyet, toplu işleme boyutu, cihazlar arası iletişim, bellek kapasitesi ve iş yükü karışımı gibi birçok değişkene bağlıdır.
Nedensel kodlayıcı–kod çözücü mimarisi
Model, 20 katmanlı nedensel kodlayıcı ve 20 katmanlı kod çözücüden oluşan, toplam 40 katmanlı bir Causal Encoder–Decoder (CED) mimarisi kullanıyor. Kod çözücü, küresel anahtar-değer (KV) durumunu her katmanda bağımsız üretmek yerine kodlayıcının son gizli durumlarından yansıtıyor. 5
8
Bu tercih, uzun bağlamlı çıkarımda büyük bir bellek yüküne dönüşebilen KV önbelleği açısından belirleyici. KV önbelleği, modelin yeni tokenlar üretirken önceki tokenlara dikkat edebilmesi için tutulan durum bilgisidir.
Token başına 890 baytlık KV önbellek iddiası
DeepSeek, Compressed Sparse Attention 2 içindeki katmanlar arası KV önbellek yeniden kullanımı ile FP4 KV önbelleklemenin birleşiminin, yüksek bant genişlikli bellekte (HBM) tutulan küresel KV önbellek ayak izini token başına 890 bayta düşürdüğünü bildiriyor. Bu, karşılık gelen DeepSeek-V4-Flash ayak izinin yaklaşık dörtte biri. 7
8
Aynı teknik materyal, SWA Bounded Replay sayesinde SSD veya ana makine belleğinde tutulan kalıcı KV önbellek gereksiniminin de V4-Flash’in yaklaşık sekizde birine indiğini belirtiyor. 7
Uzun bağlam ve çok modlu servis işleten ekipler için bunun anlamı açık: İstek başına daha az KV durumu, aynı bellek bütçesiyle daha fazla eşzamanlı oturuma alan bırakabilir. Yine de bunlar DeepSeek’in açıkladığı model tasarımı ölçümleri. Belirli bir Cambricon kümesinde doğrulanmış uçtan uca gecikme, işlem hacmi, maliyet, doğruluk ya da erişilebilirlik sonucu olarak değerlendirilmemeli.
Servis optimizasyonları nasıl birlikte çalışıyor?
Cambricon’un kamuya açık yazılım materyalleri, büyük MoE modellerinin vLLM üzerinde sunulmasında kullanılabilecek çeşitli teknikleri işaret ediyor. 18
- Karma ve düşük hassasiyetli çıkarım, ağırlıklar ve aktivasyonlar için gereken bellek ile veri trafiğini azaltabilir.
- Paralellik optimizasyonu ve büyük ölçekli uzman paralelliği, model işini ve yönlendirilen uzmanların yürütmesini hızlandırıcılar arasında dağıtmayı hedefler.
- İletişim–hesaplama örtüşmesi, kolektif iletişim veya uzman yönlendirme verisi cihazlar arasında hareket ederken cihazların boş kalmasını azaltmayı amaçlar.
- Prefill–decode ayrıştırması, istem işleme ile token üretimini ayrı kaynak havuzlarında ölçeklendirmeye ve ayarlamaya imkân verir.
Bu yöntemler birbirinin alternatifi değil, tamamlayıcısıdır. Prefill aşaması daha çok istem ve bant genişliği ağırlıklıyken decode aşaması yinelemeli yapıdadır ve gecikmeye hassastır. MoE yönlendirmesi de cihazlar arasında ek koordinasyon ihtiyacı doğurur. Hedef, yalnızca kuramsal FLOPS değerini artırmak değil; eşzamanlı yük altında daha iyi kullanım oranı ve daha öngörülebilir hizmet sunmaktır.
Mevcut kamuya açık materyaller, DeepSeek-V4.1-Flash’in Cambricon donanımındaki işlem hacmi, gecikme, küme topolojisi, model kalitesi veya servis seviyesi kullanılabilirliği için yeniden üretilebilir ölçümler vermiyor. Bu nedenle “üretime hazır” ifadesi, kullanılabilir ve desteklenen bir dağıtım yolunun bulunduğuna dair kanıt olarak görülmeli; kapasite ya da SLA taahhüdünden önce kurumların kendi doğrulamalarını yapması gerekir.
PyTorch Foundation Platinum üyeliği ne anlatıyor?
PyTorch Foundation, 8 Eylül 2026’da Cambricon’un Platinum üye olduğunu duyurdu. 49 Vakıf ayrıca şirketin, DeepSeek-V4 ve GLM-5 dahil açık kaynaklı modeller için ilk gün desteği üzerinde vLLM topluluğuyla çalıştığını belirtti.
57
Buradaki ana mesaj ekosistem uyumu. Bir hızlandırıcının değeri, kullanıcıları ayrı bir üretici yığınına zorlamak yerine PyTorch ve vLLM gibi yaygın, açık çerçeveler üzerinden çalışabildiğinde artıyor. Üyelik tek başına her model ya da özelliğin destekleneceği garantisini vermez; ancak Cambricon’un PyTorch ve vLLM uyumluluğuna verdiği yönü güçlendirir.
Hangi model aileleri için yazılım çalışması var?
Cambricon’un materyalleri; DeepSeek V3/V3.1, Qwen2.5, Qwen3, Qwen3-Next, GLM-4.5, Qwen3-VL, Flux, Wan 2.1/2.2 ve Hunyuan-Video aileleriyle ilgili destek çalışmalarını listeliyor. 18
Bununla birlikte, bu liste eğitim desteği ve genel yazılım optimizasyonlarının karışımını içeriyor. Dolayısıyla her model ailesinin DeepSeek-V4.1-Flash ile aynı ilk gün, üretim odaklı vLLM çıkarım statüsünde olduğunu göstermiyor. Kesin çıkarım kullanılabilirliği, hassasiyet seçenekleri, çok modlu kapsam ve ilk gün durumu her sürüm için ayrı doğrulanmalı.
Aynı gün erişim neden önemli?
Küme operatörleri açısından lansman günü uyumluluğu, yeni bir modelin mevcut altyapıda kontrollü değerlendirmeye alınma süresini kısaltır. Açık vLLM yolu; kapasite planlama, yönlendirme, gözlemlenebilirlik, niceleme değerlendirmesi ve entegrasyon testleri için özel bir servis çatallamasına kıyasla daha tanıdık bir temel sunar.
DeepSeek-V4.1-Flash örneğinde bu özellikle önemli; çünkü bildirilen KV önbellek sıkıştırması, uzun bağlamlı servisin temel darboğazlarını hedefliyor: aktif oturumlar için HBM kapasitesi ile önbellek yeniden kullanımı için SSD veya ana makine belleği ihtiyacı. 7
8
Dolayısıyla daha geniş hikâye, tek bir ilk gün duyurusunun evrensel üretim performansını kanıtlaması değil. Çalışma zamanı, çerçeve operatörleri, optimize çekirdekler, dağıtık yürütme ve servis araçlarında tekrarlanabilir desteğin, hızlandırıcıların model lansmanına çok daha yakın zamanda hazır hâle gelmesini sağlamasıdır. Açık modeller büyüdükçe, daha seyrek MoE yapıları kullandıkça ve çok modlu hâle geldikçe bu yetenek daha da kritik olacaktır.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Cambricon, DeepSeek-V4.1-Flash’i vLLM’de ilk günden nasıl çalıştırdı?"?
Cambricon, DeepSeek V4.1 Flash’i model denetim noktasının yayımlandığı gün açık kaynaklı vLLM çıkarım yığını üzerinde çalıştırdığını; bunun için NeuWare, Torch MLU Ops ve BangC çekirdeklerini bir araya getirdiğini söy...
What are the key points to validate first?
Cambricon, DeepSeek V4.1 Flash’i model denetim noktasının yayımlandığı gün açık kaynaklı vLLM çıkarım yığını üzerinde çalıştırdığını; bunun için NeuWare, Torch MLU Ops ve BangC çekirdeklerini bir araya getirdiğini söy... DeepSeek V4.1 Flash; 552 milyar omurga parametreli, metin ve görüntü kabul eden bir MoE model.
What should I do next in practice?
DeepSeek’in bildirdiği tasarıma göre küresel KV önbelleği token başına 890 bayta iniyor.