AntwortenVeröffentlicht18 Quellen
Wie Cambricon DeepSeek-V4.1-Flash zum Start auf vLLM lauffähig machte
Cambricon zufolge lief DeepSeek V4.1 Flash bereits am Tag der Checkpoint Veröffentlichung über den Open Source Inferenz Stack vLLM auf seinen MLU Beschleunigern – gestützt auf NeuWare, Torch MLU Ops und optimierte Ban... DeepSeek V4.1 Flash ist ein multimodales MoE Modell mit 552 Milliarden Backbone Parametern, bis...
Veröffentlicht vonBearbeitet mit GPT-5.6 TerraBilder erstellt mit GPT Image 2
Forschungsantwort
Wichtige Erkenntnisse
- Cambricon zufolge lief DeepSeek V4.1 Flash bereits am Tag der Checkpoint Veröffentlichung über den Open Source Inferenz Stack vLLM auf seinen MLU Beschleunigern – gestützt auf NeuWare, Torch MLU Ops und optimierte Ban...
- DeepSeek V4.1 Flash ist ein multimodales MoE Modell mit 552 Milliarden Backbone Parametern, bis zu einer Million Token Kontext und asymmetrischer Aktivierung: etwa 8 Milliarden Parameter beim Prompt Verarbeiten, 16 Mi...
- DeepSeek gibt für den globalen KV Cache 890 Byte pro Token an, rund ein Viertel von DeepSeek V4 Flash.
KI-Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Cambricon achieve Day-0, production-ready enablement of DeepSeek-V4.1-Flash on the open-source vLLM inference stack using NeuWare, T. Article summary: Cambricon’s claimed Day‑0 result is primarily a software-integration achievement: it brought the new model up on the public vLLM serving path rather than requiring customers to wait for a private, hardware-specific port.. Topic tags: general, general web, documentation, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
Cambricons „Day 0“-Meldung ist vor allem ein Meilenstein bei Integration und Software-Reife. Nach Unternehmensangaben ließ sich DeepSeek-V4.1-Flash am Tag der Veröffentlichung des Modell-Checkpoints über den Open-Source-Inferenz-Stack vLLM auf Cambricon-Beschleunigern ausführen. Dafür wurden die Laufzeitumgebung NeuWare, Torch-MLU-Ops und optimierte BangC-Kernels kombiniert. 13
Das ist relevant, weil verfügbare Modellgewichte allein noch keinen produktiv einsetzbaren Betrieb bedeuten. Nötig sind eine funktionierende Beschleuniger-Laufzeit, passende Framework-Operatoren, Unterstützung für verteilte Ausführung sowie effiziente Implementierungen für besonders rechenintensive Modellteile.
Die drei Ebenen der Integration
Cambricons Ansatz lässt sich in drei Schichten gliedern:
- NeuWare stellt die Software-Laufzeit für die MLU-Beschleuniger des Unternehmens bereit.
- Torch-MLU-Ops liefert MLU-spezifische Operator-Unterstützung, unter anderem für die in der Berichterstattung genannten Engram- und Compressor-Strukturen des Modells.
9
- BangC-Kernels optimieren kritische Rechenoperationen unmittelbar für die MLU-Architektur. BangC ist laut Cambricon eine heterogene Parallelprogrammiersprache für leistungsfähige Programme auf MLUs.
18
Damit kann eine vLLM-Installation einen beschleunigerspezifischen Backend-Pfad nutzen, ohne dass der Serving-Betrieb zu einer proprietären Einzellösung werden muss. Cambricon nennt für seine weitergehende vLLM-Arbeit zudem Low-Bit- und Mixed-Precision-Inferenz, Parallelisierungsoptimierung, großskalige Expertenparallelität sowie eine Trennung von Prefill und Decode. 18
Warum DeepSeek-V4.1-Flash beim Serving anspruchsvoll ist
DeepSeek-V4.1-Flash ist ein multimodales Mixture-of-Experts-Modell (MoE) mit 552 Milliarden Backbone-Parametern und zusätzlich 196 Milliarden Engram-Speicherparametern. Es verarbeitet Text und Bilder und unterstützt Kontexte von bis zu einer Million Token. 5
8
Entscheidend für den Betrieb ist der Unterschied zwischen Gesamt- und aktiven Parametern. DeepSeek gibt an, dass das Modell beim Verarbeiten eines Prompt-Tokens – der sogenannten Prefill-Phase – rund 8 Milliarden Parameter aktiviert, bei jedem generierten Token in der Decode-Phase dagegen etwa 16 Milliarden. 8
Diese asymmetrische Auslegung kann bei eingabelastigen Anwendungen den Rechenaufwand reduzieren. Die tatsächlichen Serving-Kosten hängen aber weiterhin unter anderem von Gewichtsspeicher, Präzision, Batch-Größe, Kommunikation zwischen Beschleunigern, verfügbarer Speicherkapazität und dem Lastprofil ab.
Causal Encoder–Decoder statt klassischer Schicht-für-Schicht-KVs
Das Modell nutzt eine 40-schichtige Causal-Encoder–Decoder-Architektur (CED): auf einen 20-schichtigen kausalen Encoder folgen 20 Decoder-Schichten. Der Decoder leitet seinen globalen Key-Value-Zustand (KV) aus den finalen Hidden States des Encoders ab, statt ihn für jede Decoder-Schicht separat zu berechnen. 5
8
Das ist für lange Kontexte wichtig. Bei der Inferenz wird der KV-Cache vorgehalten, damit das Modell beim Generieren neuer Token auf frühere Eingaben zurückgreifen kann. Gerade bei langen Sitzungen kann dieser Speicher zum Engpass werden.
890 Byte KV-Cache pro Token: Was die Zahl aussagt
DeepSeek berichtet, dass die schichtübergreifende Wiederverwendung des KV-Caches in Compressed Sparse Attention 2 zusammen mit FP4-KV-Caching den globalen, im High-Bandwidth-Memory (HBM) gehaltenen KV-Cache auf 890 Byte pro Token senkt. Das entspreche ungefähr einem Viertel des Werts von DeepSeek-V4-Flash. 7
8
Mit der Bereitstellungsoptimierung „SWA Bounded Replay“ soll der dauerhaft auf SSD oder im Host-Speicher liegende KV-Cache zudem auf etwa ein Achtel des V4-Flash-Niveaus sinken. 7
Für Betreiber weist das auf eine mögliche Entlastung bei Langkontext- und multimodalem Serving hin: Weniger Cache-Zustand pro Anfrage kann Speicher für mehr parallele Sessions freigeben. Diese Werte sind jedoch von DeepSeek veröffentlichte Modell- und Architekturangaben – keine unabhängigen Ende-zu-Ende-Messungen eines Cambricon-Clusters. Sie belegen daher nicht automatisch bestimmte Werte für Durchsatz, Latenz, Qualität, Verfügbarkeit oder Kosten in jeder Installation.
Wie die Serving-Optimierungen zusammenspielen
Cambricon nennt in seinen öffentlichen Software-Unterlagen mehrere Verfahren, die für große MoE-Modelle in vLLM relevant sind. 18
- Gemischte und niedrige Präzision kann Speicherverkehr sowie Speicherbedarf für Gewichte und Aktivierungen senken.
- Optimierte Parallelisierung und großskalige Expertenparallelität verteilen Modellberechnungen und die Ausführung gerouteter Experten auf mehrere Beschleuniger.
- Überlappung von Kommunikation und Berechnung soll Leerlauf vermeiden, während Daten für kollektive Operationen oder Experten-Routing zwischen Workern übertragen werden.
- Prefill-Decode-Disaggregation trennt Prompt-Verarbeitung und Token-Generierung, sodass beide Phasen mit unterschiedlichen Ressourcenprofilen betrieben und optimiert werden können.
Die Verfahren ergänzen sich: Prefill ist häufig eingabe- und bandbreitenintensiv, Decode läuft iterativ und reagiert empfindlich auf Latenz. MoE-Routing bringt zusätzlich Abstimmung zwischen verteilten Worker-Prozessen mit sich. Das Ziel ist daher nicht nur eine höhere theoretische FLOPS-Zahl, sondern eine bessere Auslastung und planbareres Verhalten unter paralleler Last.
Für DeepSeek-V4.1-Flash liegen im verfügbaren öffentlichen Material keine reproduzierbaren Cambricon-Messungen zu Durchsatz, Latenz, Modellqualität, Cluster-Topologie oder Service-Verfügbarkeit vor. „Produktionsreif“ sollte hier deshalb als Hinweis auf einen nutzbaren und unterstützten Deployment-Pfad verstanden werden – nicht als Ersatz für die eigene Qualifizierung vor Kapazitäts- oder SLA-Zusagen.
Was die Platinum-Mitgliedschaft bei der PyTorch Foundation signalisiert
Am 8. September 2026 gab die PyTorch Foundation bekannt, dass Cambricon ihr als Platinum-Mitglied beigetreten ist. 49 Separat erklärte die Foundation, Cambricon habe mit der vLLM-Community an Day-0-Support für Open-Source-Modelle wie DeepSeek-V4 und GLM-5 gearbeitet.
57
Die Bedeutung liegt vor allem in der Ökosystem-Anbindung: Beschleunigerunterstützung ist für Nutzer deutlich wertvoller, wenn sie über verbreitete öffentliche Frameworks und Serving-Schichten funktioniert, statt einen dauerhaft separaten Herstellers-Stack zu verlangen. Die Mitgliedschaft garantiert nicht automatisch Upstream-Support für jedes Modell oder jedes Feature, unterstreicht aber Cambricons Ausrichtung auf Kompatibilität mit PyTorch und vLLM.
Welche Modellfamilien nennt Cambricon noch?
Cambricons Software-Unterlagen führen Arbeiten rund um DeepSeek V3/V3.1, Qwen2.5, Qwen3, Qwen3-Next, GLM-4.5, Qwen3-VL, Flux, Wan 2.1/2.2 und Hunyuan-Video auf. 18 Das Material vermischt jedoch Trainingsunterstützung und breitere Software-Optimierung. Es belegt nicht, dass jede dieser Familien denselben Day-0- und produktionsnahen vLLM-Inferenzstatus wie DeepSeek-V4.1-Flash besitzt.
Die belastbare Schlussfolgerung lautet daher: Cambricon verfügt über eine Software-Unterstützungsbasis für mehrere chinesische Modellfamilien. Verfügbarkeit für konkrete Releases, unterstützte Präzisionen, Multimodal-Funktionen und Day-0-Status müssen jedoch jeweils einzeln geprüft werden.
Warum Verfügbarkeit am Veröffentlichungstag zählt
Für Betreiber von KI-Clustern kann Kompatibilität zum Modellstart die Zeit zwischen Release und einer kontrollierten Evaluierung auf vorhandener Infrastruktur verkürzen. Ein öffentlicher vLLM-Pfad bietet außerdem eine vertrautere Basis für Kapazitätsplanung, Routing, Observability, Quantisierungsprüfungen und Integrationstests als ein individueller Serving-Fork.
Bei DeepSeek-V4.1-Flash ist das besonders relevant, weil die gemeldete Cache-Kompression auf zentrale Engpässe bei langen Kontexten zielt: HBM für aktive Sitzungen sowie persistenten Speicher oder Host-Speicher für Cache-Wiederverwendung. 7
8
Die größere Aussage lautet nicht, dass eine Day-0-Ankündigung universelle Produktionsleistung beweist. Entscheidend ist vielmehr ein wiederholbarer Unterstützungspfad über Laufzeit, Framework-Operatoren, Kernels, verteilte Ausführung und Serving-Werkzeuge. Das kann die Beschleunigeranpassung näher an den Modellstart rücken – gerade wenn künftige offene Modelle größer, spärlicher und multimodaler werden.
Studio Global AI
Setzen Sie Ihre Recherche fort
Diese Seite enthält eine quellengestützte Antwort, die Sie in Studio Global fortsetzen können.
Die Leute fragen auch
Wie lautet die kurze Antwort auf „Wie Cambricon DeepSeek-V4.1-Flash zum Start auf vLLM lauffähig machte“?
Cambricon zufolge lief DeepSeek V4.1 Flash bereits am Tag der Checkpoint Veröffentlichung über den Open Source Inferenz Stack vLLM auf seinen MLU Beschleunigern – gestützt auf NeuWare, Torch MLU Ops und optimierte Ban...
Was sind die wichtigsten Punkte, die zuerst validiert werden müssen?
Cambricon zufolge lief DeepSeek V4.1 Flash bereits am Tag der Checkpoint Veröffentlichung über den Open Source Inferenz Stack vLLM auf seinen MLU Beschleunigern – gestützt auf NeuWare, Torch MLU Ops und optimierte Ban... DeepSeek V4.1 Flash ist ein multimodales MoE Modell mit 552 Milliarden Backbone Parametern, bis zu einer Million Token Kontext und asymmetrischer Aktivierung: etwa 8 Milliarden Parameter beim Prompt Verarbeiten, 16 Mi...
Was soll ich als nächstes in der Praxis tun?
DeepSeek gibt für den globalen KV Cache 890 Byte pro Token an, rund ein Viertel von DeepSeek V4 Flash.