RéponsesPublié18 sources
Comment Cambricon a rendu DeepSeek-V4.1-Flash disponible sur vLLM dès le jour J
Cambricon affirme avoir rendu DeepSeek V4.1 Flash exploitable dès le jour de sa publication sur la pile d’inférence open source vLLM, grâce à NeuWare, Torch MLU Ops et des noyaux BangC optimisés. Le modèle multimodal MoE de DeepSeek compte 552 milliards de paramètres de base, active environ 8 milliards de paramètres...
Publié parModifié avec GPT-5.6 TerraImages générées avec GPT Image 2
Réponse de recherche
Points clés à retenir
- Cambricon affirme avoir rendu DeepSeek V4.1 Flash exploitable dès le jour de sa publication sur la pile d’inférence open source vLLM, grâce à NeuWare, Torch MLU Ops et des noyaux BangC optimisés.
- Le modèle multimodal MoE de DeepSeek compte 552 milliards de paramètres de base, active environ 8 milliards de paramètres au préremplissage et 16 milliards au décodage, et prend en charge jusqu’à un million de tokens...
- DeepSeek annonce un cache KV global de 890 octets par token, soit environ un quart de celui de V4 Flash ; ces chiffres décrivent la conception du modèle, non des performances indépendamment mesurées sur un cluster Cam...
Prompt IA
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Cambricon achieve Day-0, production-ready enablement of DeepSeek-V4.1-Flash on the open-source vLLM inference stack using NeuWare, T. Article summary: Cambricon’s claimed Day‑0 result is primarily a software-integration achievement: it brought the new model up on the public vLLM serving path rather than requiring customers to wait for a private, hardware-specific port.. Topic tags: general, general web, documentation, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
L’annonce « Day 0 » de Cambricon renvoie avant tout à une étape de préparation logicielle et d’intégration. L’entreprise affirme que DeepSeek-V4.1-Flash pouvait s’exécuter, dès la publication du checkpoint, sur ses accélérateurs MLU via la pile d’inférence open source vLLM, avec le runtime NeuWare, Torch-MLU-Ops et des noyaux BangC optimisés. 13
C’est important car publier les poids d’un grand modèle ne suffit pas à le déployer. Il faut aussi un runtime adapté à l’accélérateur, des opérateurs de framework compatibles, une exécution distribuée fonctionnelle et des implémentations efficaces pour les opérations les plus coûteuses.
Les trois briques de l’intégration
Selon Cambricon, cette prise en charge repose sur trois niveaux :
- NeuWare est le runtime logiciel des accélérateurs MLU de Cambricon ;
- Torch-MLU-Ops fournit des opérateurs adaptés aux MLU, notamment pour les structures Engram et Compressor du modèle, d’après les éléments publiés sur cette adaptation ;
9
- BangC est le langage de programmation parallèle hétérogène de Cambricon, utilisé pour écrire des noyaux performants directement pour l’architecture MLU.
18
L’objectif est de faire tourner le modèle par un backend spécifique à l’accélérateur tout en conservant vLLM comme couche de service publique, plutôt que d’imposer une application propriétaire isolée. Cambricon indique également travailler dans vLLM sur l’inférence mixte et à faible précision, l’optimisation du parallélisme, le parallélisme d’experts à grande échelle et la séparation entre préremplissage et décodage. 18
Pourquoi DeepSeek-V4.1-Flash est exigeant à servir
DeepSeek-V4.1-Flash est un modèle multimodal de type mixture of experts (MoE) : il traite du texte et des images. Il compte 552 milliards de paramètres de base, auxquels s’ajoutent 196 milliards de paramètres de mémoire Engram, et prend en charge des contextes allant jusqu’à un million de tokens. 5
8
Son nombre total de paramètres ne correspond pas à ceux mobilisés à chaque étape. DeepSeek indique qu’environ 8 milliards de paramètres sont activés par token de requête pendant le prefill — le traitement initial du prompt — puis 16 milliards par token généré au décodage. 8
Cette asymétrie peut réduire le calcul pour les charges de travail dominées par de longues requêtes. Mais le coût réel dépend encore notamment de la précision choisie, de la taille des lots, de la mémoire disponible, des communications entre accélérateurs et du profil de trafic.
Une architecture Causal Encoder–Decoder
Le modèle adopte une architecture Causal Encoder–Decoder (CED) de 40 couches : un encodeur causal de 20 couches, suivi d’un décodeur de 20 couches. Au lieu de calculer indépendamment des clés et valeurs globales à chaque couche du décodeur, celui-ci projette son état KV global à partir des états cachés finaux de l’encodeur. 5
8
Ce choix vise directement le cache KV, c’est-à-dire l’état conservé afin que le modèle puisse tenir compte des tokens précédents pendant la génération. Ce cache devient fréquemment un facteur limitant pour les contextes longs.
890 octets par token pour le cache KV global
DeepSeek affirme que la réutilisation inter-couches du cache KV dans son mécanisme Compressed Sparse Attention 2, associée à un cache KV en FP4, ramène l’empreinte du cache KV global — conservé en mémoire HBM — à 890 octets par token. Cela représente environ un quart de l’empreinte correspondante de DeepSeek-V4-Flash. 7
8
Le même matériau technique indique que l’optimisation SWA Bounded Replay réduit le cache KV persistant, stocké sur SSD ou dans la mémoire hôte, à environ un huitième de celui de V4-Flash. 7
Pour un exploitant de cluster, cela peut signifier davantage de mémoire disponible pour des sessions simultanées sur des requêtes longues ou multimodales. Ces chiffres restent toutefois des données de conception communiquées par DeepSeek : ils ne constituent pas des mesures indépendantes de débit, de latence, de coût, de disponibilité ou de qualité sur une infrastructure Cambricon donnée.
Comment les optimisations de service se complètent
Les documents logiciels de Cambricon citent plusieurs techniques pertinentes pour servir de grands modèles MoE via vLLM. 18
- Inférence mixte et basse précision : elle peut réduire le trafic mémoire ainsi que l’espace nécessaire aux poids et aux activations.
- Optimisation du parallélisme et parallélisme d’experts à grande échelle : ces mécanismes répartissent les calculs et l’exécution des experts routés entre accélérateurs.
- Recouvrement calcul-communication : il vise à exécuter des calculs pendant que des données de routage ou des communications collectives circulent entre nœuds.
- Séparation prefill–decode : le traitement du prompt et la génération itérative de tokens sont déployés dans des pools de ressources distincts, que l’on peut dimensionner et régler séparément.
Ces mécanismes répondent à des contraintes différentes. Le prefill est souvent gourmand en bande passante et en calcul sur des prompts longs ; le décodage est itératif et sensible à la latence ; le routage MoE ajoute des échanges distribués. Le résultat recherché est donc une meilleure utilisation des accélérateurs et un service plus prévisible sous concurrence, pas simplement un chiffre théorique de FLOPS plus élevé.
Les éléments publics disponibles ne fournissent toutefois pas de mesures reproductibles de débit, de latence, de topologie de cluster, de qualité de modèle ou de disponibilité pour DeepSeek-V4.1-Flash sur matériel Cambricon. Dans ce contexte, « prêt pour la production » doit être compris comme l’existence d’un chemin de déploiement utilisable et pris en charge ; une qualification propre à chaque environnement reste nécessaire avant tout engagement de capacité ou de niveau de service.
Ce que signale l’adhésion à la PyTorch Foundation
Le 8 septembre 2026, la PyTorch Foundation a annoncé l’arrivée de Cambricon comme membre Platinum. 49 La fondation a par ailleurs indiqué que Cambricon avait travaillé avec la communauté vLLM afin d’apporter une prise en charge Day 0 de modèles ouverts, dont DeepSeek-V4 et GLM-5.
57
Le signal est surtout celui d’un alignement avec l’écosystème : un accélérateur est plus facile à adopter lorsqu’il fonctionne avec des frameworks et couches de service largement utilisés, plutôt qu’avec une pile séparée propre à un fournisseur. Cette adhésion ne garantit pas la prise en charge immédiate de chaque modèle ou fonctionnalité, mais elle conforte l’orientation affichée par Cambricon vers la compatibilité PyTorch et vLLM.
Quelles autres familles de modèles sont concernées ?
Les documents de Cambricon mentionnent des travaux autour de DeepSeek V3/V3.1, Qwen2.5, Qwen3, Qwen3-Next, GLM-4.5, Qwen3-VL, Flux, Wan 2.1/2.2 et Hunyuan-Video. 18
Il faut néanmoins distinguer la prise en charge de l’entraînement, les optimisations logicielles générales et l’inférence vLLM disponible dès le jour de sortie. La source ne permet pas d’affirmer que toutes ces familles bénéficient du même statut que DeepSeek-V4.1-Flash. La conclusion prudente est que Cambricon dispose d’une présence logicielle établie sur plusieurs familles de modèles chinoises ; la disponibilité exacte, les précisions prises en charge et la couverture multimodale doivent être vérifiées modèle par modèle.
Pourquoi la disponibilité dès le lancement compte
Pour les opérateurs de clusters, une compatibilité le jour de la sortie réduit le délai entre la publication d’un modèle et son évaluation contrôlée sur l’infrastructure existante. Une voie vLLM publique offre aussi un cadre plus familier pour la planification de capacité, l’observabilité, le routage, les essais de quantification et les tests d’intégration qu’un fork de service sur mesure.
C’est particulièrement pertinent pour DeepSeek-V4.1-Flash : ses mécanismes annoncés de compression du cache KV ciblent deux contraintes centrales des services à long contexte, à savoir la mémoire HBM disponible pour les sessions actives et les besoins de stockage persistant ou de mémoire hôte pour la réutilisation de cache. 7
8
L’enjeu n’est donc pas qu’une annonce Day 0 démontre des performances universelles en production. Il est que la répétition d’une chaîne complète — runtime, opérateurs de framework, noyaux optimisés, exécution distribuée et outils de service — rapproche la prise en charge matérielle du moment où les modèles sont publiés, à mesure que les modèles ouverts deviennent plus grands, plus clairsemés et plus multimodaux.
Studio Global AI
Continuez vos recherches
Cette page comprend une réponse basée sur la source que vous pouvez continuer dans Studio Global.
Les gens demandent aussi
Quelle est la réponse courte à « Comment Cambricon a rendu DeepSeek-V4.1-Flash disponible sur vLLM dès le jour J » ?
Cambricon affirme avoir rendu DeepSeek V4.1 Flash exploitable dès le jour de sa publication sur la pile d’inférence open source vLLM, grâce à NeuWare, Torch MLU Ops et des noyaux BangC optimisés.
Quels sont les points clés à valider en premier ?
Cambricon affirme avoir rendu DeepSeek V4.1 Flash exploitable dès le jour de sa publication sur la pile d’inférence open source vLLM, grâce à NeuWare, Torch MLU Ops et des noyaux BangC optimisés. Le modèle multimodal MoE de DeepSeek compte 552 milliards de paramètres de base, active environ 8 milliards de paramètres au préremplissage et 16 milliards au décodage, et prend en charge jusqu’à un million de tokens...
Que dois-je faire ensuite en pratique ?
DeepSeek annonce un cache KV global de 890 octets par token, soit environ un quart de celui de V4 Flash ; ces chiffres décrivent la conception du modèle, non des performances indépendamment mesurées sur un cluster Cam...