RéponsesPublié19 sources
Xing4.0-29B-A4B : caractéristiques, outils et résultats à interpréter avec prudence
Xing4.0 29B A4B compte environ 29 milliards de paramètres au total, dont quelque 4 milliards activés par token ; sa fenêtre de contexte native est de 256 000 tokens. Entraîné sur du matériel Huawei Ascend avec MindSpore, le modèle est disponible sur Hugging Face sous licence Apache 2.0.
Publié parModifié avec GPT-6 SolImages générées avec GPT Image 2
Réponse de recherche
Points clés à retenir
- Xing4.0 29B A4B compte environ 29 milliards de paramètres au total, dont quelque 4 milliards activés par token ; sa fenêtre de contexte native est de 256 000 tokens.
- Entraîné sur du matériel Huawei Ascend avec MindSpore, le modèle est disponible sur Hugging Face sous licence Apache 2.0.
- Le gain de 96 % concerne le débit d’entraînement annoncé. Les scores de benchmark et l’occupation mémoire d’environ 15 Go après quantification ne sont pas des performances garanties pour chaque installation.
Prompt IA
openai.comCreate a landscape editorial hero image for this Studio Global article: What is China Telecom AI’s open-sourced Xing4.0-29B-A4B agentic Mixture-of-Experts model, and what are its parameter count, active experts,. Article summary: Xing4.0-29B-A4B is China Telecom AI’s open-weight Mixture-of-Experts language model for coding and other multi-step agent tasks. It has about 29 billion parameters in total, but activates about 4 billion for each token—n. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, click
Xing4.0-29B-A4B est un modèle de langage à mélange d’experts (Mixture-of-Experts, ou MoE) de China Telecom AI, dont les poids sont accessibles publiquement. Il est destiné notamment à la programmation et aux tâches d’agent qui demandent plusieurs étapes. Son nom résume une distinction importante : il compte environ 29 milliards de paramètres au total, mais n’en active qu’environ 4 milliards pour chaque token. Cela ne signifie pas qu’il suffit de stocker 4 milliards de paramètres pour l’utiliser. 1
10
Ce que recouvrent les chiffres techniques
Le modèle dispose de 64 experts sélectionnables et d’un expert partagé. Pour chaque token, quatre des 64 experts sont sélectionnés, tandis que l’expert partagé participe également au calcul. Sa fenêtre de contexte native est de 256 000 tokens ; une extension à 512 000 tokens est annoncée, mais ce second chiffre ne correspond pas à la fenêtre native. 1
2
Son architecture associe l’attention latente multi-têtes (MLA), les hyperconnexions contraintes à une variété géométrique (mHC) et la prédiction de plusieurs tokens (MTP). Selon les descriptions du modèle, la MLA vise à réduire les besoins de mémoire cache de l’attention, tandis que les mHC contribuent à stabiliser l’entraînement. 1
5
Entraînement sur Ascend : attention au « +96 % »
Xing4.0-29B-A4B a été entraîné sur du matériel Huawei Ascend avec l’écosystème MindSpore. Ses développeurs attribuent à des optimisations des communications entre experts, du recalcul sélectif, de la fusion d’opérations et d’opérateurs Ascend C spécifiques un gain d’environ 96 % du débit d’entraînement, par rapport à une configuration de base non optimisée. Ce chiffre ne mesure pas une accélération de 96 % de l’inférence pour les utilisateurs. 5
13
Où trouver le modèle et avec quels outils l’utiliser ?
Les poids sont proposés sur Hugging Face sous l’identifiant XingChen-AGI/Xing4.0-29B-A4B, avec une licence Apache 2.0. La page du modèle présente des usages avec Transformers et vLLM ; la prise en charge annoncée pour l’inférence comprend aussi SGLang et KTransformers. Pour l’ajustement fin, les développeurs citent LLaMA-Factory et MindFormers. Des adaptations sont également signalées pour les environnements d’agents OpenCode, Claude Code, OpenClaw et Hermes. 12
13
8
Benchmarks et mémoire : des annonces à vérifier selon son usage
Les résultats communiqués comprennent 75,00 sur SWE-bench Verified, 57,50 sur Terminal-Bench 2.1 et 93,52 à l’évaluation des agents de SuperCLUE. Ils proviennent des documents du modèle et d’articles consacrés à sa sortie : ils ne doivent pas être présentés comme des résultats reproduits indépendamment. 6
19
8
China Telecom affirme par ailleurs que la quantification et des optimisations mémoire peuvent ramener l’utilisation de la mémoire vidéo à environ 15 Go ; d’autres articles rattachent ce chiffre à une version quantifiée sur 4 bits. Il s’agit d’une indication de déploiement, pas d’une garantie de fonctionnement dans toutes les configurations. Le format de quantification, les réglages du logiciel d’inférence et la longueur du contexte comptent aussi pour déterminer si le modèle tiendra dans la mémoire d’une carte graphique donnée. 6
8
Studio Global AI
Continuez vos recherches
Cette page comprend une réponse basée sur la source que vous pouvez continuer dans Studio Global.
Les gens demandent aussi
Quelle est la réponse courte à « Xing4.0-29B-A4B : caractéristiques, outils et résultats à interpréter avec prudence » ?
Xing4.0 29B A4B compte environ 29 milliards de paramètres au total, dont quelque 4 milliards activés par token ; sa fenêtre de contexte native est de 256 000 tokens.
Quels sont les points clés à valider en premier ?
Xing4.0 29B A4B compte environ 29 milliards de paramètres au total, dont quelque 4 milliards activés par token ; sa fenêtre de contexte native est de 256 000 tokens. Entraîné sur du matériel Huawei Ascend avec MindSpore, le modèle est disponible sur Hugging Face sous licence Apache 2.0.
Que dois-je faire ensuite en pratique ?
Le gain de 96 % concerne le débit d’entraînement annoncé. Les scores de benchmark et l’occupation mémoire d’environ 15 Go après quantification ne sont pas des performances garanties pour chaque installation.