AntwortenVeröffentlicht19 Quellen
Xing4.0-29B-A4B: Architektur, Training und Leistungsversprechen
Xing4.0 29B A4B hat rund 29 Milliarden Parameter insgesamt, aktiviert aber nur etwa vier Milliarden pro Token. Die Modellgewichte stehen auf Hugging Face unter Apache 2.0 bereit.
Veröffentlicht vonBearbeitet mit GPT-6 SolBilder erstellt mit GPT Image 2
Forschungsantwort
Wichtige Erkenntnisse
- Xing4.0 29B A4B hat rund 29 Milliarden Parameter insgesamt, aktiviert aber nur etwa vier Milliarden pro Token.
- Die Modellgewichte stehen auf Hugging Face unter Apache 2.0 bereit. Angaben zu Benchmark Ergebnissen und rund 15 GB Grafikspeicher sind nicht als unabhängig bestätigte Werte zu verstehen.
KI-Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is China Telecom AI’s open-sourced Xing4.0-29B-A4B agentic Mixture-of-Experts model, and what are its parameter count, active experts,. Article summary: Xing4.0-29B-A4B is China Telecom AI’s open-weight Mixture-of-Experts language model for coding and other multi-step agent tasks. It has about 29 billion parameters in total, but activates about 4 billion for each token—n. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, click
Xing4.0-29B-A4B ist ein Modell von China Telecom AI für Programmieraufgaben und andere mehrstufige Aufgaben, bei denen ein KI-Agent Schritte plant und Werkzeuge einsetzt. Seine Gewichte sind öffentlich verfügbar. Es nutzt eine Mixture-of-Experts-Architektur (MoE): Von insgesamt rund 29 Milliarden Parametern sind pro verarbeitetem Token etwa vier Milliarden aktiv. Das heißt jedoch nicht, dass bei der Bereitstellung nur vier Milliarden Parameter gespeichert werden müssen. 1
10
Experten und Kontextfenster
Das Modell verfügt über 64 auswählbare Experten und einen gemeinsamen Experten. Für jedes Token werden vier der auswählbaren Experten herangezogen; der gemeinsame Experte arbeitet ebenfalls mit. Das native Kontextfenster beträgt 256.000 Tokens. Die angegebene Erweiterung auf 512.000 Tokens ist davon zu unterscheiden. 1
2
Architektur und Training auf Ascend
Xing4.0-29B-A4B kombiniert Multi-Head Latent Attention (MLA), Manifold-Constrained Hyper-Connections (mHC) und Multi-Token Prediction (MTP). MLA soll den Speicherbedarf für den Attention-Cache senken, mHC das Training stabilisieren; MTP ist auf die Vorhersage mehrerer Tokens ausgerichtet. 1
5
Trainiert wurde das Modell nach Angaben der Entwickler auf Huaweis Ascend-Hardware mit dem MindSpore-Ökosystem. Optimierungen bei der Kommunikation zwischen den MoE-Experten, selektive Neuberechnung, die Zusammenführung von Graph-Operatoren und eigene Ascend-C-Operatoren hätten den Trainingsdurchsatz gegenüber einer Standardkonfiguration um etwa 96 % erhöht. Das ist eine Angabe zur Trainingseffizienz – keine Zusage, dass die spätere Nutzung um 96 % schneller ist. 5
13
Verfügbarkeit und unterstützte Werkzeuge
Die Gewichte stehen auf Hugging Face unter XingChen-AGI/Xing4.0-29B-A4B und der Lizenz Apache 2.0 bereit. Die Modellunterlagen zeigen die Nutzung mit Transformers und vLLM; als weitere Werkzeuge für die Bereitstellung werden SGLang und KTransformers genannt. Für die Feinabstimmung führen die Entwickler LLaMA-Factory und MindFormers auf. Zudem berichten sie von Anpassungen für die Agenten-Frameworks OpenCode, Claude Code, OpenClaw und Hermes. 12
13
8
Benchmarks und Speicherbedarf: Angaben richtig einordnen
Zu den veröffentlichten Ergebnissen zählen 75,00 Punkte bei SWE-bench Verified, 57,50 bei Terminal-Bench 2.1 und 93,52 in der Agentenbewertung von SuperCLUE. Die Zahlen stammen aus Modellunterlagen und Berichten zur Veröffentlichung; sie sind hier nicht unabhängig reproduziert. 6
19
8
China Telecom nennt außerdem einen Grafikspeicherbedarf von etwa 15 GB bei niedriger Bitbreite und Speicheroptimierung; andere Berichte beziehen diesen Wert auf eine 4-Bit-Quantisierung. Das ist eine Angabe für eine bestimmte Bereitstellung, keine Garantie für jede Konfiguration. Ob das Modell auf eine konkrete Grafikkarte passt, hängt unter anderem von Quantisierung, Laufzeiteinstellungen und Kontextlänge ab. 6
8
Studio Global AI
Setzen Sie Ihre Recherche fort
Diese Seite enthält eine quellengestützte Antwort, die Sie in Studio Global fortsetzen können.
Die Leute fragen auch
Wie lautet die kurze Antwort auf „Xing4.0-29B-A4B: Architektur, Training und Leistungsversprechen“?
Xing4.0 29B A4B hat rund 29 Milliarden Parameter insgesamt, aktiviert aber nur etwa vier Milliarden pro Token.
Was sind die wichtigsten Punkte, die zuerst validiert werden müssen?
Xing4.0 29B A4B hat rund 29 Milliarden Parameter insgesamt, aktiviert aber nur etwa vier Milliarden pro Token. Die Modellgewichte stehen auf Hugging Face unter Apache 2.0 bereit. Angaben zu Benchmark Ergebnissen und rund 15 GB Grafikspeicher sind nicht als unabhängig bestätigte Werte zu verstehen.