AnswersPublished19 sources
Xing4.0-29B-A4B: 29 miliard parametrů, ale jen část aktivní při každém kroku
Model China Telecom AI má přibližně 29 miliard parametrů celkem, z nichž se na jeden token aktivují zhruba 4 miliardy. Váhy jsou na Hugging Face pod licencí Apache 2.0.
PublikovalUpraveno pomocí GPT-6 SolObrázky vytvořeny pomocí GPT Image 2
Research answer
Key takeaways
- Model China Telecom AI má přibližně 29 miliard parametrů celkem, z nichž se na jeden token aktivují zhruba 4 miliardy.
- Váhy jsou na Hugging Face pod licencí Apache 2.0. Uváděné výsledky testů ani přibližně 15 GB paměti při kvantizaci nelze brát jako záruku pro vlastní nasazení.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is China Telecom AI’s open-sourced Xing4.0-29B-A4B agentic Mixture-of-Experts model, and what are its parameter count, active experts,. Article summary: Xing4.0-29B-A4B is China Telecom AI’s open-weight Mixture-of-Experts language model for coding and other multi-step agent tasks. It has about 29 billion parameters in total, but activates about 4 billion for each token—n. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, click
Xing4.0-29B-A4B je jazykový model společnosti China Telecom AI určený mimo jiné pro programování a vícekrokové úlohy, při nichž AI agent plánuje postup a používá nástroje. Jeho váhy jsou veřejně dostupné. Zkratka MoE (mixture of experts, „směs expertů“) označuje architekturu, která při zpracování každého tokenu zapojuje jen část modelu. Xing má přibližně 29 miliard parametrů celkem, ale na jeden token aktivuje zhruba 4 miliardy. Neznamená to, že pro provoz stačí uložit pouze čtyři miliardy parametrů. 1
10
Jak fungují experti a dlouhý kontext
Model obsahuje 64 směrovaných expertů a jednoho sdíleného. Pro každý token vybírá čtyři směrované experty; sdílený expert se zapojuje také. Nativní kontextové okno má 256 tisíc tokenů. Materiály uvádějí možnost rozšíření až na 512 tisíc tokenů, nejde však o nativní délku kontextu. 1
2
Architektura a trénování na Ascendu
Xing kombinuje MLA (multi-head latent attention), mHC (manifold-constrained hyper-connections) a MTP (multi-token prediction). Podle popisu návrhu má MLA snižovat paměťové nároky mechanismu pozornosti, mHC pomáhat se stabilitou trénování a MTP podporovat predikci více tokenů. 1
5
Model se trénoval na hardwaru Huawei Ascend s využitím ekosystému MindSpore. Vývojáři uvádějí, že úpravy komunikace mezi experty, selektivní přepočítávání, slučování grafových operací a vlastní operátory Ascend C zvýšily propustnost trénování přibližně o 96 % oproti výchozímu nastavení. Toto číslo se týká trénování, nikoli rychlosti, s jakou model odpovídá uživatelům. 5
13
Dostupnost a podporované nástroje
Váhy jsou na Hugging Face v repozitáři XingChen-AGI/Xing4.0-29B-A4B pod licencí Apache 2.0. Materiály k modelu ukazují použití s Transformers a vLLM; uváděná podpora pro provoz zahrnuje také SGLang a KTransformers. Pro dolaďování vývojáři zmiňují LLaMA-Factory a MindFormers. Popsány jsou rovněž úpravy pro agentní nástroje OpenCode, Claude Code, OpenClaw a Hermes. 12
13
8
Benchmarky a údaj o 15 GB: co z nich vyvozovat
Uváděné výsledky jsou 75,00 v SWE-bench Verified, 57,50 v Terminal-Bench 2.1 a 93,52 v agentním hodnocení SuperCLUE. Pocházejí z materiálů k modelu a zpráv o jeho vydání; nelze je vydávat za nezávisle zopakovaná měření. 6
19
8
China Telecom také tvrdí, že nízkobitová kvantizace spolu s optimalizací paměti může snížit využití paměti grafické karty přibližně na 15 GB. Další zprávy tento údaj spojují se 4bitovou verzí. Jde o tvrzení pro určité nasazení, nikoli o příslib, že se model do 15 GB vejde při libovolném nastavení. Rozhoduje mimo jiné zvolená kvantizace, způsob spuštění a délka zpracovávaného kontextu. 6
8
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Xing4.0-29B-A4B: 29 miliard parametrů, ale jen část aktivní při každém kroku"?
Model China Telecom AI má přibližně 29 miliard parametrů celkem, z nichž se na jeden token aktivují zhruba 4 miliardy.
What are the key points to validate first?
Model China Telecom AI má přibližně 29 miliard parametrů celkem, z nichž se na jeden token aktivují zhruba 4 miliardy. Váhy jsou na Hugging Face pod licencí Apache 2.0. Uváděné výsledky testů ani přibližně 15 GB paměti při kvantizaci nelze brát jako záruku pro vlastní nasazení.