Xing4.0-29B-A4B: Hvad kan China Telecoms AI-model?

Xing4.0-29B-A4B er en AI-sprogmodel med offentligt tilgængelige vægte fra China Telecom AI. Den er udviklet med fokus på kodearbejde og agentopgaver, hvor modellen skal løse en opgave i flere trin og eventuelt bruge værktøjer undervejs. Modellen har omkring 29 mia. parametre i alt, men aktiverer kun cirka 4 mia. pr. token. Det er ikke det samme som, at man kun behøver plads til 4 mia. parametre, når modellen skal køres. 110

Hvordan fungerer modellen?

Xing4.0-29B-A4B er en Mixture-of-Experts-model (MoE): Den har 64 eksperter, som den kan vælge imellem, samt én fælles ekspert. For hvert token vælger den fire af de 64, mens den fælles ekspert også deltager. Den oprindelige kontekstgrænse er 256K tokens; den beskrives som mulig at udvide til 512K, men det højere tal er ikke modellens oprindelige grænse. 12

Arkitekturen kombinerer multi-head latent attention (MLA), manifold-constrained hyper-connections (mHC) og multi-token prediction (MTP). Ifølge beskrivelserne skal MLA mindske behovet for plads til tidligere beregninger under generering, mHC bidrage til mere stabil træning og MTP understøtte generering af flere tokens. 15

Trænet på Ascend – men hvad betyder 96 %?

Modellen er trænet på Huaweis Ascend-hardware med MindSpore. Udviklerne oplyser, at blandt andet justering af kommunikationen mellem eksperter, selektiv genberegning, sammenlægning af beregningsoperationer og særlige Ascend C-operatorer gav cirka 96 % højere gennemløb under træningen end en standardopsætning uden disse optimeringer. Tallet handler om træningssystemet – ikke om, at modellen svarer 96 % hurtigere hos brugeren. 513

Hvor findes den, og hvilke værktøjer understøttes?

Modelvægtene findes på Hugging Face som XingChen-AGI/Xing4.0-29B-A4B under Apache 2.0-licensen. Modelmaterialet viser brug med Transformers og vLLM. Der er også oplyst understøttelse af SGLang og KTransformers til at køre modellen samt LLaMA-Factory og MindFormers til videre træning. Udviklerne beskriver desuden tilpasninger til agentværktøjerne OpenCode, Claude Code, OpenClaw og Hermes. 12138

Testresultater og grafikhukommelse: Læs tallene med forbehold

De rapporterede resultater omfatter 75,00 på SWE-bench Verified, 57,50 på Terminal-Bench 2.1 og 93,52 i SuperCLUEs agentevaluering. Tallene stammer fra modelmateriale og omtale af udgivelsen; de bør ikke læses som uafhængigt reproducerede resultater. 6198

China Telecom oplyser også, at kvantisering og hukommelsesoptimering kan bringe forbruget af grafikhukommelse ned på omkring 15 GB. Anden omtale knytter tallet til en 4-bit-version. Det er en påstand om en bestemt måde at køre modellen på, ikke et løfte om, at den passer på ethvert grafikkort: Kvantisering, softwareopsætning og kontekstlængde spiller også ind. 68