AnswersPublished19 sources
Xing4.0-29B-A4B yhdistää asiantuntijamallin ja pitkän kontekstin
Xing4.0 29B A4B:ssa on noin 29 miljardia parametria, joista noin 4 miljardia aktivoituu tokenia kohden. Mallin painot ovat Hugging Facessa Apache 2.0 lisenssillä.
JulkaisijaMuokattu mallilla GPT-6 SolKuvat luotu mallilla GPT Image 2
Research answer
Key takeaways
- Xing4.0 29B A4B:ssa on noin 29 miljardia parametria, joista noin 4 miljardia aktivoituu tokenia kohden.
- Mallin painot ovat Hugging Facessa Apache 2.0 lisenssillä. Neljä 64 reititettävästä asiantuntijasta valitaan kullekin tokenille, ja lisäksi mukana on yksi jaettu asiantuntija.
- Noin 96 prosentin koulutusnopeuden parannus, testipisteet ja noin 15 gigatavun näytönohjainmuistin tarve ovat raportoituja tuloksia tai käyttöönottoväitteitä, eivät lupauksia kaikissa ympäristöissä.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is China Telecom AI’s open-sourced Xing4.0-29B-A4B agentic Mixture-of-Experts model, and what are its parameter count, active experts,. Article summary: Xing4.0-29B-A4B is China Telecom AI’s open-weight Mixture-of-Experts language model for coding and other multi-step agent tasks. It has about 29 billion parameters in total, but activates about 4 billion for each token—n. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, click
China Telecom AI:n Xing4.0-29B-A4B on avoimin painoin julkaistu Mixture-of-Experts- eli MoE-kielimalli. Se on suunnattu erityisesti koodaukseen ja tehtäviin, joissa tekoälyagentti etenee useassa vaiheessa. Mallissa on yhteensä noin 29 miljardia parametria, mutta yhtä tokenia käsiteltäessä aktiivisena on noin 4 miljardia. Jälkimmäinen luku ei tarkoita, että mallin käyttöönotossa tarvitsisi tallentaa vain neljän miljardin parametrin painot. 1
10
Mitä rakenne ja konteksti tarkoittavat käytännössä?
Mallissa on 64 reititettävää asiantuntijaa ja yksi jaettu asiantuntija. Jokaiselle tokenille valitaan neljä reititettävää asiantuntijaa, ja myös jaettu asiantuntija osallistuu käsittelyyn. Mallin natiivi konteksti-ikkuna on 256 000 tokenia; sitä kuvataan laajennettavaksi 512 000 tokeniin. Suurempi luku on siis laajennusmahdollisuus, ei natiivin ikkunan koko. 1
2
Arkkitehtuurissa yhdistyvät MLA (multi-head latent attention), mHC (manifold-constrained hyper-connections) ja MTP (multi-token prediction). Raportoidussa toteutuksessa MLA vähentää huomiomekanismin välimuistin tarvetta, mHC auttaa vakauttamaan koulutusta ja MTP tukee usean tokenin ennustamista. 1
5
Ascend-koulutus ja tuetut työkalut
Malli koulutettiin Huawein Ascend-laitteistolla MindSpore-ekosysteemissä. Kehittäjien mukaan MoE-mallin viestinnän optimointi, valikoiva uudelleenlaskenta, laskentaoperaatioiden yhdistäminen ja omat Ascend C -operaatiot kasvattivat koulutuksen läpimenoa noin 96 prosenttia verrattuna optimoimattomaan lähtötasoon. Luku koskee koulutusjärjestelmää, eikä se tarkoita 96 prosenttia nopeampaa mallin käyttöä. 5
13
Mallin painot löytyvät Hugging Facesta nimellä XingChen-AGI/Xing4.0-29B-A4B, ja lisenssi on Apache 2.0. Mallimateriaaleissa on käyttöohjeita Transformersille ja vLLM:lle. Raportoitu tuki kattaa myös SGLangin ja KTransformersin mallin ajamiseen sekä LLaMA-Factoryn ja MindFormersin jatkokoulutukseen. Agenttikehysten osalta mukautuksista kerrotaan OpenCodelle, Claude Codelle, OpenClaw’lle ja Hermesille. 12
13
8
Testipisteet ja 15 gigatavun muistiväite
Raportoituja tuloksia ovat 75,00 pistettä SWE-bench Verifiedissä, 57,50 Terminal-Bench 2.1:ssä ja 93,52 SuperCLUE:n agenttiarvioinnissa. Luvut perustuvat mallimateriaaleihin ja julkaisusta tehtyyn uutisointiin; niitä ei pidä pitää tässä riippumattomasti toistettuina tuloksina. 6
19
8
China Telecomin mukaan matalabittinen kvantisointi ja muistin optimointi voivat pienentää näytönohjainmuistin tarpeen noin 15 gigatavuun. Muussa uutisoinnissa luku liitetään 4-bittiseen versioon. Kyse on käyttöönottoa koskevasta väitteestä, ei takuusta kaikille kokoonpanoille: soveltuvuutta omalle näytönohjaimelle arvioitaessa merkitystä on myös kvantisointivalinnalla, ajoasetuksilla ja kontekstin pituudella. 6
8
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Xing4.0-29B-A4B yhdistää asiantuntijamallin ja pitkän kontekstin"?
Xing4.0 29B A4B:ssa on noin 29 miljardia parametria, joista noin 4 miljardia aktivoituu tokenia kohden.
What are the key points to validate first?
Xing4.0 29B A4B:ssa on noin 29 miljardia parametria, joista noin 4 miljardia aktivoituu tokenia kohden. Mallin painot ovat Hugging Facessa Apache 2.0 lisenssillä. Neljä 64 reititettävästä asiantuntijasta valitaan kullekin tokenille, ja lisäksi mukana on yksi jaettu asiantuntija.
What should I do next in practice?
Noin 96 prosentin koulutusnopeuden parannus, testipisteet ja noin 15 gigatavun näytönohjainmuistin tarve ovat raportoituja tuloksia tai käyttöönottoväitteitä, eivät lupauksia kaikissa ympäristöissä.