JawabanDipublikasikan19 sumber
Mengenal Xing4.0-29B-A4B: Spesifikasi, Pelatihan, dan Klaim Kinerjanya
Xing4.0 29B A4B memiliki sekitar 29 miliar parameter total, tetapi hanya sekitar 4 miliar yang aktif untuk setiap token; konteks bawaannya 256K token. Model ini tersedia di Hugging Face dengan lisensi Apache 2.0.
Diterbitkan olehDiedit dengan GPT-6 SolGambar dibuat dengan GPT Image 2
Jawaban penelitian
Poin-poin penting
- Xing4.0 29B A4B memiliki sekitar 29 miliar parameter total, tetapi hanya sekitar 4 miliar yang aktif untuk setiap token; konteks bawaannya 256K token.
- Model ini tersedia di Hugging Face dengan lisensi Apache 2.0. Klaim skor benchmark dan penggunaan memori GPU sekitar 15 GB belum tentu berlaku pada setiap konfigurasi.
AI Perintah
openai.comCreate a landscape editorial hero image for this Studio Global article: What is China Telecom AI’s open-sourced Xing4.0-29B-A4B agentic Mixture-of-Experts model, and what are its parameter count, active experts,. Article summary: Xing4.0-29B-A4B is China Telecom AI’s open-weight Mixture-of-Experts language model for coding and other multi-step agent tasks. It has about 29 billion parameters in total, but activates about 4 billion for each token—n. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, click
Xing4.0-29B-A4B adalah model bahasa berbobot terbuka dari China Telecom AI yang ditujukan untuk pemrograman dan tugas agen AI bertahap, seperti merencanakan langkah kerja dan menggunakan alat. Model ini memakai arsitektur Mixture-of-Experts (MoE): dari sekitar 29 miliar parameter total, sekitar 4 miliar parameter aktif saat memproses tiap token. Angka 4 miliar itu bukan berarti perangkat hanya perlu menyimpan 4 miliar parameter model. 1
10
Berapa banyak pakar yang bekerja?
Model ini memiliki 64 pakar yang dipilih melalui perutean dan satu pakar bersama. Untuk setiap token, sistem memilih empat dari 64 pakar tersebut, sementara pakar bersama juga ikut bekerja. Panjang konteks bawaannya adalah 256K token—jumlah teks yang dapat masuk dalam satu konteks pemrosesan—dan disebut dapat diperluas hingga 512K token. Angka 512K merupakan kemampuan perluasan yang diklaim, bukan kapasitas bawaan. 1
2
Arsitekturnya menggabungkan multi-head latent attention (MLA), manifold-constrained hyper-connections (mHC), dan multi-token prediction (MTP). Menurut penjelasan teknis yang tersedia, MLA ditujukan untuk mengurangi kebutuhan cache perhatian, mHC untuk membantu menjaga kestabilan pelatihan, dan MTP untuk prediksi beberapa token. 1
5
Dilatih dengan Ascend dan MindSpore
Xing4.0-29B-A4B dilatih menggunakan perangkat keras Huawei Ascend dalam ekosistem MindSpore. Pengembangnya melaporkan bahwa penyesuaian komunikasi antarpakar MoE, penghitungan ulang selektif, penggabungan operator graf, serta operator Ascend C khusus meningkatkan throughput pelatihan sekitar 96% dibanding konfigurasi awal tanpa optimasi tersebut. Itu adalah klaim peningkatan pada proses pelatihan, bukan janji bahwa inferensi pengguna akan 96% lebih cepat. 5
13
Di mana modelnya tersedia?
Bobot model tersedia di Hugging Face sebagai XingChen-AGI/Xing4.0-29B-A4B dengan lisensi Apache 2.0. Materi model memuat contoh penggunaan Transformers dan vLLM; dukungan inferensi atau penerapan yang dilaporkan juga mencakup SGLang dan KTransformers. Untuk fine-tuning, pengembang mencantumkan LLaMA-Factory dan MindFormers. Adaptasi untuk kerangka kerja agen OpenCode, Claude Code, OpenClaw, dan Hermes juga dilaporkan. 12
13
8
Cara membaca skor dan klaim memori
Hasil yang dilaporkan meliputi 75,00 pada SWE-bench Verified, 57,50 pada Terminal-Bench 2.1, dan 93,52 pada evaluasi agen SuperCLUE. Angka-angka ini berasal dari materi model dan pemberitaan peluncurannya; jangan menganggapnya sebagai hasil yang telah direproduksi secara independen. 6
19
8
China Telecom juga menyebut kuantisasi—teknik mengurangi presisi angka model—dan optimasi memori dapat menekan penggunaan memori GPU menjadi sekitar 15 GB. Pemberitaan lain mengaitkan angka tersebut dengan versi 4-bit. Ini adalah klaim untuk penerapan tertentu, bukan jaminan model akan muat pada setiap GPU: metode kuantisasi, konfigurasi perangkat lunak inferensi, dan panjang konteks tetap perlu diperhitungkan. 6
8
Studio Global AI
Lanjutkan penelitian Anda
Halaman ini berisi jawaban yang didukung sumber yang dapat Anda lanjutkan di dalam Studio Global.
Orang-orang juga bertanya
Apa jawaban singkat untuk "Mengenal Xing4.0-29B-A4B: Spesifikasi, Pelatihan, dan Klaim Kinerjanya"?
Xing4.0 29B A4B memiliki sekitar 29 miliar parameter total, tetapi hanya sekitar 4 miliar yang aktif untuk setiap token; konteks bawaannya 256K token.
Apa poin penting yang harus divalidasi terlebih dahulu?
Xing4.0 29B A4B memiliki sekitar 29 miliar parameter total, tetapi hanya sekitar 4 miliar yang aktif untuk setiap token; konteks bawaannya 256K token. Model ini tersedia di Hugging Face dengan lisensi Apache 2.0. Klaim skor benchmark dan penggunaan memori GPU sekitar 15 GB belum tentu berlaku pada setiap konfigurasi.