JawabanDipublikasikan19 sumber
Qwen3.8-2.4T-A95B: Model Open Weights Alibaba yang Sangat Besar, Bukan Sekadar LLM untuk Diunduh
Qwen3.8 2.4T A95B adalah model teks open weights kelas Qwen Max dari Alibaba: memiliki 2,4 triliun parameter total, dengan sekitar 95 miliar parameter aktif untuk setiap token. Model ini memiliki konteks native 262.144 token; konfigurasi serving tertentu mendokumentasikan dukungan hingga satu juta token.
Diterbitkan olehDiedit dengan GPT-5.6 TerraGambar dibuat dengan GPT Image 2
Jawaban penelitian
Poin-poin penting
- Qwen3.8 2.4T A95B adalah model teks open weights kelas Qwen Max dari Alibaba: memiliki 2,4 triliun parameter total, dengan sekitar 95 miliar parameter aktif untuk setiap token.
- Model ini memiliki konteks native 262.144 token; konfigurasi serving tertentu mendokumentasikan dukungan hingga satu juta token.
- Open weights memberi kendali lebih besar atas data, fine tuning, dan deployment, tetapi model ini tetap membutuhkan infrastruktur inferensi terdistribusi berskala besar.
- Checkpoint yang dapat diunduh hanya menerima teks dan mode thinking tidak dapat dimatikan.
AI Perintah
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Alibaba’s Qwen3.8-2.4T-A95B, and what do its open-weight release, Qwen-Max-class status, 2.4-trillion-parameter/95-billion-active-pa. Article summary: Alibaba’s Qwen3.8-2.4T-A95B is an open-weight, text-generation release of its Qwen3.8-Max/“Max-class” flagship: a very large sparse Mixture-of-Experts (MoE) model rather than a model that can realistically be run like an. Topic tags: general, documentation, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
Alibaba Qwen3.8-2.4T-A95B adalah rilis open weights yang terkait dengan kelas flagship Qwen3.8-Max. Arti pentingnya bukan bahwa model berparameter 2,4 triliun mendadak mudah dijalankan. Yang berubah adalah organisasi kini dapat memperoleh dan menyesuaikan bobot model pada skala ini, alih-alih sepenuhnya bergantung pada API terkelola. Karena itu, model ini paling relevan bagi penyedia cloud, perusahaan besar, lingkungan dengan regulasi ketat, dan tim riset yang sudah mampu menjalankan inferensi terdistribusi secara serius. 1
18
21
Ringkasnya: model apa ini?
Qwen3.8-2.4T-A95B adalah model generasi teks dengan arsitektur sparse Mixture-of-Experts (MoE). Model ini memiliki 2,4 triliun parameter total, tetapi sekitar 95 miliar parameter aktif per token. Dokumentasi NVIDIA mencatat 92 lapisan, 512 expert yang dirutekan, serta routing top-10 expert. 18
21
Perbedaan antara parameter total dan parameter aktif tersebut sangat penting. Dalam MoE, sistem tidak menjalankan seluruh parameter untuk tiap token. Ini dapat mengurangi komputasi per token dibanding model dense dengan ukuran setara. Namun, MoE tidak menghilangkan kebutuhan untuk menyimpan atau membagi bobot model, mengelola expert parallelism, serta menyediakan memori, jaringan, dan kapasitas KV cache yang sangat besar.
Arsitekturnya menggabungkan Gated DeltaNet dan komponen gated attention. Konfigurasi yang dipublikasikan ditujukan untuk pekerjaan teks berkonteks panjang, tetapi pertanyaan teknis yang benar tetaplah performa menyeluruh untuk panjang prompt, tingkat konkurensi, format presisi, dan stack serving yang benar-benar akan digunakan. 1
19
Konteks panjang: besar, tetapi tidak gratis
Panjang konteks native model ini adalah 262.144 token. NVIDIA mendokumentasikan deployment dengan jendela konteks satu juta token, sementara keluaran maksimum yang tercantum sekitar 131 ribu token. 1
19
21
Angka tersebut bukan janji bahwa setiap permintaan satu juta token akan cepat, murah, atau memiliki reliabilitas yang sama. Prompt panjang menambah beban tahap prefill dan tekanan pada KV cache. Tim yang hendak memakai retrieval atas korpus besar, analisis dokumen panjang, atau jejak kerja agent perlu menguji panjang input dan pola permintaan bersamaan yang memang mereka targetkan.
Reasoning dan alur kerja agent
Model mendukung pengaturan reasoning_effort dengan pilihan low, medium, dan xhigh. Tujuannya adalah menukar kecepatan serta biaya respons dengan tingkat penalaran yang lebih mendalam. Pengaturan bawaan yang dipublikasikan menekankan pelestarian konten thinking. 1
Itu menjadikan Qwen3.8-2.4T-A95B kandidat yang masuk akal untuk pekerjaan teks berat, seperti pemrograman, sintesis riset, analisis dokumen panjang, dan alur kerja agent. Namun, agent bukan hanya model yang mumpuni. Penggunaan tool di produksi tetap memerlukan definisi tool di sisi aplikasi, batas izin, isolasi eksekusi, mekanisme percobaan ulang, observabilitas, dan evaluasi.
Batasan pentingnya: checkpoint open weights ini hanya untuk teks, dan laporan mengenai rilisnya menyebut mode thinking tidak dapat dimatikan. Organisasi yang membutuhkan input gambar atau video, jalur non-reasoning berlatensi rendah, atau tool bawaan terkelola perlu membedakan checkpoint yang dapat diunduh dari layanan Qwen3.8-Max yang di-hosting. 3
8
21
Open weights berarti kontrol lebih besar, bukan operasi lebih mudah
Open weights dapat memberi tim kendali lebih besar atas lokasi data, topologi deployment, kustomisasi, dan post-training dibanding model yang hanya tersedia lewat API. Dukungan NVIDIA NeMo AutoModel mencakup fine-tuning seluruh parameter dengan FSDP2, expert parallelism, dan pipeline parallelism, sehingga tersedia jalur khusus bagi organisasi yang perlu mengadaptasi model ini. 18
Fleksibilitas tersebut datang dengan standar operasional yang tinggi. Dokumentasi NVIDIA NIM mencantumkan jalur deployment khusus GB300-NVL72 yang membutuhkan sedikitnya empat node dan Kubernetes. Resep NVIDIA Dynamo menjelaskan serving memakai vLLM atau SGLang, bobot serta KV cache FP8, tensor parallelism, dan routing yang sadar KV cache; salah satu konfigurasi terdokumentasi memakai 16 GPU GB300 di empat node. 19
21
Itu adalah resep yang didukung vendor, bukan batas minimum universal. Namun, gambaran itu menunjukkan lingkungan operasi yang dituju. Model ini pada umumnya bukan model untuk laptop, workstation, atau server tunggal biasa.
Pola serving yang paling berpengaruh
Pada model sebesar ini, rancangan infrastruktur dapat menentukan apakah sistem benar-benar layak dipakai:
- Kuantisasi: Format presisi lebih rendah dapat menekan kebutuhan memori model, tetapi kualitas dan stabilitasnya perlu divalidasi pada tugas yang dituju. AWS mencantumkan FP8, MXFP4, dan NVFP4 sebagai format untuk mengurangi kebutuhan memori inferensi.
- Prefill dan decode yang dipisahkan: Pemrosesan prompt dan generasi token demi token memiliki hambatan yang berbeda. AWS menjelaskan pemisahan keduanya ke pool GPU khusus untuk mengurangi saling ganggu dan memperbaiki latensi token pada beban kerja yang sesuai.
- Speculative decoding: Mekanisme draft yang lebih murah mengusulkan token, lalu model target memverifikasinya. Pendekatan ini dapat mengurangi kerja decoding serial ketika usulan token diterima.
- Serving terdistribusi: Resep NVIDIA memasangkan model ini dengan vLLM atau SGLang serta memakai routing sadar KV cache, FP8, dan paralelisme multinode pada sistem GB200 atau GB300.
19
NVIDIA melaporkan lebih dari 4.000 token per detik per GPU dan lebih dari 350 token per detik per pengguna untuk konfigurasi Day-0 FP8 GB300 NVL72. Ini adalah pengukuran vendor dalam kombinasi perangkat keras dan perangkat lunak tertentu, bukan ekspektasi produksi yang berlaku untuk semua beban kerja.
Lisensi: open weights tidak sama dengan lisensi permisif
Model ini didistribusikan dengan Qwen3.8-Max License kustom, bukan Apache-2.0 atau MIT. Lisensinya memberikan hak luas untuk memakai, memodifikasi, mendistribusikan, meng-host, melakukan fine-tuning, dan membuat karya turunan, dengan syarat-syarat tertentu.
Ringkasan rilis melaporkan adanya kewajiban tambahan bagi sejumlah bisnis Model-as-a-Service dan asisten kerja AI yang melampaui ambang pendapatan tertentu. Karena ketentuan ini dapat memengaruhi deployment komersial dan distribusi turunan, tim perlu menelaah teks lisensi terkini serta meminta nasihat hukum sebelum meluncurkan produk berbasis bobot tersebut. 3
10
Qwen3.8-Max terkelola versus A95B yang di-hosting sendiri
Produk Qwen3.8-Max yang di-hosting digambarkan sebagai versi resmi berbasis A95B dengan fitur tambahan: input visual, dukungan non-thinking, konteks satu juta token secara default, dan tool bawaan resmi. 8
12
Dalam praktiknya, pilihannya terbagi seperti ini:
- Pilih akses terkelola bila skalabilitas yang dikelola vendor, multimodalitas, tool terintegrasi, dan operasi yang lebih sederhana lebih penting daripada kendali atas infrastruktur.
- Pertimbangkan self-hosting A95B bila kedaulatan data, perilaku serving yang dapat dikustomisasi, fine-tuning, atau utilisasi tinggi yang berkelanjutan cukup bernilai untuk menjustifikasi biaya operasional.
Dengan demikian, checkpoint terbuka ini bukan pengganti fitur demi fitur bagi produk terkelola. Ia adalah fondasi teks yang sangat kuat, sementara lapisan produk dan infrastruktur di sekelilingnya harus disediakan sendiri oleh pengguna.
Cara membaca posisi benchmark
Qwen memosisikan A95B sebagai model kelas Max, dan materi rilis melaporkan hasil kuat pada benchmark pemrograman, riset, serta reasoning. Hasil tersebut berguna sebagai sinyal, tetapi bukan bukti bahwa model ini selalu terbaik untuk semua tugas atau lingkungan deployment. 6
Keputusan sebaiknya didasarkan pada evaluasi sendiri: uji bahasa sasaran, rangkaian tool, panjang retrieval, format keluaran, kebutuhan keamanan, target latensi, dan batas biaya. Bagi sebagian besar tim, pertanyaan utamanya bukan apakah 95 miliar parameter aktif itu mengesankan, melainkan apakah peningkatan kapabilitasnya sepadan dengan biaya dan kerumitan menjalankan model berparameter 2,4 triliun.
Kesimpulan
Qwen3.8-2.4T-A95B adalah rilis open weights yang penting karena membuat model teks Qwen kelas Max dengan MoE 2,4T tersedia bagi organisasi yang memerlukan kendali atas bobot dan deployment. Arsitektur sparse memperbaiki kebutuhan komputasi dibanding model dense berukuran setara, tetapi pengoperasiannya tetap merupakan proyek sistem terdistribusi berskala besar.
Bagi tim dengan sumber daya kuat, model ini dapat menjadi jalan menuju inferensi teks kelas flagship yang dapat dikustomisasi, berdaulat, dan dapat menjalani post-training. Bagi tim kecil yang mencari deployment lokal sederhana, model lebih kecil atau endpoint terkelola biasanya merupakan pilihan yang lebih realistis. 18
19
21
Studio Global AI
Lanjutkan penelitian Anda
Halaman ini berisi jawaban yang didukung sumber yang dapat Anda lanjutkan di dalam Studio Global.
Orang-orang juga bertanya
Apa jawaban singkat untuk "Qwen3.8-2.4T-A95B: Model Open Weights Alibaba yang Sangat Besar, Bukan Sekadar LLM untuk Diunduh"?
Qwen3.8 2.4T A95B adalah model teks open weights kelas Qwen Max dari Alibaba: memiliki 2,4 triliun parameter total, dengan sekitar 95 miliar parameter aktif untuk setiap token.
Apa poin penting yang harus divalidasi terlebih dahulu?
Qwen3.8 2.4T A95B adalah model teks open weights kelas Qwen Max dari Alibaba: memiliki 2,4 triliun parameter total, dengan sekitar 95 miliar parameter aktif untuk setiap token. Model ini memiliki konteks native 262.144 token; konfigurasi serving tertentu mendokumentasikan dukungan hingga satu juta token.
Apa yang harus saya lakukan selanjutnya dalam latihan?
Open weights memberi kendali lebih besar atas data, fine tuning, dan deployment, tetapi model ini tetap membutuhkan infrastruktur inferensi terdistribusi berskala besar.