Mengenal ZGCM-1-7B: Arsitektur, Pelatihan, Hasil Uji, dan Lisensinya

ZGCM-1-7B adalah model bahasa padat (dense) dengan 7,39 miliar parameter yang dilatih dari awal untuk mengerjakan penalaran matematika sekaligus mencari informasi dengan bantuan alat. Model ini dirilis oleh peneliti dari Zhongguancun Academy dan Zhongguancun Institute of Artificial Intelligence. Daya tariknya sebagai acuan riset terbuka bukan hanya hasil uji, melainkan juga kesempatan untuk memeriksa lebih banyak bagian dari proses pembuatannya. 24

Satu model, dua cara menjawab

ZGCM-1-7B menggunakan arsitektur Transformer decoder-only dan memiliki jendela konteks yang dinyatakan sebesar 256K token. Dalam model yang sama, pengguna dapat memakai mode thinking untuk respons yang lebih deliberatif atau mode jawaban langsung. Bagi peneliti, ini memungkinkan perbandingan kedua gaya respons tanpa perlu berganti model. 24

Arsitektur perhatiannya menggabungkan lapisan gated sliding-window attention—yang memusatkan perhatian pada rentang token terbatas—dengan lapisan full attention. Salah satu deskripsi model merinci 27 lapisan jenis pertama dan lima lapisan jenis kedua. Dibandingkan dengan rancangan full attention yang digunakan tim sebagai pembanding, mereka melaporkan penggunaan KV-cache 6,4 kali lebih kecil dan throughput pada konteks 256K 3,94 kali lebih tinggi. Angka itu adalah hasil perbandingan sistem tertentu, bukan janji percepatan yang sama pada setiap perangkat. 410

Mengapa jalur pelatihannya penting?

Resep yang dipublikasikan mencakup prapelatihan, pelatihan lanjutan dengan konteks yang diperpanjang secara bertahap, lalu supervised fine-tuning untuk tugas umum dan tugas berbasis agen. Tim menggunakan pengoptimal Muon dengan FP8, menaikkan tahapan konteks melalui 16K, 64K, dan 256K, serta menyusun ulang jejak interaksi menjadi transisi dalam proses keputusan Markov (MDP). Kurikulum pelatihan lanjutan yang mereka laporkan mencakup 600 miliar token. 1210

Selain model akhir, proyek ini menerbitkan dataset dan checkpoint perantara; laporan tentang perilisannya juga menyebut kode pelatihan, resep, dan log. Dengan begitu, peneliti dapat meninjau sebagian perjalanan pelatihan, bukan hanya bobot akhirnya. Sebagai contoh, checkpoint untuk tahap data 16K mencatat konteks yang digunakan saat pelatihan dan jumlah token pelatihan lanjutan secara kumulatif. 2369

Tim juga menyebut agen AI yang bekerja di bawah arahan peneliti untuk membantu pekerjaan seperti kurasi data dan operasional klaster komputasi. Ini menjelaskan alur kerja pengembangan mereka; bukan bukti bahwa agen tersebut merancang atau memvalidasi model secara mandiri, dan bukan ukuran kontribusinya terhadap skor akhir. 28

Bagaimana hasil pengujiannya?

Dalam evaluasi yang dilaporkan, ZGCM-1-7B meraih 97,13% pada MATH-500, 75,00% pada AIME 2026, 63,09% pada WebWalkerQA, dan 19,43% pada BrowseComp. Namun, model ini tidak unggul di semua perbandingan: tabel yang dipublikasikan juga menunjukkan kekalahan pada AIME 2024 dan AIME 2025. Secara terpisah, tim melaporkan waktu untuk mencapai loss prapelatihan yang sama sekitar 4,2 kali lebih singkat dibandingkan dengan pembanding AdamW/BF16 mereka. Seluruh angka tersebut perlu dibaca bersama pengaturan evaluasi dan sistem pembandingnya; hasilnya tidak otomatis berlaku untuk setiap alur pencarian di dunia nyata. 710

Lisensi dan langkah awal

Laman model mencantumkan lisensi MIT untuk ZGCM-1-7B. Sementara itu, label CC BY 4.0 pada makalah penelitian berlaku untuk makalah tersebut dan tidak boleh dianggap sebagai lisensi model. Periksa ketentuan setiap sumber daya yang hendak digunakan. 271

Laman model menyediakan contoh pembuatan teks dengan Transformers untuk zgcagi/ZGCM-1-7B yang memakai trust_remote_code=True. Tinjau dahulu kode khusus di repositorinya sebelum mengaktifkan opsi itu. Materi yang tersedia tidak menetapkan GPU minimum, kebutuhan memori, ataupun versi paket minimum untuk menjalankan model akhir; spesifikasi tersebut tidak bisa disimpulkan dari hasil benchmark atau keterangan checkpoint. 219