ZGCM-1-7B: Mô hình mở cho suy luận toán và tìm kiếm bằng công cụ

Một mô hình trả lời tốt bài toán khó chưa chắc sẽ tìm kiếm thông tin hiệu quả khi được dùng công cụ. ZGCM-1-7B được huấn luyện từ đầu để nghiên cứu cả hai khả năng đó: suy luận toán học và chủ động thu thập thông tin với công cụ hỗ trợ. Mô hình do các nhà nghiên cứu tại Zhongguancun Academy và Zhongguancun Institute of Artificial Intelligence công bố; điểm đáng chú ý là người khác có thể xem xét nhiều phần của quá trình phát triển, thay vì chỉ đối chiếu điểm số cuối cùng. 24

Mô hình được phát hành theo giấy phép nào?

ZGCM-1-7B là mô hình dense với 7,39 tỷ tham số. Trang giới thiệu mô hình ghi giấy phép MIT. Trong khi đó, nhãn CC BY 4.0 trên bài báo nghiên cứu là giấy phép của bài báo, không nên nhầm thành giấy phép của mô hình. Người sử dụng cần kiểm tra điều khoản gắn với từng tài nguyên cụ thể. 271

Kiến trúc và cách trả lời

ZGCM-1-7B là Transformer dense dạng decoder-only, với cửa sổ ngữ cảnh được công bố là 256K token. Cùng một mô hình hỗ trợ chế độ thinking — dành cho phản hồi có quá trình suy luận — và chế độ trả lời trực tiếp. Nhờ vậy, nhà nghiên cứu có thể khảo sát hai cách phản hồi mà không phải đổi sang mô hình khác. 24

Về cơ chế chú ý, mô hình xen kẽ các lớp sliding-window attention có cổng điều khiển với các lớp chú ý toàn phần; một bản mô tả nêu 27 lớp thuộc loại thứ nhất và 5 lớp thuộc loại thứ hai. Theo nhóm tác giả, so với cấu hình đối chứng dùng chú ý toàn phần, thiết kế kết hợp này giảm mức sử dụng KV cache 6,4 lần và tăng thông lượng 3,94 lần ở ngữ cảnh 256K. Đây là kết quả trong phép so sánh hệ thống được báo cáo, không phải cam kết tốc độ cho mọi môi trường triển khai. 410

Vì sao có thể dùng làm mốc tham chiếu mở?

Lộ trình được công bố trải từ tiền huấn luyện, huấn luyện trung gian với ngữ cảnh dài tăng dần, đến tinh chỉnh có giám sát cho các tác vụ chung và tác vụ kiểu tác nhân AI. Quy trình kết hợp kiến trúc chú ý lai với bộ tối ưu Muon FP8 ổn định; các giai đoạn mở rộng ngữ cảnh qua 16K, 64K và 256K, đồng thời biểu diễn lại chuỗi tương tác thành các bước chuyển của quá trình quyết định Markov (MDP). Theo báo cáo, chương trình huấn luyện trung gian bao phủ 600 tỷ token. 1210

Ngoài mô hình cuối cùng, dự án còn công bố bộ dữ liệu và các checkpoint trung gian; thông tin về đợt phát hành cũng đề cập mã huấn luyện, công thức huấn luyện và nhật ký. Điều đó cho phép người nghiên cứu xem xét nhiều đoạn trên đường đi tới mô hình cuối, thay vì chỉ có trọng số sau cùng. Chẳng hạn, checkpoint mang nhãn giai đoạn dữ liệu 16K ghi cả ngữ cảnh dùng khi huấn luyện và tổng số token huấn luyện trung gian tích lũy. 2369

Nhóm phát triển cho biết các tác nhân AI hoạt động theo chỉ đạo của nhà nghiên cứu đã hỗ trợ những việc như tuyển chọn dữ liệu và vận hành cụm máy tính. Đây là mô tả về quy trình làm việc, không phải bằng chứng rằng tác nhân AI tự thiết kế hoặc tự xác nhận mô hình; tài liệu được cung cấp cũng không định lượng phần đóng góp của chúng vào điểm số. 28

Kết quả đánh giá nên được đọc thế nào?

Các kết quả được báo cáo gồm 97,13% trên MATH-500, 75,00% trên AIME 2026, 63,09% trên WebWalkerQA và 19,43% trên BrowseComp. Mô hình không dẫn trước ở mọi phép so sánh: bảng được công bố cũng cho thấy nó kém mô hình đối chiếu trên AIME 2024 và AIME 2025. Riêng về huấn luyện, nhóm tác giả báo cáo thời gian để đạt cùng mức loss tiền huấn luyện ngắn hơn khoảng 4,2 lần so với cấu hình đối chứng AdamW/BF16. Các con số này gắn với bộ bài kiểm tra, cách đánh giá và hệ thống đối chứng cụ thể; chúng không chứng minh mô hình sẽ đạt hiệu quả tương đương trong mọi quy trình tìm kiếm thực tế. 710

Bắt đầu chạy thử: lưu ý gì?

Trang mô hình có ví dụ sinh văn bản bằng Transformers cho zgcagi/ZGCM-1-7B, sử dụng trust_remote_code=True. Hãy xem xét mã tùy chỉnh trong kho lưu trữ trước khi bật tùy chọn này. Tài liệu được cung cấp không xác lập yêu cầu tối thiểu về GPU, bộ nhớ hay phiên bản gói phần mềm để chạy mô hình cuối cùng; không nên suy ra các yêu cầu đó từ kết quả đánh giá hoặc thông tin của checkpoint trung gian. 219