ZGCM-1-7B: arquitetura, treinamento, resultados e licença

O ZGCM-1-7B é um modelo de linguagem denso, com 7,39 bilhões de parâmetros, treinado do zero para combinar raciocínio matemático com busca de informações apoiada por ferramentas. Pesquisadores da Zhongguancun Academy e do Zhongguancun Institute of Artificial Intelligence o apresentaram como uma referência que pode ser examinada, e não apenas comparada por notas em testes. 24

Licença: modelo e artigo não são a mesma coisa

A página do modelo indica licença MIT. Já a indicação CC BY 4.0 na página do artigo científico se refere ao artigo e não deve ser tomada como a licença do modelo. Quem pretende usar os recursos publicados deve conferir os termos de cada um. 271

Como ele funciona

O ZGCM-1-7B é um Transformer denso do tipo decoder-only, com janela de contexto anunciada de 256 mil tokens. O mesmo modelo oferece um modo de raciocínio deliberado, chamado thinking, e outro de resposta direta. Isso permite estudar os dois estilos sem trocar de modelo. 24

Na arquitetura de atenção, camadas com janela deslizante e mecanismo de controle são intercaladas com camadas de atenção completa. Uma descrição do modelo especifica 27 camadas do primeiro tipo e cinco do segundo. Em comparação com a configuração de atenção completa usada pelos autores, o desenho híbrido teria reduzido em 6,4 vezes o uso do cache KV — memória usada durante a geração — e elevado em 3,94 vezes a vazão com contexto de 256 mil tokens. São resultados daquela comparação, não uma previsão de desempenho para qualquer infraestrutura. 410

Por que o treinamento publicado importa

A receita divulgada percorre o pré-treinamento, uma etapa intermediária que amplia progressivamente o contexto e o ajuste supervisionado com exemplos gerais e de uso de agentes. Ela reúne atenção híbrida e o otimizador Muon em FP8; passa por estágios de 16 mil, 64 mil e 256 mil tokens; e reformula registros de interação como transições de um processo de decisão de Markov, ou MDP. Segundo o projeto, o currículo da etapa intermediária abrange 600 bilhões de tokens. 1210

Além do modelo final, o projeto publicou um conjunto de dados e checkpoints intermediários. A cobertura do lançamento também descreve código, receitas e registros de treinamento. Assim, pesquisadores podem examinar mais etapas do processo do que seria possível com a publicação apenas dos pesos finais. Um checkpoint identificado como parte do estágio de dados de 16 mil tokens, por exemplo, documenta o contexto usado no treinamento e o total acumulado de tokens dessa etapa intermediária. 2369

A equipe afirma ter usado agentes de IA sob orientação dos pesquisadores em tarefas de desenvolvimento, como curadoria de dados e operações do cluster de computação. Isso descreve o fluxo de trabalho, mas não demonstra que os agentes tenham concebido ou validado o modelo de forma independente, nem mede sua contribuição para as notas obtidas. 28

O que dizem os testes — e o que eles não dizem

Nas avaliações reportadas, o ZGCM-1-7B alcançou 97,13% no MATH-500, 75,00% no AIME 2026, 63,09% no WebWalkerQA e 19,43% no BrowseComp. Ele não supera todos os modelos de comparação: as tabelas publicadas também mostram resultados inferiores no AIME 2024 e no AIME 2025. Os autores relatam ainda que o pré-treinamento atingiu a mesma perda em cerca de 4,2 vezes menos tempo do que sua configuração de referência com AdamW/BF16. Tanto as notas quanto os ganhos de eficiência dependem dos testes e das configurações escolhidas; não comprovam desempenho equivalente em todo tipo de busca. 710

Para começar

A página de zgcagi/ZGCM-1-7B traz um exemplo de geração de texto com Transformers que usa trust_remote_code=True. Antes de ativar essa opção, é prudente revisar o código personalizado do repositório. O material fornecido não estabelece GPU mínima, quantidade de memória nem versão obrigatória de pacote para executar o modelo final; esses requisitos não devem ser deduzidos dos testes ou das páginas de checkpoints. 219