ZGCM-1-7B: что известно об архитектуре, обучении и результатах

ZGCM-1-7B разработана исследователями Zhongguancun Academy и Zhongguancun Institute of Artificial Intelligence для решения математических задач и поиска информации с использованием инструментов. Это плотная языковая модель, обученная с нуля. Её можно оценивать не только по итоговым баллам: проект публикует материалы, по которым исследователи могут изучать отдельные этапы обучения. 249

Лицензия: модель и статья — разные ресурсы

У ZGCM-1-7B 7,39 млрд параметров. В описании модели указана лицензия MIT. Пометка CC BY 4.0 относится к научной статье и не должна автоматически переноситься на модель. Перед использованием стоит проверять условия именно того ресурса, который вы скачиваете. 271

Архитектура и два режима ответа

ZGCM-1-7B — плотный Transformer, который генерирует текст последовательно (decoder-only). Заявленное контекстное окно составляет 256 тысяч токенов. Одна и та же модель поддерживает режим развёрнутого рассуждения (thinking) и режим прямого ответа. Это позволяет сопоставлять их поведение, не переключаясь между разными моделями. 24

В архитектуре чередуются слои внимания с ограниченным скользящим окном и слои полного внимания. В одном из описаний указаны 27 слоёв первого типа и пять второго. По данным авторов, такая схема уменьшила объём KV-кеша — памяти для промежуточных данных при генерации — в 6,4 раза и повысила пропускную способность при контексте в 256 тысяч токенов в 3,94 раза по сравнению с их конфигурацией только с полным вниманием. Это результат конкретного сравнения, а не обещание такого же ускорения при любом запуске. 410

Что опубликовано об обучении

Описанный процесс охватывает предварительное обучение, промежуточное обучение с постепенным увеличением контекста и дообучение с учителем на общих и агентных задачах. В нём используются оптимизатор Muon с вычислениями в формате FP8, этапы на 16, 64 и 256 тысяч токенов, а также представление последовательностей взаимодействия как переходов марковского процесса принятия решений. Заявленный объём данных на этапе промежуточного обучения — 600 млрд токенов. 1210

Помимо итоговой модели, опубликованы набор данных и промежуточные версии модели; сообщения о выпуске также упоминают код обучения, инструкции и журналы. Например, для версии после этапа с данными 16K указаны контекст, использованный при обучении, и накопленное число токенов промежуточного обучения. Это даёт возможность изучать путь к итоговой модели, а не только её финальные веса. 2369

Команда также сообщает, что в работе участвовали ИИ-агенты под руководством исследователей: они помогали, в частности, с подготовкой данных и операциями в вычислительном кластере. Это описание рабочего процесса; оно не доказывает, что агенты самостоятельно спроектировали или проверили модель, и не показывает, какую долю результатов можно приписать их участию. 28

Результаты тестов и их границы

В опубликованных оценках ZGCM-1-7B набрала 97,13% на MATH-500, 75,00% на AIME 2026, 63,09% на WebWalkerQA и 19,43% на BrowseComp. Преимущество не распространяется на все сравнения: в опубликованных таблицах модель уступает конкуренту на AIME 2024 и AIME 2025. Авторы также сообщают, что при предварительном обучении достигли того же значения функции потерь примерно в 4,2 раза быстрее, чем в выбранной ими базовой конфигурации AdamW/BF16. Все эти цифры зависят от методики тестирования и условий сравнения; они не гарантируют аналогичного результата в каждом реальном сценарии поиска. 710

С чего начать

На странице модели приведён пример генерации текста через Transformers для zgcagi/ZGCM-1-7B с параметром trust_remote_code=True. Перед его включением стоит изучить пользовательский код репозитория. Представленные материалы не позволяют назвать минимальные требования к видеокарте, памяти или версиям библиотек для запуска итоговой модели: параметры отдельных промежуточных версий и условий тестирования нельзя считать такими требованиями. 219