Теперь открыт не только запуск openPangu, но и код его обучения

28 сентября 2026 года Huawei открыла исходный код для предварительного обучения openPangu-2.0, контролируемого дообучения (SFT) и посттренировочного обучения с подкреплением (RL). Главное отличие от предыдущих релизов — в том, что разработчики получают инструменты не только для запуска готовых моделей, но и для работы с этапами их обучения и адаптации на платформе Ascend. 1227

Что вошло в релиз

Проект openPangu-2.0-Training предназначен для предварительного обучения и SFT, а openPangu-2.0-RL — для посттренировочного обучения с подкреплением. Оба рассчитаны на экосистему обучения Huawei Ascend. 1

Иными словами, речь идёт о коде для обучения, а не о ещё одном наборе готовых весов. Само объявление описывает назначение проектов, но не устанавливает, какие вычислительные ресурсы, данные и настройки потребуются, чтобы повторить исходные запуски обучения. 1

Pro и Flash: параметры моделей

В карточках обе модели описаны как модели типа «смесь экспертов» (MoE). В этой архитектуре для обработки каждого токена активируется лишь часть общего набора параметров. Заявленные характеристики выглядят так: 1927

Модель	Всего параметров	Активно на токен	Контекстное окно	Указанный объём предварительного обучения
openPangu-2.0-Pro	около 505 млрд	около 18 млрд	512 тыс. токенов	около 34 трлн токенов
openPangu-2.0-Flash	около 92 млрд	около 6 млрд	512 тыс. токенов	около 34 трлн токенов

Это показатели, указанные для каждой модели отдельно: примерно 34 трлн токенов обучения у Pro и столько же у Flash, а не общий объём для двух моделей вместе. 1927

Как, по карточкам, модели дообучали

В описаниях Pro и Flash говорится об этапе SFT, который должен объединить «медленный» и «быстрый» режимы рассуждения. Затем, согласно карточкам, следуют несколько специализированных этапов RL и онлайн-дистилляция политики (OPD). Эти сведения описывают заявленный подход к посттренировочной обработке моделей; отдельно от них Huawei опубликовала код для обучения и RL. 19271

Архитектурные особенности

Карточки моделей указывают на сочетание многоголового латентного внимания (MLA) и слоёв DSA/SWA в соотношении 1:2. Механизм скользящего окна (SWA) обрабатывает локальный контекст, а разреженные слои DSA собирают информацию на большем расстоянии. 1927

Среди других перечисленных особенностей — архитектура mHC с четырьмя потоками, модуль предсказания нескольких токенов (MTP) с тремя головами и оптимизатор Muon. Это характеристики, приведённые в карточках моделей, а не функции, впервые объявленные вместе с сентябрьским релизом кода. 1927

Что меняется для разработчиков на Ascend

Опубликованные ранее веса и код инференса позволяли запускать готовые модели Pro и Flash. Теперь разработчики, работающие с Ascend, могут изучать код для предварительного обучения, SFT и RL-посттренировки — то есть работать с более широким набором этапов жизненного цикла модели. Источники описывают общее назначение новых проектов, но не перечисляют все поддерживаемые сценарии и требования к оборудованию. 1227