Архитектура и инновации

Instella-MoE использует конфигурацию shared-plus-routed experts: 2 постоянно активных общих эксперта и 6 маршрутизируемых экспертов, выбираемых из пула из 64 на каждый токен . Модель состоит из 27 слоёв декодера с размером скрытого слоя 2048 . Две архитектурные инновации заслуживают особого внимания:

• Gated Multi-head Latent Attention (Gated MLA): Модификация стандартного внимания со сжатым латентным представлением (MLA). Добавлен лёгкий обучаемый выходной затвор, который вносит управляемую данными нелинейность, выборочно ослабляя ответы низкополезного внимания, повышая выразительность при скромных вычислительных затратах .
• FarSkip-Collective: Модификация соединений в MoE, которая перекрывает коммуникацию с вычислениями во время экспертно-параллельного обучения, сокращая простои. Во время предобучения эта техника ускорила обучение на 12,7% .

Кроме того, модель использует цель Multi-Token Prediction (MTP) на этапах предобучения и промежуточного обучения .

Контекстное окно

После специального этапа обучения расширению контекста Instella-MoE поддерживает 64K-токенный контекст .

Шестиэтапный конвейер обучения

AMD опубликовала полный конвейер обучения, который состоит из шести последовательных этапов :

1. Предобучение (Pre-training)
2. Промежуточное обучение (Mid-training)
3. Расширение контекста (Long-Context Extension) — до 64 000 токенов
4. Контролируемая тонкая настройка (SFT) — включая этап курирования данных на основе обратной связи с использованием тонко-зернистого анализа ошибок и поиска по сходству
5. Прямая оптимизация предпочтений (DPO) — с обновлением смещений маршрутизатора и отключением вспомогательной функции потерь для балансировки загрузки
6. Обучение с подкреплением (RL) — с использованием фреймворка Miles RL с поддержкой ROCm на GPU AMD Instinct, включая IF-специализированное RL и дистилляцию политик от нескольких учителей (MOPD)

Результаты бенчмарков

Базовая модель Instella-MoE-16B-A3B показала средний балл 76,7 на стандартных бенчмарках, заняв место среди лучших полностью открытых моделей своего масштаба . Сообщается, что она превзошла SmolLM3-3B и OLMo-3-7B, а также конкурировала с более крупными моделями, активируя всего 2,8 миллиарда параметров на токен .

Полная прозрачность и лицензирование

В соответствии с приверженностью открытому AI, AMD открыто опубликовала все артефакты обучения :

• Веса модели с каждого этапа обучения
• Конфигурации обучения и смеси данных
• Промежуточные чекпоинты
• Код инференса

Все артефакты доступны на Hugging Face в пространстве имён amd/Instella-MoE-16B-A3B под лицензией Research RAIL (Responsible AI License) для академических и исследовательских целей .

Стратегическое значение

Instella-MoE — это не просто выпуск модели; это прямое доказательство того, что стек ПО ROCm и аппаратное обеспечение Instinct от AMD способны поддерживать разработку AI передового уровня — от предобучения до обучения с подкреплением — с использованием полностью открытой инфраструктуры. Демонстрируя конкурентоспособные бенчмарки по сравнению с ведущими открытыми моделями, обученными на оборудовании Nvidia, AMD позиционирует свою экосистему как жизнеспособную альтернативу Nvidia CUDA для крупномасштабных AI-исследований и разработок .

Архитектура и инновации

Instella-MoE использует конфигурацию shared-plus-routed experts: 2 постоянно активных общих эксперта и 6 маршрутизируемых экспертов, выбираемых из пула из 64 на каждый токен . Модель состоит из 27 слоёв декодера с размером скрытого слоя 2048 . Две архитектурные инновации заслуживают особого внимания:

• Gated Multi-head Latent Attention (Gated MLA): Модификация стандартного внимания со сжатым латентным представлением (MLA). Добавлен лёгкий обучаемый выходной затвор, который вносит управляемую данными нелинейность, выборочно ослабляя ответы низкополезного внимания, повышая выразительность при скромных вычислительных затратах .
• FarSkip-Collective: Модификация соединений в MoE, которая перекрывает коммуникацию с вычислениями во время экспертно-параллельного обучения, сокращая простои. Во время предобучения эта техника ускорила обучение на 12,7% .

Кроме того, модель использует цель Multi-Token Prediction (MTP) на этапах предобучения и промежуточного обучения .

Контекстное окно

После специального этапа обучения расширению контекста Instella-MoE поддерживает 64K-токенный контекст .

Шестиэтапный конвейер обучения

AMD опубликовала полный конвейер обучения, который состоит из шести последовательных этапов :

1. Предобучение (Pre-training)
2. Промежуточное обучение (Mid-training)
3. Расширение контекста (Long-Context Extension) — до 64 000 токенов
4. Контролируемая тонкая настройка (SFT) — включая этап курирования данных на основе обратной связи с использованием тонко-зернистого анализа ошибок и поиска по сходству
5. Прямая оптимизация предпочтений (DPO) — с обновлением смещений маршрутизатора и отключением вспомогательной функции потерь для балансировки загрузки
6. Обучение с подкреплением (RL) — с использованием фреймворка Miles RL с поддержкой ROCm на GPU AMD Instinct, включая IF-специализированное RL и дистилляцию политик от нескольких учителей (MOPD)

Результаты бенчмарков

Базовая модель Instella-MoE-16B-A3B показала средний балл 76,7 на стандартных бенчмарках, заняв место среди лучших полностью открытых моделей своего масштаба . Сообщается, что она превзошла SmolLM3-3B и OLMo-3-7B, а также конкурировала с более крупными моделями, активируя всего 2,8 миллиарда параметров на токен .

Полная прозрачность и лицензирование

В соответствии с приверженностью открытому AI, AMD открыто опубликовала все артефакты обучения :

• Веса модели с каждого этапа обучения
• Конфигурации обучения и смеси данных
• Промежуточные чекпоинты
• Код инференса

Все артефакты доступны на Hugging Face в пространстве имён amd/Instella-MoE-16B-A3B под лицензией Research RAIL (Responsible AI License) для академических и исследовательских целей .

Стратегическое значение

Instella-MoE — это не просто выпуск модели; это прямое доказательство того, что стек ПО ROCm и аппаратное обеспечение Instinct от AMD способны поддерживать разработку AI передового уровня — от предобучения до обучения с подкреплением — с использованием полностью открытой инфраструктуры. Демонстрируя конкурентоспособные бенчмарки по сравнению с ведущими открытыми моделями, обученными на оборудовании Nvidia, AMD позиционирует свою экосистему как жизнеспособную альтернативу Nvidia CUDA для крупномасштабных AI-исследований и разработок .