Архітектура та інновації

Instella-MoE використовує конфігурацію «спільних + маршрутизованих експертів»: 2 завжди активні спільні експерти та 6 маршрутизованих експертів, які вибираються з пулу 64 на кожен токен . Модель складається з 27 шарів декодера, кожен із прихованим розміром 2048 . Дві ключові інновації:

• Gated Multi-head Latent Attention (Gated MLA): Удосконалення стандартного механізму MLA. Додає легкий навчений вихідний затвор, який вносить нелінійність на основі даних, вибірково послаблюючи малокорисні відповіді уваги та підвищуючи виразність при помірних обчислювальних витратах .
• FarSkip-Collective: Модифікація з'єднань в MoE, яка перекриває комунікацію з обчисленнями під час експертно-паралельного навчання, зменшуючи комунікаційні паузи. Під час попереднього навчання ця техніка прискорила процес на 12,7% .

Модель також використовує об'єкт Multi-Token Prediction (MTP) під час фаз попереднього та проміжного навчання .

Контекстне вікно

Після спеціального етапу розширення довгого контексту Instella-MoE підтримує 64K-токенів контексту .

Шестиетапний цикл навчання

AMD опублікувала повний цикл навчання, який складається з шести послідовних етапів :

1. Попереднє навчання (Pre-training)
2. Проміжне навчання (Mid-training)
3. Розширення довгого контексту (до 64K токенів)
4. Контрольоване доналаштування (SFT) — включно з етапом коригування даних на основі зворотного зв'язку з використанням детального аналізу помилок та пошуку за подібністю
5. Пряма оптимізація вподобань (DPO) — з оновленням зміщень маршрутизатора та вимкненням допоміжної функції втрат для балансування навантаження для стабільності навчання
6. Навчання з підкріпленням (RL) — з використанням фреймворку Miles RL з підтримкою ROCm на GPU AMD Instinct, що включає IF-спеціалізоване RL-навчання та Multi-Teacher On-Policy Distillation (MOPD)

Продуктивність на тестах

Базова модель Instella-MoE-16B-A3B досягла середнього балу 76,7 на стандартних тестах, що ставить її в ряд найкращих повністю відкритих моделей свого масштабу . За повідомленнями, вона випередила SmolLM3-3B та OLMo-3-7B, а також конкурувала з більшими моделями, активуючи лише 2,8 млрд параметрів на токен .

Повна прозорість та ліцензування

Відповідно до своєї прихильності відкритому ШІ, AMD оприлюднила всі навчальні артефакти :

• Ваги моделі з кожного етапу навчання
• Конфігурації навчання та суміші даних
• Проміжні зліпки (checkpoints)
• Код для інференсу

Усі артефакти доступні на Hugging Face у просторі імен amd/Instella-MoE-16B-A3B під Research RAIL (Responsible AI License) для академічних і дослідницьких цілей .

Стратегічне значення

Instella-MoE — це більше, ніж просто випуск моделі. Це прямий доказ того, що програмний стек AMD ROCm та апаратне забезпечення Instinct GPU здатні підтримувати розробку ШІ переднього краю — від попереднього навчання до навчання з підкріпленням — з використанням повністю відкритої інфраструктури. Демонструючи конкурентоспроможні результати проти провідних моделей з відкритим кодом, навчених на обладнанні NVIDIA, AMD позиціонує свою екосистему як життєздатну альтернативу NVIDIA CUDA для масштабних ШІ-досліджень та розробок .

Архітектура та інновації

Instella-MoE використовує конфігурацію «спільних + маршрутизованих експертів»: 2 завжди активні спільні експерти та 6 маршрутизованих експертів, які вибираються з пулу 64 на кожен токен . Модель складається з 27 шарів декодера, кожен із прихованим розміром 2048 . Дві ключові інновації:

• Gated Multi-head Latent Attention (Gated MLA): Удосконалення стандартного механізму MLA. Додає легкий навчений вихідний затвор, який вносить нелінійність на основі даних, вибірково послаблюючи малокорисні відповіді уваги та підвищуючи виразність при помірних обчислювальних витратах .
• FarSkip-Collective: Модифікація з'єднань в MoE, яка перекриває комунікацію з обчисленнями під час експертно-паралельного навчання, зменшуючи комунікаційні паузи. Під час попереднього навчання ця техніка прискорила процес на 12,7% .

Модель також використовує об'єкт Multi-Token Prediction (MTP) під час фаз попереднього та проміжного навчання .

Контекстне вікно

Після спеціального етапу розширення довгого контексту Instella-MoE підтримує 64K-токенів контексту .

Шестиетапний цикл навчання

AMD опублікувала повний цикл навчання, який складається з шести послідовних етапів :

1. Попереднє навчання (Pre-training)
2. Проміжне навчання (Mid-training)
3. Розширення довгого контексту (до 64K токенів)
4. Контрольоване доналаштування (SFT) — включно з етапом коригування даних на основі зворотного зв'язку з використанням детального аналізу помилок та пошуку за подібністю
5. Пряма оптимізація вподобань (DPO) — з оновленням зміщень маршрутизатора та вимкненням допоміжної функції втрат для балансування навантаження для стабільності навчання
6. Навчання з підкріпленням (RL) — з використанням фреймворку Miles RL з підтримкою ROCm на GPU AMD Instinct, що включає IF-спеціалізоване RL-навчання та Multi-Teacher On-Policy Distillation (MOPD)

Продуктивність на тестах

Базова модель Instella-MoE-16B-A3B досягла середнього балу 76,7 на стандартних тестах, що ставить її в ряд найкращих повністю відкритих моделей свого масштабу . За повідомленнями, вона випередила SmolLM3-3B та OLMo-3-7B, а також конкурувала з більшими моделями, активуючи лише 2,8 млрд параметрів на токен .

Повна прозорість та ліцензування

Відповідно до своєї прихильності відкритому ШІ, AMD оприлюднила всі навчальні артефакти :

• Ваги моделі з кожного етапу навчання
• Конфігурації навчання та суміші даних
• Проміжні зліпки (checkpoints)
• Код для інференсу

Усі артефакти доступні на Hugging Face у просторі імен amd/Instella-MoE-16B-A3B під Research RAIL (Responsible AI License) для академічних і дослідницьких цілей .

Стратегічне значення

Instella-MoE — це більше, ніж просто випуск моделі. Це прямий доказ того, що програмний стек AMD ROCm та апаратне забезпечення Instinct GPU здатні підтримувати розробку ШІ переднього краю — від попереднього навчання до навчання з підкріпленням — з використанням повністю відкритої інфраструктури. Демонструючи конкурентоспроможні результати проти провідних моделей з відкритим кодом, навчених на обладнанні NVIDIA, AMD позиціонує свою екосистему як життєздатну альтернативу NVIDIA CUDA для масштабних ШІ-досліджень та розробок .