Arquitetura e Inovações

O Instella-MoE utiliza uma configuração de especialistas compartilhados e roteados, com 2 especialistas compartilhados sempre ativos e 6 especialistas roteados selecionados de um conjunto de 64 por token . O modelo é composto por 27 camadas de decodificação, cada uma com um tamanho oculto de 2.048 . Duas inovações arquiteturais se destacam:

• Gated Multi-head Latent Attention (Gated MLA): Uma versão aprimorada da 'Multi-head Latent Attention' (MLA) padrão. Ela adiciona uma porta de saída leve e aprendida que introduz uma não-linearidade orientada por dados, atenuando seletivamente respostas de atenção de baixa utilidade para aumentar a expressividade a um custo computacional modesto .
• FarSkip-Collective: Uma modificação na conectividade do MoE que sobrepõe a comunicação com o cálculo durante o treinamento paralelo de especialistas, reduzindo as 'bolhas' de comunicação. Durante o pré-treinamento, esta técnica acelerou o treinamento em 12,7% .

O modelo também utiliza um objetivo de 'Multi-Token Prediction' (MTP) durante suas fases de pré-treinamento e treinamento intermediário .

Janela de Contexto

Após um estágio de treinamento dedicado à extensão de contexto longo, o Instella-MoE suporta uma janela de contexto de 64 mil tokens .

Pipeline de Treinamento em Seis Etapas

A AMD publicou o pipeline de treinamento completo, que consiste em seis estágios sequenciais :

1. Pré-treinamento
2. Treinamento intermediário (Mid-training)
3. Extensão de Contexto Longo (estendendo o contexto para 64 mil tokens)
4. Ajuste Fino Supervisionado (SFT) — incluindo um estágio de curadoria de dados orientado por feedback, usando análise de erros refinada e recuperação baseada em similaridade
5. Otimização por Preferência Direta (DPO) — com atualizações de viés do roteador e a perda auxiliar de balanceamento de carga desabilitada para manter a estabilidade do treinamento
6. Aprendizado por Reforço (RL) — usando o framework Miles RL com suporte a ROCm em GPUs AMD Instinct, incorporando treinamento RL especializado em IF e 'Multi-Teacher On-Policy Distillation' (MOPD)

Desempenho em Benchmarks

O modelo base Instella-MoE-16B-A3B alcançou uma pontuação média de 76,7 em benchmarks padrão, posicionando-se entre os principais modelos totalmente abertos em sua escala . Ele superou modelos como SmolLM3-3B e OLMo-3-7B, e competiu com modelos maiores, apesar de ativar apenas 2,8 bilhões de parâmetros por token .

Transparência Total e Licenciamento

Em linha com seu compromisso com a IA aberta, a AMD disponibilizou todos os artefatos de treinamento :

• Pesos do modelo de cada estágio de treinamento
• Configurações de treinamento e combinações de dados
• Checkpoints intermediários
• Código de inferência

Todos os artefatos estão disponíveis no Hugging Face sob o namespace amd/Instella-MoE-16B-A3B, licenciados sob uma 'Research RAIL (Responsible AI License)' para fins acadêmicos e de pesquisa .

Significado Estratégico

O Instella-MoE é mais do que um simples lançamento de modelo — é uma prova direta de que a pilha de software ROCm e o hardware GPU Instinct da AMD podem suportar o desenvolvimento de IA de ponta, do pré-treinamento ao aprendizado por reforço, usando infraestrutura totalmente aberta. Ao entregar benchmarks competitivos contra os principais modelos open source treinados em hardware Nvidia, a AMD posiciona seu ecossistema como uma alternativa viável ao CUDA da Nvidia para pesquisa e desenvolvimento de IA em larga escala .

Arquitetura e Inovações

O Instella-MoE utiliza uma configuração de especialistas compartilhados e roteados, com 2 especialistas compartilhados sempre ativos e 6 especialistas roteados selecionados de um conjunto de 64 por token . O modelo é composto por 27 camadas de decodificação, cada uma com um tamanho oculto de 2.048 . Duas inovações arquiteturais se destacam:

• Gated Multi-head Latent Attention (Gated MLA): Uma versão aprimorada da 'Multi-head Latent Attention' (MLA) padrão. Ela adiciona uma porta de saída leve e aprendida que introduz uma não-linearidade orientada por dados, atenuando seletivamente respostas de atenção de baixa utilidade para aumentar a expressividade a um custo computacional modesto .
• FarSkip-Collective: Uma modificação na conectividade do MoE que sobrepõe a comunicação com o cálculo durante o treinamento paralelo de especialistas, reduzindo as 'bolhas' de comunicação. Durante o pré-treinamento, esta técnica acelerou o treinamento em 12,7% .

O modelo também utiliza um objetivo de 'Multi-Token Prediction' (MTP) durante suas fases de pré-treinamento e treinamento intermediário .

Janela de Contexto

Após um estágio de treinamento dedicado à extensão de contexto longo, o Instella-MoE suporta uma janela de contexto de 64 mil tokens .

Pipeline de Treinamento em Seis Etapas

A AMD publicou o pipeline de treinamento completo, que consiste em seis estágios sequenciais :

1. Pré-treinamento
2. Treinamento intermediário (Mid-training)
3. Extensão de Contexto Longo (estendendo o contexto para 64 mil tokens)
4. Ajuste Fino Supervisionado (SFT) — incluindo um estágio de curadoria de dados orientado por feedback, usando análise de erros refinada e recuperação baseada em similaridade
5. Otimização por Preferência Direta (DPO) — com atualizações de viés do roteador e a perda auxiliar de balanceamento de carga desabilitada para manter a estabilidade do treinamento
6. Aprendizado por Reforço (RL) — usando o framework Miles RL com suporte a ROCm em GPUs AMD Instinct, incorporando treinamento RL especializado em IF e 'Multi-Teacher On-Policy Distillation' (MOPD)

Desempenho em Benchmarks

O modelo base Instella-MoE-16B-A3B alcançou uma pontuação média de 76,7 em benchmarks padrão, posicionando-se entre os principais modelos totalmente abertos em sua escala . Ele superou modelos como SmolLM3-3B e OLMo-3-7B, e competiu com modelos maiores, apesar de ativar apenas 2,8 bilhões de parâmetros por token .

Transparência Total e Licenciamento

Em linha com seu compromisso com a IA aberta, a AMD disponibilizou todos os artefatos de treinamento :

• Pesos do modelo de cada estágio de treinamento
• Configurações de treinamento e combinações de dados
• Checkpoints intermediários
• Código de inferência

Todos os artefatos estão disponíveis no Hugging Face sob o namespace amd/Instella-MoE-16B-A3B, licenciados sob uma 'Research RAIL (Responsible AI License)' para fins acadêmicos e de pesquisa .

Significado Estratégico

O Instella-MoE é mais do que um simples lançamento de modelo — é uma prova direta de que a pilha de software ROCm e o hardware GPU Instinct da AMD podem suportar o desenvolvimento de IA de ponta, do pré-treinamento ao aprendizado por reforço, usando infraestrutura totalmente aberta. Ao entregar benchmarks competitivos contra os principais modelos open source treinados em hardware Nvidia, a AMD posiciona seu ecossistema como uma alternativa viável ao CUDA da Nvidia para pesquisa e desenvolvimento de IA em larga escala .