AMD lanza Instella-MoE: un modelo de lenguaje masivo de 16B parámetros, totalmente abierto y entrenado en sus propias GPUs

Arquitectura e innovaciones

Instella-MoE emplea una configuración de expertos compartidos y enrutados, con 2 expertos compartidos siempre activos y 6 expertos enrutados seleccionados de un grupo de 64 por cada token . El modelo consta de 27 capas de decodificador, cada una con un tamaño oculto de 2048 . Dos innovaciones arquitectónicas destacan:

• Atención Latente Multi-Cabeza con Puerta (Gated MLA): Una mejora de la Atención Latente Multi-Cabeza estándar (MLA). Añade una puerta de salida aprendida y liviana que introduce una no-linealidad basada en datos, atenuando selectivamente las respuestas de atención de baja utilidad para aumentar la expresividad con un costo computacional modesto .
• FarSkip-Collective: Una modificación a la conectividad MoE que superpone la comunicación con el cómputo durante el entrenamiento paralelo de expertos, reduciendo las burbujas de comunicación. Durante el pre-entrenamiento, esta técnica aceleró el entrenamiento en un 12.7% .

El modelo también utiliza un objetivo de Predicción Multi-Token (MTP) durante sus fases de pre-entrenamiento y entrenamiento medio .

Ventana de contexto

Después de una etapa dedicada de extensión de contexto largo, Instella-MoE soporta un contexto de 64 mil tokens .

Pipeline de entrenamiento de seis etapas

AMD publicó el pipeline de entrenamiento completo, que consta de seis etapas secuenciales :

1. Pre-entrenamiento
2. Entrenamiento medio
3. Extensión de contexto largo (ampliando el contexto a 64 mil tokens)
4. Ajuste fino supervisado (SFT) — incluyendo una etapa de curación de datos impulsada por retroalimentación que utiliza análisis de errores detallados y recuperación basada en similitud
5. Optimización directa de preferencias (DPO) — con actualizaciones de sesgo del enrutador y la pérdida de balanceo de carga auxiliar deshabilitada para mantener la estabilidad del entrenamiento
6. Aprendizaje por refuerzo (RL) — utilizando el framework Miles RL con soporte ROCm en GPUs AMD Instinct, incorporando entrenamiento RL especializado en IF y Destilación Multi-Maestro Dentro de Política (MOPD)

Rendimiento en benchmarks

El modelo base Instella-MoE-16B-A3B alcanzó una puntuación promedio de 76.7 en benchmarks estándar, posicionándose entre los mejores modelos completamente abiertos en su escala . Según los informes, superó a SmolLM3-3B y OLMo-3-7B, y compitió con modelos más grandes a pesar de activar solo 2.800 millones de parámetros por token .

Transparencia total y licencias

En línea con su compromiso con la IA abierta, AMD liberó todos los artefactos de entrenamiento de forma abierta :

• Pesos del modelo de cada etapa de entrenamiento
• Configuraciones de entrenamiento y mezclas de datos
• Puntos de control intermedios
• Código de inferencia

Todos los artefactos están disponibles en Hugging Face bajo el espacio de nombres amd/Instella-MoE-16B-A3B, con una Licencia RAIL de Investigación (Responsible AI License) para fines académicos y de investigación .

Importancia estratégica

Instella-MoE es más que un lanzamiento de modelo: es una prueba directa de que la pila de software ROCm de AMD y el hardware de GPU Instinct pueden respaldar el desarrollo de IA a escala de frontera, desde el pre-entrenamiento hasta el RL, utilizando infraestructura completamente abierta. Al ofrecer benchmarks competitivos contra los principales modelos de código abierto entrenados en hardware de Nvidia, AMD posiciona su ecosistema como una alternativa viable a CUDA de Nvidia para la investigación y el desarrollo de IA a gran escala .