ZAYA1‑8B‑Diffusion‑Preview: el experimento de Zyphra para acelerar la generación de texto en IA

El modelo base: ZAYA1‑8B

El sistema se construye sobre ZAYA1‑8B, un modelo de razonamiento con arquitectura Mixture‑of‑Experts (MoE). Aunque tiene algo más de 8.000 millones de parámetros totales, solo unos 760 millones se activan durante la inferencia, lo que reduce los requisitos computacionales frente a modelos densos del mismo tamaño.

En este tipo de arquitectura, cada token se procesa solo por algunos submodelos especializados llamados “expertos”. Eso permite mantener buen rendimiento mientras se controla el costo de cálculo.

Por qué la generación autoregresiva es lenta

La mayoría de los modelos de lenguaje actuales usan generación autoregresiva. El proceso es estrictamente secuencial:

• el modelo predice el siguiente token
• actualiza la memoria intermedia (KV cache)
• repite el proceso para el siguiente token

Como cada paso depende del anterior, la generación no puede paralelizarse fácilmente. Además, el acceso constante a la KV cache suele crear cuellos de botella de ancho de banda de memoria, especialmente en GPU.

Cómo el modelo genera 16 tokens a la vez

La versión de difusión cambia la forma de decodificar texto.

En lugar de producir un token cada vez, el modelo propone simultáneamente un bloque de tokens candidatos. En esta versión preliminar, cada paso de difusión trabaja con bloques de 16 tokens.

El flujo simplificado sería:

1. El modelo genera varios borradores candidatos para un bloque de tokens.
2. Un algoritmo de muestreo evalúa cuáles pueden aceptarse.
3. Los tokens aceptados se agregan a la salida y el proceso se repite con el siguiente bloque.

Como todos esos candidatos comparten el mismo prefijo y estado de la KV cache, el modelo puede procesarlos en paralelo dentro de una sola pasada de red. Esto transforma parte del trabajo de inferencia —tradicionalmente limitado por memoria— en cálculo paralelo intensivo, algo que las GPU manejan mucho mejor.

Dos estrategias de muestreo y sus velocidades

Las mejoras de rendimiento dependen del método de muestreo usado para aceptar los tokens generados.

Lossless sampler

• Usa reglas de aceptación similares al speculative decoding.
• Zyphra reporta aproximadamente 4,6× más velocidad que la generación autoregresiva tradicional.
• Está diseñado para evitar pérdidas sistemáticas de calidad en evaluaciones.

Logit‑mixing sampler

• Combina probabilidades del modelo de difusión con las del modelo autoregresivo.
• Mejora la tasa de aceptación de tokens.
• Zyphra reporta hasta 7,7× de aceleración, aunque con cierto riesgo de degradación de calidad.

Por ahora, estas cifras provienen principalmente de los propios reportes técnicos de la empresa, por lo que serán necesarias pruebas independientes para confirmar el rendimiento en aplicaciones reales.

El detalle poco común: entrenamiento con GPUs AMD

Otro elemento llamativo es el hardware utilizado. Zyphra afirma que se trata del primer modelo de lenguaje por difusión entrenado en GPUs AMD, en lugar de la infraestructura basada en Nvidia que domina el entrenamiento de IA a gran escala.

Si otros equipos logran reproducir estos resultados, podría significar que el desarrollo de LLM avanzados no depende exclusivamente del ecosistema de Nvidia, lo que ampliaría la competencia en hardware de IA.

Compressed Convolutional Attention (CCA)

El modelo ZAYA1‑8B también incorpora un mecanismo llamado Compressed Convolutional Attention (CCA). Su objetivo es reducir el costo computacional de la atención, especialmente durante operaciones paralelas grandes.

Esto es relevante porque la decodificación por difusión se parece a una operación de prefill grande: se procesan muchos tokens simultáneamente. Si el cálculo de atención es más eficiente, el modelo puede ejecutar esos pasos paralelos con menor costo.

Qué significa para el costo de inferencia

Si las mejoras de velocidad se mantienen en producción, podrían tener efectos importantes en la economía de los sistemas de IA:

• más tokens generados por GPU cada segundo
• menor costo por token
• menor latencia en respuestas largas

Aun así, Zyphra advierte que las implementaciones de inferencia para modelos de difusión todavía están menos optimizadas que las de modelos autoregresivos, por lo que los resultados reales podrían variar.

Impacto en el entrenamiento con aprendizaje por refuerzo

Los modelos de razonamiento modernos suelen entrenarse usando aprendizaje por refuerzo con rollouts on‑policy, lo que implica generar enormes cantidades de respuestas candidatas.

Si la generación de texto se vuelve mucho más rápida, eso podría:

• reducir el costo del entrenamiento por refuerzo
• permitir más experimentos de test‑time compute
• aumentar el número de trayectorias de razonamiento exploradas por prompt

En muchos pipelines de entrenamiento, la velocidad de inferencia es uno de los mayores costos operativos.

Una nueva carrera por la eficiencia en IA

El ZAYA1‑8B‑Diffusion‑Preview refleja una tendencia creciente en el desarrollo de IA: en lugar de aumentar solo el tamaño de los modelos, muchos equipos buscan mejorar la eficiencia —la llamada “inteligencia por dólar”.

Este proyecto combina varias estrategias:

• arquitectura mixture‑of‑experts
• decodificación basada en difusión
• mecanismos alternativos de atención
• entrenamiento fuera del ecosistema dominante de Nvidia

Si estos enfoques se confirman a gran escala, podrían redefinir cómo se optimizan los futuros modelos de lenguaje: no solo por capacidad, sino también por rendimiento, costo y eficiencia del hardware. Por ahora, el modelo funciona como una demostración temprana de que convertir LLM autoregresivos en decodificadores de difusión podría ser un camino prometedor hacia una generación de IA mucho más rápida.