ZAYA1‑8B‑Diffusion‑Preview: como a Zyphra acelera a geração de texto com difusão

O modelo base: ZAYA1‑8B

O Diffusion‑Preview é construído sobre o ZAYA1‑8B, um modelo de raciocínio baseado em mixture‑of‑experts (MoE).

Ele possui pouco mais de 8 bilhões de parâmetros no total, mas durante a inferência ativa apenas cerca de 760 milhões, graças ao mecanismo de roteamento entre especialistas. Isso reduz o custo computacional mantendo desempenho competitivo em benchmarks, segundo análises do setor.

Na prática, arquiteturas MoE funcionam ativando apenas sub‑redes especializadas (“experts”) para cada token gerado. Esse mecanismo pode reduzir o custo de inferência quando comparado a modelos densos com tamanho equivalente.

Por que a geração autoregressiva é lenta

Quase todos os modelos de linguagem atuais utilizam decodificação autoregressiva.

O processo segue sempre a mesma lógica:

• gerar o próximo token
• atualizar o cache de atenção (KV cache)
• repetir o processo

Como cada token depende de todos os anteriores, a geração precisa ocorrer de forma sequencial. Isso dificulta paralelização e frequentemente cria gargalos de largura de banda de memória, já que o sistema acessa constantemente o KV cache durante a geração.

Como o modelo gera 16 tokens ao mesmo tempo

O método de difusão muda essa dinâmica.

Em vez de prever apenas o próximo token, o modelo propõe simultaneamente um bloco de tokens candidatos. No caso do ZAYA1‑8B‑Diffusion‑Preview, cada etapa gera 16 tokens candidatos por vez.

O fluxo geral funciona assim:

1. O modelo cria múltiplos rascunhos para um bloco de tokens.
2. Um sampler avalia quais desses tokens podem ser aceitos.
3. Os tokens aceitos são adicionados à resposta final.
4. O processo se repete para o próximo bloco.

Como todos os tokens do bloco compartilham o mesmo prefixo e estado do KV cache, o cálculo pode ocorrer em paralelo dentro de uma única passagem do modelo. Isso muda a natureza do gargalo: em vez de depender principalmente da memória, o trabalho passa a ser mais intensivo em computação paralela, algo que GPUs executam com muito mais eficiência.

Dois métodos de amostragem e seus ganhos de velocidade

Os ganhos de desempenho dependem do sampler usado na geração.

Lossless sampler

• Usa regras de aceitação parecidas com as do speculative decoding
• Aproximadamente 4,6× mais rápido que a geração autoregressiva
• Projetado para evitar queda sistemática de qualidade nos benchmarks

Logit‑mixing sampler

• Combina logits do modelo de difusão e do modelo autoregressivo
• Aumenta a taxa de aceitação de tokens
• Pode chegar a 7,7× de aceleração, mas com possível perda de qualidade

Vale notar que esses números vêm principalmente de testes divulgados pela própria Zyphra, então benchmarks independentes ainda serão importantes para confirmar o desempenho em cenários reais.

O papel do treinamento com GPUs AMD

Outro aspecto incomum do projeto é o hardware utilizado. A Zyphra afirma que o modelo é o primeiro modelo de linguagem por difusão treinado em GPUs AMD, em vez da infraestrutura Nvidia que domina a maior parte do treinamento de IA atualmente.

O ZAYA1‑8B e sua versão de difusão foram treinados usando a pilha de IA da AMD, o que demonstra que experimentos avançados com LLMs podem acontecer fora do ecossistema tradicional da Nvidia. Se essa abordagem se mostrar reproduzível em larga escala, pode estimular maior competição no mercado de hardware para IA.

Compressed Convolutional Attention (CCA)

O ZAYA1‑8B também inclui um mecanismo chamado Compressed Convolutional Attention (CCA).

A ideia é reduzir o custo computacional do mecanismo de atenção, especialmente em operações altamente paralelas.

Isso é relevante porque a geração por difusão transforma parte da inferência em algo parecido com uma operação de prefill em larga escala — etapa que se beneficia muito de uma atenção mais eficiente. Reduzir esse custo ajuda a tornar a geração simultânea de múltiplos tokens mais viável.

Impacto potencial no custo de inferência

Se os ganhos de velocidade se confirmarem em produção, as consequências podem ser relevantes para a economia da IA.

Geração mais rápida significa:

• mais tokens gerados por GPU por segundo
• menor custo por token
• respostas mais rápidas em prompts longos

Ainda assim, a própria Zyphra observa que a inferência baseada em difusão ainda não está tão otimizada quanto os sistemas autoregressivos tradicionais, então os ganhos reais podem variar dependendo da implementação.

Por que isso importa para treinamento com reinforcement learning

Modelos de raciocínio modernos frequentemente usam reinforcement learning com rollouts on‑policy — um processo em que o modelo precisa gerar muitas respostas candidatas durante o treinamento.

Como o custo depende diretamente da velocidade de geração, decodificação mais rápida pode:

• reduzir o custo total do treinamento
• permitir explorar mais caminhos de raciocínio por prompt
• ampliar experimentos de test‑time compute

Na prática, a velocidade de inferência costuma ser um dos maiores custos em pipelines de treinamento baseados em RL.

Um novo caminho para IA mais eficiente

O ZAYA1‑8B‑Diffusion‑Preview ilustra uma tendência crescente na indústria: em vez de focar apenas em modelos cada vez maiores, pesquisadores estão buscando aumentar a "inteligência por dólar".

Esse projeto combina várias estratégias de eficiência ao mesmo tempo:

• arquitetura mixture‑of‑experts
• decodificação por difusão
• mecanismos alternativos de atenção
• treinamento em infraestrutura AMD

Se essas técnicas se provarem robustas em escala, elas podem mudar a forma como futuros modelos são otimizados — não apenas para capacidade, mas também para custo, velocidade e eficiência de hardware. Por enquanto, o ZAYA1‑8B‑Diffusion‑Preview funciona como uma demonstração inicial de que transformar LLMs autoregressivos em decodificadores de difusão pode ser um caminho promissor para acelerar a geração de IA.