ZAYA1‑8B‑Diffusion‑Preview：扩散式语言模型如何让AI一次生成16个Token

基础模型：ZAYA1‑8B

ZAYA1‑8B‑Diffusion‑Preview建立在 ZAYA1‑8B 模型之上，这是Zyphra发布的一款 Mixture‑of‑Experts（MoE，专家混合）推理模型。

其特点是：

• 总参数规模 略高于80亿
• 实际推理时仅 约7.6亿参数被激活

MoE架构会在每个token计算时只调用部分“专家网络”，而不是全部参数，因此能在保持性能的同时显著降低推理成本。

为什么传统LLM解码速度慢

目前大多数语言模型使用 自回归生成。流程非常简单：

1. 生成下一个token
2. 更新KV缓存（Key‑Value cache）
3. 再生成下一个token

问题在于：每一步都依赖前一步的输出，因此 必须顺序执行。

这种设计会带来两个典型瓶颈：

• 难以并行计算
• 频繁访问KV缓存导致 内存带宽限制

在GPU上运行时，这种模式往往导致算力利用率不高。

扩散模型如何一次生成16个token

Zyphra的扩散式解码改变了生成流程。

模型不再只预测下一个token，而是 同时提出一组token草稿。在当前版本中，每一步会生成 16个token候选块。

整体流程大致如下：

1. 模型并行生成一个16-token草稿块
2. 采样器判断哪些token可以接受
3. 被接受的token加入最终输出
4. 重复该过程生成下一块

因为这些候选token 共享相同的上下文前缀和KV缓存，模型可以在一次前向计算中并行处理多个token。

这样就把计算模式从 内存带宽受限的逐token解码 转变为 GPU更擅长的并行计算任务。

两种采样策略与速度差异

Zyphra在预览模型中提供了两种不同的采样方式。

Lossless sampler

• 接受规则类似“推测解码”（speculative decoding）
• 报告约 4.6×速度提升
• 设计目标是不降低评测性能

Logit‑mixing sampler

• 将扩散模型与自回归分布的logits进行混合
• 提高token接受率
• 最高 约7.7×加速，但可能带来质量下降

目前这些结果主要来自Zyphra自身测试，仍需要独立基准验证。

为什么AMD训练环境值得关注

另一个引人注意的点是 硬件生态。

Zyphra表示该模型是 首个在AMD GPU上训练的扩散语言模型，而不是依赖目前AI训练中占主导地位的NVIDIA平台。

如果这一方案被证明可扩展，意味着：

• 大规模AI训练可能不再完全依赖单一硬件生态
• GPU厂商之间的竞争可能加剧
• AI基础设施成本结构可能改变

Compressed Convolutional Attention（CCA）

ZAYA1‑8B还使用了Zyphra提出的 Compressed Convolutional Attention（CCA） 注意力机制。

其目标是降低注意力计算成本。

这在扩散式解码中尤为重要，因为并行生成多个token类似于一次大型“prefill”计算阶段。降低注意力开销可以让 多token并行生成更加高效。

对推理成本的潜在影响

如果这些速度提升在真实部署环境中成立，将带来明显的经济影响：

• 单GPU每秒生成更多token
• 每token推理成本下降
• 长文本响应延迟减少

不过Zyphra也指出，目前扩散式LLM推理栈仍不如自回归方案成熟，因此实际收益仍需进一步验证。

为什么强化学习训练会受益

许多推理型模型的训练依赖 强化学习（RL）与on‑policy rollouts。

在这种训练流程中，模型需要为同一问题生成大量候选答案，因此 生成速度直接决定训练成本。

更快的解码意味着：

• RL训练成本降低
• 可以采样更多推理路径
• 更容易扩展“test‑time compute”实验

在大型推理模型的训练管线中，生成阶段往往是最昂贵的部分之一。

高效AI模型竞争的新方向

ZAYA1‑8B‑Diffusion‑Preview也反映出AI行业的一个趋势：

竞争不再只是比谁的模型更大，而是比 “每美元能获得多少智能”。

Zyphra的方案把多种效率技术组合在一起：

• MoE架构
• 扩散式解码
• 新型注意力机制
• AMD硬件生态

如果这些技术在大规模系统中得到验证，它们可能重新定义未来语言模型的优化方向——不仅关注能力，还包括 吞吐量、成本和硬件效率。

目前来看，ZAYA1‑8B‑Diffusion‑Preview更像是一种早期技术展示，但它提出了一种值得关注的思路：

把传统自回归LLM改造成扩散式解码器，或许能成为提升AI生成速度的重要路径。