基礎模型：ZAYA1‑8B

ZAYA1‑8B‑Diffusion‑Preview 的基礎是 Zyphra 先前推出的 ZAYA1‑8B。

這是一個 Mixture‑of‑Experts（MoE）推理模型：

• 總參數量略高於 80 億
• 但推理時只啟用 約 7.6 億參數

MoE 架構的核心想法是：模型包含多個專門子網路（稱為 experts），但每次生成 token 只會使用其中一部分。這能在維持性能的同時，顯著降低實際運算成本。

為什麼傳統 LLM 解碼速度有限

目前大多數語言模型採用 自回歸生成（autoregressive generation）。

其流程大致是：

• 生成下一個 token
• 更新 KV cache
• 再生成下一個 token

由於每一步都依賴前一個結果，生成必須 完全序列化。這會帶來兩個問題：

1. 難以平行化
2. 需要頻繁讀寫 KV cache，形成 記憶體頻寬瓶頸

因此在實際推理中，很多系統並不是算力不足，而是 記憶體頻寬限制了生成速度。

擴散模型如何一次生成 16 個 token

Zyphra 的做法是改變解碼邏輯。

在擴散式流程中，模型會：

1. 同時生成一整塊 token 的多個候選草稿
2. 由採樣器判斷哪些 token 可以接受
3. 將被接受的 token 加入輸出序列
4. 再進入下一個區塊

在這個過程中，同一區塊的 token 共用相同的前綴與 KV cache，因此可以在一次前向計算中處理多個 token。

這使推理從原本的 記憶體頻寬瓶頸，轉變為 GPU 更擅長的並行計算任務。

兩種採樣策略與速度差異

速度提升與採樣策略密切相關。

Lossless sampler

• 採用類似 speculative decoding 的接受規則
• Zyphra 表示解碼速度可提升 約 4.6×
• 設計目標是避免評測性能出現系統性下降

Logit‑mixing sampler

• 混合擴散模型與自回歸分布的 logits
• 提高 token 被接受的機率
• 在某些條件下可達 約 7.7× 加速
• 但可能帶來一定品質下降

目前這些結果主要來自 Zyphra 自身的技術報告，因此仍需要更多獨立測試來驗證在不同工作負載下的效果。

為何 AMD 訓練環境引起關注

另一個引人注意的點是 硬體平台。

Zyphra 表示，這個模型是 首個在 AMD GPU 上訓練的擴散式語言模型。

當前大規模 AI 訓練幾乎由 Nvidia GPU 主導。如果能在 AMD GPU 上成功訓練與運行這類模型，意味著未來 AI 基礎設施可能出現更多硬體競爭，而不是完全依賴單一生態系。

Compressed Convolutional Attention（CCA）

ZAYA1‑8B 架構還包含 Zyphra 所稱的 Compressed Convolutional Attention（CCA） 機制。

這種注意力設計的目標是：

• 降低注意力計算成本
• 在大規模並行操作時保持效率

這對擴散式解碼尤其重要。因為一次生成多個 token 的過程，本質上類似於大型 prefill 計算。如果注意力計算成本降低，就能讓這種多 token 並行生成更加可行。

對 AI 推理成本的潛在影響

如果這類方法在實際部署中成立，可能會改變 AI 推理經濟模型。

更快的解碼速度意味著：

• 同一 GPU 每秒能生成更多 token
• 單位 token 成本下降
• 長回覆的延遲降低

不過 Zyphra 也指出，目前 擴散式語言模型的推理工具鏈仍不如自回歸模型成熟，因此實際部署的效益仍有待觀察。

對強化學習訓練的重要性

大型推理模型在訓練時，常使用 強化學習（RL）與 on‑policy rollouts。

這些方法需要模型生成大量候選答案，因此生成速度會直接影響訓練成本。

如果解碼速度提升，可能帶來：

• RL 訓練成本下降
• 能在相同時間內生成更多樣本
• 支援更大規模的 test‑time compute 實驗

在許多研究管線中，生成本身就是最昂貴的步驟之一。

高效率 AI 模型的新競爭方向

ZAYA1‑8B‑Diffusion‑Preview 也反映了 AI 產業的一個趨勢：

焦點正逐漸從「模型越大越好」，轉向 每美元能得到多少智能（intelligence per dollar）。

Zyphra 的設計結合了多種效率策略：

• Mixture‑of‑Experts 架構
• 擴散式解碼
• 新型注意力機制
• 非 Nvidia 的訓練基礎設施

如果這些技術在更大規模的模型上被證明可靠，它們可能會重新塑造未來語言模型的最佳化方向——不只是追求能力，也包括 吞吐量、成本與硬體效率。

目前而言，ZAYA1‑8B‑Diffusion‑Preview 更像是一個技術展示，但它顯示了一條值得關注的路線：把現有自回歸 LLM 轉換成擴散式解碼器，可能成為提升 AI 生成速度的新方法。

基礎模型：ZAYA1‑8B

ZAYA1‑8B‑Diffusion‑Preview 的基礎是 Zyphra 先前推出的 ZAYA1‑8B。

這是一個 Mixture‑of‑Experts（MoE）推理模型：

• 總參數量略高於 80 億
• 但推理時只啟用 約 7.6 億參數

MoE 架構的核心想法是：模型包含多個專門子網路（稱為 experts），但每次生成 token 只會使用其中一部分。這能在維持性能的同時，顯著降低實際運算成本。

為什麼傳統 LLM 解碼速度有限

目前大多數語言模型採用 自回歸生成（autoregressive generation）。

其流程大致是：

• 生成下一個 token
• 更新 KV cache
• 再生成下一個 token

由於每一步都依賴前一個結果，生成必須 完全序列化。這會帶來兩個問題：

1. 難以平行化
2. 需要頻繁讀寫 KV cache，形成 記憶體頻寬瓶頸

因此在實際推理中，很多系統並不是算力不足，而是 記憶體頻寬限制了生成速度。

擴散模型如何一次生成 16 個 token

Zyphra 的做法是改變解碼邏輯。

在擴散式流程中，模型會：

1. 同時生成一整塊 token 的多個候選草稿
2. 由採樣器判斷哪些 token 可以接受
3. 將被接受的 token 加入輸出序列
4. 再進入下一個區塊

在這個過程中，同一區塊的 token 共用相同的前綴與 KV cache，因此可以在一次前向計算中處理多個 token。

這使推理從原本的 記憶體頻寬瓶頸，轉變為 GPU 更擅長的並行計算任務。

兩種採樣策略與速度差異

速度提升與採樣策略密切相關。

Lossless sampler

• 採用類似 speculative decoding 的接受規則
• Zyphra 表示解碼速度可提升 約 4.6×
• 設計目標是避免評測性能出現系統性下降

Logit‑mixing sampler

• 混合擴散模型與自回歸分布的 logits
• 提高 token 被接受的機率
• 在某些條件下可達 約 7.7× 加速
• 但可能帶來一定品質下降

目前這些結果主要來自 Zyphra 自身的技術報告，因此仍需要更多獨立測試來驗證在不同工作負載下的效果。

為何 AMD 訓練環境引起關注

另一個引人注意的點是 硬體平台。

Zyphra 表示，這個模型是 首個在 AMD GPU 上訓練的擴散式語言模型。

當前大規模 AI 訓練幾乎由 Nvidia GPU 主導。如果能在 AMD GPU 上成功訓練與運行這類模型，意味著未來 AI 基礎設施可能出現更多硬體競爭，而不是完全依賴單一生態系。

Compressed Convolutional Attention（CCA）

ZAYA1‑8B 架構還包含 Zyphra 所稱的 Compressed Convolutional Attention（CCA） 機制。

這種注意力設計的目標是：

• 降低注意力計算成本
• 在大規模並行操作時保持效率

這對擴散式解碼尤其重要。因為一次生成多個 token 的過程，本質上類似於大型 prefill 計算。如果注意力計算成本降低，就能讓這種多 token 並行生成更加可行。

對 AI 推理成本的潛在影響

如果這類方法在實際部署中成立，可能會改變 AI 推理經濟模型。

更快的解碼速度意味著：

• 同一 GPU 每秒能生成更多 token
• 單位 token 成本下降
• 長回覆的延遲降低

不過 Zyphra 也指出，目前 擴散式語言模型的推理工具鏈仍不如自回歸模型成熟，因此實際部署的效益仍有待觀察。

對強化學習訓練的重要性

大型推理模型在訓練時，常使用 強化學習（RL）與 on‑policy rollouts。

這些方法需要模型生成大量候選答案，因此生成速度會直接影響訓練成本。

如果解碼速度提升，可能帶來：

• RL 訓練成本下降
• 能在相同時間內生成更多樣本
• 支援更大規模的 test‑time compute 實驗

在許多研究管線中，生成本身就是最昂貴的步驟之一。

高效率 AI 模型的新競爭方向

ZAYA1‑8B‑Diffusion‑Preview 也反映了 AI 產業的一個趨勢：

焦點正逐漸從「模型越大越好」，轉向 每美元能得到多少智能（intelligence per dollar）。

Zyphra 的設計結合了多種效率策略：

• Mixture‑of‑Experts 架構
• 擴散式解碼
• 新型注意力機制
• 非 Nvidia 的訓練基礎設施

如果這些技術在更大規模的模型上被證明可靠，它們可能會重新塑造未來語言模型的最佳化方向——不只是追求能力，也包括 吞吐量、成本與硬體效率。

目前而言，ZAYA1‑8B‑Diffusion‑Preview 更像是一個技術展示，但它顯示了一條值得關注的路線：把現有自回歸 LLM 轉換成擴散式解碼器，可能成為提升 AI 生成速度的新方法。