このモデルは Mixture‑of‑Experts（MoE） アーキテクチャを採用しており、

• 総パラメータ：約80億
• 推論時に実際に使われるパラメータ：約7.6億

という構成になっています。

MoEでは複数の専門サブネットワーク（エキスパート）のうち必要なものだけを使うため、同規模の密なモデルよりも計算コストを抑えつつ性能を維持できるのが特徴です。

なぜ従来のLLMは遅いのか

現在主流のLLMは 自己回帰（autoregressive）生成 を採用しています。

仕組みはシンプルで、

1. 次のトークンを予測
2. そのトークンをKVキャッシュに追加
3. それを前提に次のトークンを生成

という処理を繰り返します。

しかしこの方式には大きな制約があります。各トークンが前のトークンに依存するため、処理が完全に逐次的になることです。

その結果、推論ではKVキャッシュへのアクセスが繰り返され、メモリ帯域がボトルネックになるケースが多くなります。

16トークンを同時生成する仕組み

ZAYA1‑8B‑Diffusion‑Previewでは、このデコード方法を拡散モデルに近い形へ変えています。

基本的な流れは次のようになります。

1. モデルが 16トークンの候補ブロックを同時に生成
2. サンプラーがそれらの候補を評価
3. 受理されたトークンだけを出力に追加
4. 次のブロックで同じ処理を繰り返す

同じ接頭文とKVキャッシュを共有した状態で複数トークンを処理できるため、1回のフォワードパスで並列計算が可能になります。

この結果、処理の性質が

• メモリ帯域に依存する逐次処理

から

• GPU計算能力を活かした並列処理

へとシフトします。GPUは並列計算が得意なため、これが推論高速化につながるとされています。

2種類のサンプリング方式

Zyphraは、異なるトレードオフを持つ2つのサンプリング方法を紹介しています。

Lossless sampler

• スペキュラティブデコーディングに近い受理ルール
• 約4.6倍の高速化
• 評価性能の体系的な低下を避ける設計

Logit‑mixing sampler

• 拡散モデルと自己回帰モデルのロジットを組み合わせる
• トークン受理率が上昇
• 最大7.7倍の高速化（ただし品質低下の可能性あり）

これらの結果は主にZyphra自身の報告に基づいているため、実際の運用環境での独立ベンチマークが今後重要になります。

AMD GPUで訓練された点も注目

このプロジェクトでもう一つ注目されているのが、AMDのGPUでトレーニングされた拡散言語モデルだという点です。

現在のAIトレーニングはNVIDIAのGPUが事実上の標準になっていますが、Zyphraは

• ZAYA1‑8B
• その拡散モデル版

の両方を AMDベースのAIスタックで開発したと報告しています。

もし同様の成果が再現できれば、AIインフラにおけるハードウェア競争が広がる可能性があります。

Compressed Convolutional Attention（CCA）

ZAYA1‑8Bでは Compressed Convolutional Attention（CCA） という独自の注意機構も導入されています。

目的は、並列処理時の注意計算コストを削減することです。

拡散デコーディングでは複数トークンをまとめて処理するため、処理の性質は「prefill（長い文脈を一度に処理する段階）」に近くなります。

CCAはこのprefill計算を軽量化することで、多トークン並列生成を実用的にする役割を果たします。

推論コストへの影響

もし報告された高速化が実運用でも成立すれば、AIサービスのコスト構造にも影響します。

生成速度が上がると

• GPUあたりの生成トークン数が増える
• 1トークンあたりの推論コストが低下
• 長文回答のレイテンシーが短縮

といったメリットが期待できます。

ただしZyphra自身も、拡散型LLMの推論スタックはまだ最適化途上であり、実環境では理論値と異なる可能性があると説明しています。

強化学習トレーニングへの影響

もう一つの重要なポイントは、強化学習（RL）トレーニングのコストです。

最近の推論モデルでは、オンポリシーのロールアウトとして大量の回答サンプルを生成します。

生成速度が速くなると

• RLトレーニングのコスト削減
• テスト時コンピュートの拡張
• 1プロンプトあたりの推論探索の増加

といった研究上のメリットが生まれます。

実際、多くの研究チームにとって推論生成そのものがトレーニングコストの大部分を占めています。

「より大きいモデル」から「より効率的なモデル」へ

ZAYA1‑8B‑Diffusion‑Previewは、AI開発の方向性が変わりつつあることも示しています。

最近は単にモデルを巨大化するだけでなく、

• Mixture‑of‑Experts
• 拡散型デコーディング
• 新しい注意機構
• NVIDIA以外のハードウェア

といった技術を組み合わせて、「1ドルあたりの知能（intelligence per dollar）」を高める研究が増えています。

Zyphraの試みはまだ初期段階ですが、既存の自己回帰LLMを拡散型デコーダへ変換するというアプローチは、今後の高速推論技術の有力な方向性の一つになる可能性があります。

このモデルは Mixture‑of‑Experts（MoE） アーキテクチャを採用しており、

• 総パラメータ：約80億
• 推論時に実際に使われるパラメータ：約7.6億

という構成になっています。

MoEでは複数の専門サブネットワーク（エキスパート）のうち必要なものだけを使うため、同規模の密なモデルよりも計算コストを抑えつつ性能を維持できるのが特徴です。

なぜ従来のLLMは遅いのか

現在主流のLLMは 自己回帰（autoregressive）生成 を採用しています。

仕組みはシンプルで、

1. 次のトークンを予測
2. そのトークンをKVキャッシュに追加
3. それを前提に次のトークンを生成

という処理を繰り返します。

しかしこの方式には大きな制約があります。各トークンが前のトークンに依存するため、処理が完全に逐次的になることです。

その結果、推論ではKVキャッシュへのアクセスが繰り返され、メモリ帯域がボトルネックになるケースが多くなります。

16トークンを同時生成する仕組み

ZAYA1‑8B‑Diffusion‑Previewでは、このデコード方法を拡散モデルに近い形へ変えています。

基本的な流れは次のようになります。

1. モデルが 16トークンの候補ブロックを同時に生成
2. サンプラーがそれらの候補を評価
3. 受理されたトークンだけを出力に追加
4. 次のブロックで同じ処理を繰り返す

同じ接頭文とKVキャッシュを共有した状態で複数トークンを処理できるため、1回のフォワードパスで並列計算が可能になります。

この結果、処理の性質が

• メモリ帯域に依存する逐次処理

から

• GPU計算能力を活かした並列処理

へとシフトします。GPUは並列計算が得意なため、これが推論高速化につながるとされています。

2種類のサンプリング方式

Zyphraは、異なるトレードオフを持つ2つのサンプリング方法を紹介しています。

Lossless sampler

• スペキュラティブデコーディングに近い受理ルール
• 約4.6倍の高速化
• 評価性能の体系的な低下を避ける設計

Logit‑mixing sampler

• 拡散モデルと自己回帰モデルのロジットを組み合わせる
• トークン受理率が上昇
• 最大7.7倍の高速化（ただし品質低下の可能性あり）

これらの結果は主にZyphra自身の報告に基づいているため、実際の運用環境での独立ベンチマークが今後重要になります。

AMD GPUで訓練された点も注目

このプロジェクトでもう一つ注目されているのが、AMDのGPUでトレーニングされた拡散言語モデルだという点です。

現在のAIトレーニングはNVIDIAのGPUが事実上の標準になっていますが、Zyphraは

• ZAYA1‑8B
• その拡散モデル版

の両方を AMDベースのAIスタックで開発したと報告しています。

もし同様の成果が再現できれば、AIインフラにおけるハードウェア競争が広がる可能性があります。

Compressed Convolutional Attention（CCA）

ZAYA1‑8Bでは Compressed Convolutional Attention（CCA） という独自の注意機構も導入されています。

目的は、並列処理時の注意計算コストを削減することです。

拡散デコーディングでは複数トークンをまとめて処理するため、処理の性質は「prefill（長い文脈を一度に処理する段階）」に近くなります。

CCAはこのprefill計算を軽量化することで、多トークン並列生成を実用的にする役割を果たします。

推論コストへの影響

もし報告された高速化が実運用でも成立すれば、AIサービスのコスト構造にも影響します。

生成速度が上がると

• GPUあたりの生成トークン数が増える
• 1トークンあたりの推論コストが低下
• 長文回答のレイテンシーが短縮

といったメリットが期待できます。

ただしZyphra自身も、拡散型LLMの推論スタックはまだ最適化途上であり、実環境では理論値と異なる可能性があると説明しています。

強化学習トレーニングへの影響

もう一つの重要なポイントは、強化学習（RL）トレーニングのコストです。

最近の推論モデルでは、オンポリシーのロールアウトとして大量の回答サンプルを生成します。

生成速度が速くなると

• RLトレーニングのコスト削減
• テスト時コンピュートの拡張
• 1プロンプトあたりの推論探索の増加

といった研究上のメリットが生まれます。

実際、多くの研究チームにとって推論生成そのものがトレーニングコストの大部分を占めています。

「より大きいモデル」から「より効率的なモデル」へ

ZAYA1‑8B‑Diffusion‑Previewは、AI開発の方向性が変わりつつあることも示しています。

最近は単にモデルを巨大化するだけでなく、

• Mixture‑of‑Experts
• 拡散型デコーディング
• 新しい注意機構
• NVIDIA以外のハードウェア

といった技術を組み合わせて、「1ドルあたりの知能（intelligence per dollar）」を高める研究が増えています。

Zyphraの試みはまだ初期段階ですが、既存の自己回帰LLMを拡散型デコーダへ変換するというアプローチは、今後の高速推論技術の有力な方向性の一つになる可能性があります。