كيف يولد نموذج ZAYA1‑8B‑Diffusion‑Preview من Zyphra 16 رمزًا في آن واحد ويُسرّع استدلال الذكاء الاصطناعي

النموذج الأساسي: ZAYA1‑8B

تعتمد النسخة التجريبية على النموذج الأساسي ZAYA1‑8B، وهو نموذج تفكير يعتمد على بنية Mixture‑of‑Experts (MoE).

يضم النموذج أكثر قليلًا من 8 مليارات معلمة إجمالًا، لكن أثناء الاستدلال يتم تفعيل حوالي 760 مليون معلمة فقط. هذا التصميم يسمح بالحفاظ على أداء قوي مع تقليل تكلفة الحوسبة مقارنة بالنماذج الكثيفة التقليدية.

في نماذج MoE يتم توجيه كل رمز إلى مجموعة صغيرة من "الخبراء" داخل الشبكة العصبية بدل استخدام النموذج كاملًا في كل خطوة، وهو ما يقلل استهلاك الموارد الحسابية.

لماذا التوليد التسلسلي بطيء؟

معظم نماذج اللغة الكبيرة اليوم تعتمد على التوليد التلقائي التسلسلي (Autoregressive Generation). في هذا الأسلوب يعتمد كل رمز جديد على جميع الرموز السابقة.

ببساطة، تتم العملية كالتالي:

• يولد النموذج الرمز التالي
• يتم تحديث ذاكرة KV cache الخاصة بالتسلسل
• تتكرر العملية للرمز التالي

هذه الآلية تجعل التوليد متسلسلًا بالكامل، أي لا يمكن تنفيذ الخطوات بالتوازي بسهولة. وغالبًا ما يؤدي ذلك إلى اختناقات في عرض نطاق الذاكرة عند الوصول المتكرر إلى KV cache أثناء التوليد.

كيف يولد نموذج الانتشار 16 رمزًا في خطوة واحدة

في نموذج Zyphra الجديد يتغير مسار فك الترميز جذريًا.

بدل توقع رمز واحد فقط، يقوم النموذج باقتراح مجموعة من الرموز المرشحة دفعة واحدة. وفي الإصدار التجريبي تبلغ الكتلة 16 رمزًا في كل خطوة انتشار.

تتم العملية تقريبًا كالتالي:

1. يولد النموذج عدة مسودات مرشحة لكتلة من الرموز.
2. يقوم المُعيِّن (sampler) بتقييم الرموز المقبولة.
3. تُضاف الرموز المقبولة إلى النص النهائي ثم تبدأ خطوة انتشار جديدة.

لأن جميع الرموز المرشحة تشترك في نفس المقدمة النصية وحالة KV cache، يستطيع النموذج تنفيذ حسابات متوازية لعدة رموز في تمريرة واحدة عبر الشبكة العصبية.

بهذا يتحول عبء المعالجة من كونه محدودًا بسرعة الذاكرة إلى حسابات متوازية كثيفة، وهو النوع من العمليات التي تتفوق فيها وحدات معالجة الرسوميات GPU.

طريقتان لأخذ العينات وسرعات مختلفة

التحسن في السرعة يعتمد على طريقة أخذ العينات المستخدمة أثناء التوليد.

المُعيِّن الخالي من الخسارة (Lossless Sampler)

• يعتمد قواعد قبول تشبه أسلوب speculative decoding
• تحقق Zyphra به تسريعًا يقارب 4.6 مرات مقارنة بالتوليد التقليدي
• صُمم لتجنب انخفاض منهجي في نتائج التقييم

مُعيِّن مزج اللوغِتات (Logit‑Mixing Sampler)

• يمزج توزيعات الاحتمالات من نموذج الانتشار والنموذج التلقائي
• يرفع معدل قبول الرموز المقترحة
• يمكن أن يصل التسريع إلى 7.7 مرات، مع احتمال انخفاض طفيف في الجودة

هذه النتائج مستندة أساسًا إلى تقارير Zyphra نفسها، لذلك ستبقى الاختبارات المستقلة مهمة لمعرفة الأداء الفعلي في الاستخدامات العملية.

لماذا يُعد التدريب على عتاد AMD أمرًا لافتًا

جانب آخر غير معتاد في المشروع هو بيئة التدريب. تشير Zyphra إلى أن النموذج هو أول نموذج لغة بالانتشار يتم تدريبه على وحدات GPU من AMD بدل البنية التحتية القائمة غالبًا على Nvidia.

إذا أثبتت التجارب إمكانية تكرار هذه النتائج، فقد يشير ذلك إلى أن تدريب وتشغيل نماذج اللغة الكبيرة لا يقتصر بالضرورة على منظومة واحدة من العتاد، ما قد يوسع المنافسة في سوق البنية التحتية للذكاء الاصطناعي.

آلية Compressed Convolutional Attention

يتضمن نموذج ZAYA1‑8B أيضًا آلية تسمى Compressed Convolutional Attention (CCA). الهدف منها تقليل التكلفة الحسابية لعمليات الانتباه أثناء العمليات المتوازية الكبيرة.

هذا مهم خصوصًا لأن فك الترميز بالانتشار يشبه إلى حد ما مرحلة prefill الكبيرة في الاستدلال، حيث تتم معالجة عدد كبير من الرموز في وقت واحد. تقليل تكلفة الانتباه يجعل توليد عدة رموز بالتوازي أكثر كفاءة.

ماذا يعني ذلك لتكلفة الاستدلال

إذا تحققت مكاسب السرعة المعلنة في أنظمة الإنتاج، فقد يؤدي ذلك إلى تأثيرات واضحة على اقتصاديات تشغيل النماذج:

• زيادة عدد الرموز المنتجة في الثانية لكل GPU
• انخفاض تكلفة الرمز الواحد
• تقليل زمن الاستجابة للردود الطويلة

مع ذلك تشير Zyphra إلى أن أنظمة الاستدلال لنماذج الانتشار ما تزال أقل نضجًا من الأنظمة التقليدية، لذلك قد تختلف النتائج الواقعية عن الأرقام النظرية.

التأثير المحتمل على تدريب التعلم المعزز

تعتمد نماذج التفكير الحديثة غالبًا على التعلم المعزز باستخدام عمليات توليد كثيرة أثناء التدريب (rollouts). سرعة التوليد تحدد مباشرة عدد الاستجابات التي يمكن تجربتها.

لذلك فإن فك الترميز الأسرع قد يؤدي إلى:

• تقليل تكلفة تدريب نماذج RL
• تمكين تجارب أوسع في حسابات وقت الاختبار
• توليد عدد أكبر من مسارات التفكير لكل سؤال

في العديد من خطوط تدريب النماذج المتقدمة، يعد توليد النصوص أحد أكبر مصادر التكلفة الحسابية.

اتجاه جديد نحو “ذكاء أعلى لكل دولار”

يمثل ZAYA1‑8B‑Diffusion‑Preview مثالًا على توجه متزايد في صناعة الذكاء الاصطناعي: التركيز ليس فقط على زيادة حجم النماذج، بل على تحسين الكفاءة الاقتصادية للحوسبة.

يجمع هذا المشروع عدة استراتيجيات للكفاءة:

• بنية Mixture‑of‑Experts
• فك الترميز بأسلوب الانتشار
• آليات انتباه أكثر كفاءة
• استخدام بنية تدريب بديلة عن Nvidia

إذا أثبتت هذه الأفكار نجاحها على نطاق واسع، فقد تعيد تشكيل طريقة تحسين نماذج اللغة مستقبلًا، ليس فقط من حيث القدرة، بل أيضًا من حيث السرعة والتكلفة وكفاءة العتاد. في الوقت الحالي يمثل النموذج عرضًا مبكرًا لفكرة أن تحويل النماذج التلقائية التقليدية إلى نماذج انتشار قد يكون طريقًا واعدًا لتسريع توليد النصوص.