تقرير «كيمي K3»: التقدّم لا يأتي من نموذج أكبر وحده

تطرح Moonshot AI في تقريرها التقني عن Kimi K3 فكرة محورية: الوصول إلى قدرات متقدمة لا يتحقق بتكبير النموذج قبل الإطلاق فقط، بل يحتاج أيضاً إلى زيادة الحوسبة التي يستهلكها النموذج بعد الإطلاق، أثناء الاستدلال. أي إن النموذج ينبغي أن يمتلك سعة كبيرة لتخزين المعرفة والمهارات، وأن يكون قادراً، بتكلفة عملية، على تخصيص خطوات أطول للتفكير والتخطيط واستخدام الأدوات وتصحيح المسار.

سعة هائلة، لكن من دون كلفة نموذج كثيف بالحجم نفسه

يُقدَّم K3 بوصفه نموذج «مزيج خبراء» متعدد الوسائط أصلياً، يضم 2.78 تريليون معلمة إجمالاً، لكنه يفعّل 104.2 مليار معلمة لكل رمز فقط، مع نافذة سياق تصل إلى مليون رمز. 1

الفكرة هنا أن العدد الإجمالي الكبير يوسّع السعة الممكنة للنموذج، فيما يمنع تفعيل جزء محدود من الخبراء لكل رمز دفع كلفة استدلال تعادل نموذجاً كثيفاً يضم 2.78 تريليون معلمة. وهذا هو الأساس الاقتصادي الذي تستند إليه الشركة في الجمع بين نموذج كبير وحوسبة استدلال إضافية.

مليون رمز، لا 100 ألف

يؤكد التقرير أن K3 يستهدف الاستقراء الأصلي حتى مليون رمز، وليس 100 ألف رمز. يبدأ التدريب بسياقات من 8 آلاف رمز ثم 64 ألف رمز، ولا يستخدم تضمينات موضعية صريحة؛ إذ تقول Moonshot إن البوابات والتلاشي المتكررَين في KDA يوفران تمثيلاً كافياً للموقع يسمح بالتمديد من دون تعديل RoPE. 1

وهذا مهم للمهام التي تتطلب الاحتفاظ بسجل طويل: ملفات برمجية كبيرة، أو بحوث متعددة المصادر، أو مسارات عمل مطولة لوكلاء يستخدمون أدوات رقمية.

لماذا تمزج KDA مع Gated MLA؟

تستبدل Kimi Delta Attention (KDA) كثيراً من آليات الانتباه التربيعي بحالة متكررة ذات حجم ثابت. وبذلك لا تتزايد حالة كل رمز وتكلفة التوليد مع طول السياق السابق بالطريقة نفسها التي تتزايد بها ذاكرة KV في الانتباه الكامل. 1

لكن الشركة لا تعتمد KDA وحدها: فهي تضع ثلاث طبقات KDA مقابل طبقة واحدة من Gated MLA. تمنح KDA معالجة متسلسلة مستمرة ومنخفضة الكلفة، بينما تعيد Gated MLA القدرة على استرجاع معلومات بعيدة ومحددة من السياق. 1

كما أن الحد الأدنى المقرر لمعدل تلاشي KDA ليس مجرد تعديل سلوكي للنموذج؛ فالتقرير يصفه كآلية تنفيذية تتجنب قيماً عددية صغيرة إشكالية وتتيح حسابات مجمعة مناسبة لمسرعات المصفوفات. 1

«بقايا الانتباه» لتفادي انعزال الطبقات العميقة

في شبكة عميقة من 93 طبقة، يمكن أن يؤدي الاعتماد الواسع على الانتباه الخطي إلى انتقال المعلومات طبقةً بعد طبقة بصورة مقيدة. تأتي Attention Residuals (AttnRes) لتوفر مساراً تسترجع من خلاله الطبقات اللاحقة تمثيلات مضغوطة من كتل أسبق في عمق الشبكة. 1

بعبارة أبسط، لا يُجبر النموذج على تمرير كل معلومة نافعة عبر السلسلة الكاملة للطبقات؛ إذ يحصل على مسار استرجاع عبر العمق. والهدف المعلن هو الحفاظ على الجودة مع استبدال جزء كبير من الانتباه العالمي المكلف بـKDA. 1

896 خبيراً: السعة وحدها لا تكفي

يعتمد K3 على 896 خبيراً مع اختيار أفضل 16 خبيراً لكل رمز. وتصف Moonshot أسلوب Stable LatentMoE لموازنة التوجيه باعتباره مسألة إسناد متوازن، مع حل أمثل دقيق ضمن افتراضاته على مستوى الدفعة التدريبية. أما عند النشر، فيستخدم الموجّه انحيازات ثابتة للخبراء واختيار top-k المعتاد، بدلاً من تشغيل محلل الموازنة أثناء الاستدلال. 1

لذلك، فإن وصف «التوازن المثالي» يجب فهمه ضمن مسألة التحسين والافتراضات التي حددها التقرير، لا باعتباره ضماناً بأن كل دفعة حقيقية في التشغيل ستكون موزعة بالتساوي تماماً.

ويبرز هنا دور MoonEP، نظام الاتصال المتوازي بين الخبراء. فاقتصاد نموذج MoE يعتمد على نقل الرموز إلى الخبراء الذين اختارهم الموجّه من دون أن تصبح اختناقات الشبكة أو التأخر غير المتوازن العامل المسيطر على زمن الاستجابة. 1 لذا فادعاءات البنية المعمارية والبنية التحتية متكاملة: أحدهما لا يفسر نتائج الأداء بمعزل عن الآخر.

حوسبة ما بعد النشر: التفكير والأدوات والوكلاء

لا تقف أطروحة التقرير عند البنية. فهو يصف أسطولاً من بيئات معزولة خفيفة شبيهة بالآلات الافتراضية، يتيح إنتاج مسارات كثيرة قابلة للتحقق للتعلم المعزز في مهام طويلة الأمد، مع إمكان التفرع من اللقطات أو استئنافها بتكلفة أقل. 1

هذه البنية التدريبية تستهدف نماذج تستفيد من خطوات إضافية وقت الاختبار: التخطيط، والتصفح، والبرمجة، واستدعاء الأدوات، والمراجعة الذاتية. كما يذكر التقرير تقطير عدة معلمين متخصصين في المجالات والاستدلال داخل نظام واحد، لتجميع هذه السلوكيات من دون الحاجة إلى خدمة تسعة نماذج منفصلة. 1

ماذا تقول النتائج، وما الذي لا تقوله؟

سجل K3 نسبة 91.2% في معيار BrowseComp، وهو معيار يقيس سلوك البحث على الويب في مهام معلوماتية طويلة الأمد؛ وتضعه لوحة ترتيب خارجية حالياً في المرتبة الثانية خلف GPT-5.6 Sol الذي سجل 92.2%. 4

إذا تكررت هذه النتيجة، فإنها تدعم فكرة أن النظام قوي في مهام الوكلاء الباحثين عن المعلومات عبر مراحل طويلة. لكنها لا تثبت بمفردها مقدار إسهام KDA أو AttnRes أو توجيه الخبراء أو بيئات التعلم المعزز أو التقطير أو الحوسبة وقت الاختبار، لأن الدرجة تقيس النظام كاملاً لا مكوناته منفصلة.

تحفّظ مهم بشأن ادعاءات الكلفة

لا يقدم التقرير التقني، ولا مصدر مستقل عالي الموثوقية ضمن المواد المتاحة، توثيقاً كافياً لادعاء أن K3 يكلف «نصف كلفة GPT-5.6 Sol»، أو لادعاء فارق محدد في نتائج Kimi Code Bench مقابل «Claude Fable 5» عند 38% من الكلفة. في المقابل، يورد أحد المصادر تقديرات لكلفة المهمة المكتملة تبلغ نحو 0.94 دولار لـK3 مقابل 1.04 دولار لـGPT-5.6 Sol، وهي فجوة لا تقترب من 50%. 8

لذلك ينبغي التعامل مع مقارنات الأسعار باعتبارها شديدة الاعتماد على إعدادات التقييم، والمطالبات، وتاريخ التسعير، ومنهجية احتساب الكلفة، ما لم تُنشر منصة اختبار وحسابات تفصيلية قابلة للتحقق.

الخلاصة: رهان Moonshot ليس منافسة سعرية مجردة، بل بناء حزمة مشتركة من تصميم النموذج والأنظمة والتدريب تجعل تجاوز حاجز التريليون معلمة، وتحويل الاستدلال الطويل والوكلاء إلى قدرة قابلة للاستخدام، أمراً عملياً. أما الادعاءات الأوسع حول تعثر النماذج المفتوحة قرب تريليون معلمة أو المقارنات المحددة مع نماذج أخرى، فلا يثبتها تقرير K3 نفسه بالأدلة المتاحة هنا.