Inkling-Small: نموذج MoE مفتوح الأوزان يتفوّق على Inkling الأكبر بأقل كلفة

وعلى الرغم من أن حجمه الإجمالي يعادل نحو ربع حجم سابقه Inkling، الذي يضم 975 مليار مَعلمة ويُفعّل 41 مليارًا منها، فإن Inkling-Small يضاهي النموذج الأكبر أو يتفوق عليه في عدد من الاختبارات المهمة، مع حاجة أقل بكثير إلى العتاد لتشغيله أو ضبطه .

يدعم النموذج مدخلات متعددة الوسائط تشمل النص والصور والصوت، وسياقًا يصل إلى مليون رمز، كما يتيح التحكم في مقدار «الجهد التفكيري» للموازنة بين عمق الاستدلال وزمن الاستجابة .

أين يتفوّق وأين يتراجع؟

تكشف النتائج أن Inkling-Small ليس بديلاً متفوقًا في كل شيء، لكنه يقدّم مقايضة لافتة: أداء أقوى في بعض مهام الاستدلال والبرمجة، مقابل تراجع واضح في استرجاع المعلومات الواقعية والرياضيات التنافسية .

المصادر:

أبرز ما تعنيه الأرقام

• الاستدلال: حقق Inkling-Small نتيجة 31.6% في اختبار Humanity’s Last Exam النصي، متقدمًا على Inkling الذي سجل 29.7%. واستمر تفوقه عبر مستويات مختلفة من ميزانية التفكير .
• البرمجة الوكيلة: سجل 80.2% في SWE-Bench Verified ضمن إعداد يعتمد على بيئة Bash ومسار يصل إلى 256 ألف رمز، بزيادة 2.6 نقطة مئوية على Inkling .
• المعرفة العلمية: بلغ 89.5% في GPQA Diamond، مقابل 87.2% للنموذج الأكبر .
• استرجاع الحقائق: تراجع بوضوح في SimpleQA Verified، إذ سجل 20.6% مقابل 43.9% لـInkling. ويشير ذلك إلى مقايضة محتملة بين تحسين الاستدلال وبين الاحتفاظ بالمعلومات الواقعية واستدعائها .
• المؤشر المستقل: حصل على 40 نقطة في Artificial Analysis Intelligence Index v4.1، أي بفارق نقطة واحدة فقط عن Inkling الذي حصل على 41 .

كيف تعمل بنية 276 مليار مَعلمة مع تفعيل 12 مليارًا فقط؟

يتكون Inkling-Small من Transformer متناثر من 42 طبقة، مع تفعيل 6 خبراء من أصل 256 لكل رمز، إلى جانب خبيرين مشتركين . ويستخدم النموذج آلية انتباه هجينة تجمع بين الانتباه الكامل والانتباه ضمن نافذة منزلقة، إضافة إلى إعداد قابل للتحكم في مقدار التفكير، بما يسمح للمطورين بالموازنة بين زمن التأخير وعمق المعالجة .

تنتمي البنية إلى عائلة MoE نفسها التي ينتمي إليها Inkling، لكنها تستخدم عددًا أقل من الخبراء الإجماليين: 256 خبيرًا تقريبًا، مقارنةً بنحو 576 في Inkling، مع عدد أقل من الخبراء النشطين في كل طبقة. والنتيجة نموذج يحتفظ بسعة أوزان تبلغ 276 مليار مَعلمة، بينما تكون الكلفة الحسابية الفعلية لكل رمز أقرب إلى نموذج كثيف بحجم 12 مليار مَعلمة .

وصفة تدريب لاحق من مرحلتين

اعتمدت Thinking Machines Lab وصفة من خطوتين للتدريب اللاحق، وهي وصفة تحظى باهتمام متزايد في أبحاث نماذج اللغة والوكلاء :

1. التقطير الموجّه وفق سياسة النموذج من Inkling: دُرّبت نسخة مبكرة من Inkling-Small باستخدام Inkling معلّمًا. وفي هذا الأسلوب، يولّد النموذج الطالب مساراته الخاصة، ثم يحصل على إشراف كثيف على مستوى الرموز من النموذج المعلّم. ويجمع ما يُعرف بالتقطير وفق السياسة (On-Policy Distillation) بين واقعية البيانات الناتجة عن تدريب النموذج على مساراته وبين الإرشاد التفصيلي الذي يقدمه المعلّم .
2. أسبوعان إضافيان من التعلم المعزز الموجّه للوكلاء: واصلت الشركة توسيع تدريب التعلم المعزز على مهام البرمجة الوكيلة، وهو ما ساعد النموذج على تجاوز Inkling في بعض اختبارات الاستدلال والبرمجة .

وتكمن أهمية هذه الوصفة في أن النموذج الطالب تجاوز معلّمه في عدة مهام بعد أسبوعين فقط من التعلم المعزز الإضافي، بما ينسجم مع أبحاث حديثة حول إمكان انتقال القدرات من نموذج أضعف إلى نموذج أقوى باستخدام التقطير وفق السياسة .

متطلبات العتاد: خفض الذاكرة بنحو ثلاثة أضعاف

يخفض Inkling-Small حاجز العتاد مقارنةً بالنموذج الأصلي. وتوضح بطاقة النموذج الرسمية الإعدادات التالية :

وللمقارنة، احتاجت نسخة Inkling بصيغة BF16 إلى نحو 1.9 TB من ذاكرة GPU المجمّعة ، بينما احتاجت نسخته الرسمية المكمّمة بصيغة NVFP4 إلى نحو 600 GB .

لا يعني ذلك أن النموذج أصبح مناسبًا للحواسيب الشخصية؛ فمتطلبات 180 إلى 600 GB لا تزال تستهدف عتاد مراكز البيانات. لكنها تجعل Inkling-Small أقرب إلى متناول فرق متوسطة الحجم ترغب في إجراء الضبط الدقيق باستخدام LoRA أو حتى الضبط الكامل للمعلمات، من دون الاعتماد على عناقيد ضخمة متعددة العقد . ويدعم النموذج صيغ BF16 وMXFP8 وNVFP4 .

ماذا يعني ذلك للضبط الدقيق؟

• الضبط الكامل للمعلمات بصيغة BF16: يحتاج إلى مجموعة من 4 بطاقات B300 أو 8 بطاقات H200؛ وهو استثمار كبير، لكنه ممكن لعدد من الشركات الناشئة الممولة جيدًا والمختبرات الجامعية .
• الضبط باستخدام LoRA بصيغة NVFP4: يمكن إجراؤه على بطاقتي H200، ما يقلل حاجز تخصيص النموذج .
• التشغيل بصيغة NVFP4: يمكن أن يعمل في وضع W4A4 على بطاقة B300 واحدة، ليصبح أول نموذج من Thinking Machines يمكن تشغيله على بطاقة واحدة متطورة مخصصة لمراكز البيانات .

التوافر والكلفة

يتوفر Inkling-Small عبر عدة قنوات :

• الأوزان الكاملة: متاحة على Hugging Face بترخيص Apache 2.0.
• Tinker Playground: يتيح التفاعل مع النموذج عبر النص والصورة والصوت.
• Tinker API: يتيح ضبط النموذج باستخدام LoRA، وتبلغ كلفة المخرجات 1.20 دولار لكل مليون رمز .
• الضبط الدقيق عبر Tinker: تتوفر إمكانية ضبط LoRA من خلال منصة Tinker .

السياق القيادي المحيط بالإطلاق

أسست ميرا موراتي، المديرة التقنية السابقة في OpenAI، شركة Thinking Machines Lab بعد مغادرتها OpenAI في 2024. ويُعد جون شولمان، أحد مؤسسي OpenAI سابقًا وعضو فريق التعلم المعزز من الملاحظات البشرية (RLHF)، شريكًا مؤسسًا أيضًا. أما ليليان وينغ، التي كانت ضمن الفريق المؤسس في البداية، فقد غادرت Thinking Machines Lab وعادت إلى OpenAI، لتبقى ميرا موراتي وجون شولمان المؤسسين المشاركين المتبقيين في الشركة الناشئة .

الخلاصة

يرسل Inkling-Small رسالة واضحة من Thinking Machines Lab: قد لا يكون النموذج الأكبر هو الخيار الأفضل دائمًا. فمع وصفة مناسبة للتدريب اللاحق، استطاع نموذج يعادل نحو ربع حجم Inkling أن يتفوق عليه في بعض مهام الاستدلال والبرمجة الوكيلة.

وبالنسبة إلى المطورين والفرق التي كان تشغيل Inkling بذاكرة تصل إلى 1.9 TB أمرًا بعيد المنال، يفتح Inkling-Small بابًا أقل كلفة نسبيًا عند نحو 600 GB بصيغة BF16 أو 180 GB بصيغة NVFP4. لكن المقابل مهم: تراجع كبير في استرجاع الحقائق. لذلك يبدو النموذج خيارًا عمليًا أكثر لأعباء البرمجة والاستدلال واتباع التعليمات، بينما يظل Inkling الأقوى في مهام التذكر الواقعي وبعض الرياضيات التنافسية، وفق النتائج المتاحة حتى يوليو 2026.