بايدو ERNIE 5.1: لماذا يهم ادعاء خفض تكلفة التدريب إلى 6٪؟

رقم 6٪ هو ما خطف الأنظار في إعلان بايدو عن ERNIE 5.1. لكن القراءة الأدق لا تقول إن بايدو كشفت ببساطة عن «نموذج أضخم»، بل عن نموذج تريد الشركة تقديمه كدليل على أن الكفاءة قد تكون ورقة تنافسية بقدر الحجم.

تقول بايدو إن ERNIE 5.1 يرث أساس التدريب الأولي من ERNIE 5.0، ويضغط إجمالي المعاملات إلى نحو الثلث، ويخفض المعاملات النشطة إلى نحو النصف، مع تحقيق أداء تأسيسي متقدم عند حجمه باستخدام حوالي 6٪ فقط من تكلفة التدريب الأولي لنماذج قابلة للمقارنة .

هذا يجعل الإعلان مهماً استراتيجياً: بايدو لا تبيع هنا قصة «تدريب عملاق جديد من الصفر» بقدر ما تطرح مساراً يعتمد على إعادة استخدام أساس قائم، وضغط النموذج، ثم تحسين قدراته عبر مراحل ما بعد التدريب. مع ذلك، يجب التعامل مع رقم 6٪ باعتباره ادعاءً من الشركة إلى أن تتضح تفاصيل خط المقارنة وطريقة حساب التكلفة .

ما الذي ادعته بايدو تحديداً؟

الادعاء الأساسي ضيق لكنه مهم. وفقاً لإعلان بايدو، لا يبدأ ERNIE 5.1 من صفحة بيضاء، بل يرث أساس التدريب الأولي من ERNIE 5.0 . وفي الوقت نفسه، تقول الشركة إنها خفّضت إجمالي المعاملات إلى قرابة الثلث، والمعاملات النشطة إلى قرابة النصف .

هنا يجب الانتباه إلى عبارة «تكلفة التدريب الأولي». في عالم النماذج اللغوية الكبيرة، التدريب الأولي هو المرحلة الضخمة التي يتعلم فيها النموذج أنماط اللغة والمعرفة العامة من بيانات واسعة. بايدو تقول إن ERNIE 5.1 احتاج إلى نحو 6٪ فقط من تكلفة هذه المرحلة مقارنة بنماذج مماثلة .

لكن المواد المتاحة لا تثبت أن هذا الرقم يشمل التكلفة الكاملة للتطوير، أو تكلفة ما بعد التدريب، أو تكلفة التشغيل، أو كفاءة العتاد، أو السعر التجاري النهائي. لذلك فالرقم مثير، لكنه ليس وحده الصورة كاملة.

كما تقول مدونة بايدو إن ERNIE 5.1 حصل على ترقيات في قدرات الوكلاء، والاستدلال، والإبداع، بدعم من تعلّم معزز كامل اللاتزامن ومفصول البنية، إلى جانب ما بعد تدريب موجّه للوكلاء على نطاق واسع . وتشير المدونة نفسها إلى أن النموذج احتل المركز الأول في الصين على Arena Search Arena .

لماذا يهم رقم 6٪؟

غالباً ما يُقدَّم سباق الذكاء الاصطناعي كمسابقة في الحجم: معاملات أكثر، بيانات أكثر، وقدرة حوسبة أكبر. إعلان ERNIE 5.1 يلمّح إلى مسار مختلف: الحفاظ على أداء قوي مع تقليل بصمة النموذج وتجنب دورة تدريب أولي كاملة ومكلفة .

إذا ثبتت هذه المقاربة عملياً، فقد تصبح الأفضلية أقل ارتباطاً بمن يملك النموذج الأكبر، وأكثر ارتباطاً بمن يحسن هندسة معادلة التكلفة مقابل الأداء: كيف تعيد استخدام أساس سابق؟ كيف تختار بنية أكثر كفاءة؟ كيف تقلل الحسابات النشطة؟ وكيف تحسن سلوك النموذج عبر ما بعد التدريب؟ بايدو تجعل هذا الطرح واضحاً في مواد إطلاق ERNIE 5.1 .

كيف تقول بايدو إن التكلفة انخفضت؟

يمكن تلخيص وصفة بايدو في أربعة عناصر مترابطة.

1. وراثة أساس ERNIE 5.0 بدلاً من البدء من الصفر

تقول بايدو إن ERNIE 5.1 يرث أساس التدريب الأولي من ERNIE 5.0 . هذه هي نقطة الارتكاز في قصة التكلفة: النموذج يبدو مقدماً كنسخة مشتقة من أساس قائم، لا كمشروع تدريب تأسيسي جديد بالكامل.

2. ضغط إجمالي المعاملات والمعاملات النشطة

بحسب بايدو، ضغط ERNIE 5.1 إجمالي المعاملات إلى نحو الثلث، وخفّض المعاملات النشطة إلى نحو النصف . إجمالي المعاملات يعبر عن حجم النموذج الكامل، أما المعاملات النشطة فهي الجزء المستخدم فعلياً أثناء عملية حسابية معينة. تقليل الاثنين معاً هو ما يجعل الإعلان أقرب إلى قصة كفاءة لا مجرد قصة قدرات.

3. التدريب المرن لعائلة من النماذج

يوضح التقرير التقني لـ ERNIE 5.0 نهجاً يسمى «التدريب المرن»، حيث يمكن لجولة تدريب أولي واحدة أن تنتج عائلة من النماذج ذات مقايضات مختلفة بين السعة والكفاءة . ويقول التقرير إن ذلك يتم عبر أخذ عينات ديناميكية من نماذج فرعية تختلف في العمق والعرض ودرجة الندرة في التوجيه، مع تمكين هذه النماذج الفرعية من وراثة المعرفة من النموذج الكامل لمراحل ما بعد التدريب اللاحقة .

هذا مهم لفهم ERNIE 5.1 لأنه يشرح منطق «عائلة النماذج» خلف ادعاء بايدو. الفكرة ليست فقط تدريب نموذج أكبر، بل بناء أساس مرن يمكن استخراج تكوينات أكثر كفاءة منه لاحقاً .

4. تحسينات ما بعد التدريب للوكيل والاستدلال

تقول بايدو إن ERNIE 5.1 يستخدم تعلماً معززاً كامل اللاتزامن ومفصول البنية، إلى جانب ما بعد تدريب موجّه للوكلاء على نطاق واسع، لتحسين قدرات الوكيل والاستدلال والإبداع . بمعنى آخر، لا تقول بايدو إنها جعلت النموذج أصغر فقط؛ بل تقول أيضاً إن مراحل ما بعد التدريب ساعدت في تشكيل قدراته النهائية .

ما الذي لم يُحسم بعد؟

السؤال الأكبر هو التحقق. المواد العامة المتاحة لا تقدم حساباً تفصيلياً لميزانية التدريب، أو إعدادات العتاد، أو مزيج البيانات، أو مدة التدريب، أو معدل استخدام المسرّعات، أو تكلفة ما بعد التدريب، أو القائمة الدقيقة لـ«النماذج القابلة للمقارنة» التي بُني عليها رقم 6٪ .

هذا لا يجعل الادعاء بلا معنى. لكنه يعني أن الرقم لا ينبغي التعامل معه كمعيار صناعي مستقل ومدقق. القراءة الأكثر تحفظاً، والأقرب لما تدعمه المصادر، هي أن بايدو تقول إن ERNIE 5.1 حافظ على أداء تأسيسي متقدم عند حجمه عبر الوراثة من ERNIE 5.0، وضغط المعاملات، والاستفادة من أفكار التدريب المرن، وتحسينات ما بعد التدريب .

الخلاصة

أهمية ERNIE 5.1 أنه يعيد صياغة قصة بايدو في الذكاء الاصطناعي حول الكفاءة لا حول الحجم الخام فقط. تقول الشركة إن النموذج يرث أساس ERNIE 5.0، ويقلص إجمالي المعاملات والمعاملات النشطة، ويحقق أداءً تأسيسياً متقدماً عند حجمه بتكلفة تدريب أولي تقارب 6٪ من تكلفة نماذج قابلة للمقارنة .

لكن الادعاء لم يصبح بعد حقيقة محسومة بالكامل من خلال المواد العامة. إلى أن تكشف بايدو، أو جهات تقييم مستقلة، مزيداً من التفاصيل حول خط المقارنة والعتاد والبيانات وطريقة احتساب رقم 6٪، فإن ERNIE 5.1 يجب أن يُقرأ كادعاء جاد في كفاءة التدريب، لا كمعيار تكلفة مثبت بصورة نهائية.