شياووي من وي تشات: تطور المساعد الذكي المدعوم بنماذج WeLM

شياووي ليس تطبيقًا مستقلًا آخر

بدأت Tencent اختبار شياووي على نطاق محدود داخل WeChat، أو Weixin في الصين. ويستطيع المستخدم التفاعل معه عبر النص أو الصوت، ثم يطلب منه تنفيذ مهام مثل التواصل مع جهات الاتصال أو تشغيل البرامج المصغرة والخدمات الموجودة أصلًا داخل التطبيق. 151719

وهنا تكمن أهمية شياووي: فهو لا يطلب من المستخدم مغادرة WeChat والانتقال إلى وجهة ذكاء اصطناعي منفصلة، مثل التطبيقات المستقلة ومنها Yuanbao. بل يُقدَّم بوصفه وكيلًا ذكيًا داخل السياق؛ أي طبقة تفهم الطلب الطبيعي وتحاول تحويله إلى إجراء ضمن شبكة الأشخاص والخدمات والبرامج المصغرة التي يملكها WeChat. 15

بعبارة أبسط، لا يقتصر دوره على الإجابة عن سؤال، بل يمكن أن يعمل كحلقة وصل بين ما يقوله المستخدم وبين ما يستطيع WeChat فعله: البحث، التواصل، الوصول إلى خدمة، أو تشغيل برنامج مصغر.

من WeLM-10B إلى WeLM-80B

تعود عائلة WeLM إلى نموذج صيني كثيف قُدِّم في عام 2022 بقدرة تقارب 10 مليارات معامل. وتُظهر المواد المتداولة عن ذلك الإصدار أنه حقق نتائج قوية في 18 مهمة، لكن تفاصيل هذه الاختبارات لا يمكن التحقق منها بصورة مستقلة من المصادر المتاحة هنا؛ لذلك ينبغي التعامل معها باعتبارها جزءًا من السجل المعلن لتطور العائلة، لا باعتبارها مقارنة معيارية مكتملة.

أما القفزة الأوضح في الجيل الحالي فتتمثل في WeLM-80B. فالنموذج يضم 80 مليار معامل إجمالًا، لكنه يفعّل نحو 3 مليارات معامل فقط عند معالجة كل رمز. كما أُعلن أنه دُرّب على أقل من 14 تريليون رمز، ويدعم الاستدلال والفهم متعدد اللغات وسياقًا يصل إلى 128 ألف رمز. 711

ووفق التقارير المنشورة، اكتمل نشر WeLM-80B لتشغيل شياووي، بما يشمل المحادثة والبحث واستدعاء وظائف WeChat الأصلية والوصول إلى خدمات البرامج المصغرة. 8912

WeLM-617B: قدرة أكبر للمهام الأصعب

تعمل Tencent في الوقت نفسه على WeLM-617B، وهو نموذج يضم 617 مليار معامل إجمالًا، مع تفعيل نحو 23 مليارًا لكل رمز. لكنه ما يزال موصوفًا بأنه قيد التطوير، ولا ينبغي اعتباره نموذجًا منشورًا بالكامل لتشغيل شياووي. 812

وتشير الأهداف المعلنة إلى أن الإصدار الأكبر مخصص للمهام التي تتطلب فهمًا عامًا واستدلالًا أقوى داخل منظومة WeChat، مثل التطوير الذكي للبرامج المصغرة وإنشاء أدوات مساعدة لشياووي. 8914

هذا يرسم تقسيمًا عمليًا بين مستويين:

• WeLM-80B: للطلبات اليومية المتكررة مثل الحوار والبحث واستدعاء الخدمات.
• WeLM-617B: للمهام الأطول والأكثر تعقيدًا، مثل التخطيط وتوليد الأدوات وتطوير البرامج المصغرة.

لماذا تهم بنية MoE عند هذا الحجم؟

تعتمد نماذج مزيج الخبراء أو MoE على مجموعة من شبكات الخبراء، مع وجود موجّه يختار عددًا محدودًا منها لكل رمز. لذلك لا ينفذ WeLM-80B جميع معاملاته البالغ عددها 80 مليارًا مع كل خطوة؛ بل يمرر الطلب عبر مسار يفعّل نحو 3 مليارات فقط. وينطبق المنطق نفسه على WeLM-617B، الذي لا يحتاج إلى تشغيل معاملاته الـ617 مليارًا كاملة مع كل رمز.

أهمية ذلك تظهر عندما يتحول المساعد إلى خدمة يومية عالية التكرار. فطلبات البحث، والرسائل، والتنقل بين الخدمات، واستدعاء الأدوات قد تكون بسيطة كل واحدة على حدة، لكنها تصبح عبئًا حسابيًا كبيرًا عند تنفيذها على نطاق مئات الملايين أو مليارات المستخدمين. تقليل الحساب النشط لكل رمز يمكن أن يحسن معدل المعالجة وزمن الاستجابة وتكلفة التشغيل، مع الإبقاء على مخزون كبير من الخبرة المتخصصة داخل النموذج. 78

لكن عبارة «3 مليارات معامل نشطة» لا تعني أن تشغيل نموذج MoE بحجم 80 مليارًا يكلّف تمامًا مثل تشغيل نموذج كثيف بحجم 3 مليارات. فما تزال أوزان الخبراء الكاملة تحتاج إلى ذاكرة وتوزيع بين الأجهزة وتوجيه واتصالات بينها. الفائدة الأساسية هي خفض العمليات الحسابية المطلوبة لكل رمز، لا جعل الاستدلال مجانيًا.

ماذا تضيف Hidden Decoding؟

تطرح تقنية Hidden Decoding مسارًا مختلفًا لزيادة القدرة الحسابية الداخلية. فبدل توسيع نموذج Transformer بإضافة طبقات أو زيادة عرضه، توسّع التقنية كل رمز إدخال إلى عدة مسارات داخلية، لكل منها تمثيلات مضمّنة مستقلة، مع الاحتفاظ بحالات KV الوسيطة لهذه المسارات ضمن السياق. وبهذه الطريقة يحصل كل رمز على قدر أكبر من المعالجة الكامنة من دون تكبير العمود الفقري الرئيسي للنموذج. 2

في تجارب مقارنة متطابقة، أفاد فريق WeLM بأن نسختي HD4 من WeLM-80B وWeLM-617B تفوقتا على خط الأساس المقابل غير المعتمد على Hidden Decoding في الاختبارات التي أجراها الفريق. 16

الفكرة تشبه منح النموذج مساحة إضافية «للتفكير داخليًا» قبل إنتاج المخرج الظاهر، من دون تحويل هذا التفكير إلى سلسلة طويلة من الرموز التي يراها المستخدم. وهذا قد يكون مفيدًا لوكيل مطالب بفهم نية المستخدم، واختيار أداة، وتنفيذ عدة خطوات، ثم تقديم إجابة مختصرة.

دور Stream-Factorized Attention

المشكلة أن تحويل كل رمز إلى عدد (n) من المسارات قد يجعل الانتباه بين المسارات ينمو تقريبًا بصورة تربيعية مع زيادة (n). وهنا تأتي Stream-Factorized Attention.

تُبقي هذه الآلية معظم الطبقات مركزة على المعالجة داخل كل مسار، ولا تسمح بخلط المعلومات بين المسارات إلا في عدد محدود من الطبقات. ووفق العرض التقني للفريق، يؤدي ذلك إلى جعل الكلفة الإضافية أقرب إلى النمو الخطي بدلًا من التربيعي، بما يساعد على تدريب Hidden Decoding وتشغيلها عند أحجام MoE تتجاوز 100 مليار معامل. 5

هذه ليست تفصيلة نظرية فقط. فزيادة الحساب الداخلي لا تكون مفيدة تجاريًا إذا جعلت زمن الاستجابة أو تكلفة الخدمة غير قابلين للتحمل. لذلك تمثل آلية الانتباه المقسمة جزءًا من الحل الهندسي الذي يربط تحسين القدرة بإمكانية التشغيل الفعلي.

هل يصبح WeChat نظام تشغيل للذكاء الاصطناعي؟

تشير هذه التطورات مجتمعة إلى نموذج تشغيل متعدد المستويات: يستخدم WeLM-80B، أو نموذجًا من الفئة نفسها، للتعامل مع التفاعلات اليومية الكثيفة، بينما تُحجز النماذج الأكبر أو الحسابات الداخلية الإضافية للمهام التي تتطلب تخطيطًا أعمق واختيار أدوات وتنفيذ خطوات متعددة.

إذا جرى تصميم الصلاحيات والهوية والمدفوعات وواجهات البرامج المصغرة وضوابط الاعتمادية وموافقة المستخدم بعناية، فقد يستطيع شياووي تحويل الطلب باللغة الطبيعية إلى سلسلة أفعال داخل واجهة WeChat القائمة: العثور على الخدمة، اتخاذ القرار، استدعاؤها، ثم إتمام المهمة.

وهذا يختلف استراتيجيًا عن إطلاق «تطبيق ذكاء اصطناعي خارق» منفصل. فبدل بناء وجهة جديدة وجذب المستخدمين إليها، تحاول Tencent جعل الذكاء الاصطناعي طبقة تحكم فوق منظومة يزورها المستخدم أصلًا. لكن هذا الاستنتاج يظل قراءة استراتيجية محتملة، وليس خارطة طريق مؤكدة من الشركة.