TensorCast: طبقة موحّدة لإدارة أوزان النماذج وذاكرة KV

تُقدَّم TensorCast بوصفها طبقة «الموتر كخدمة» (Tensor-as-a-Service أو TaaS): نظاماً موزعاً وقابلاً للبرمجة لإدارة هوية حالة الموترات، ومواقعها، ونقلها، وتحويلها، ومشاركتها، وتحويلها إلى تمثيل قابل للاستخدام، بصورة مستقلة عن الحساب الذي ينتجها أو يستهلكها. وتكمن أهميتها في تصميم البنية التحتية؛ إذ تسعى إلى استبدال أنظمة تحميل الأوزان، وإدارة ذاكرة KV، ومسارات الشبكة، وواجهات التخزين المنفصلة بواجهة تحكم مشتركة لخدمة نماذج الذكاء الاصطناعي الديناميكية. 1

لماذا ظهرت TensorCast؟

تحتاج أنظمة النماذج الكبيرة إلى إدارة موترات موزعة وطويلة العمر، لا تقتصر على أوزان النموذج، بل تشمل أيضاً كتل ذاكرة KV شديدة التغير والحالات الوسيطة الناتجة أثناء التشغيل. في البنى التقليدية، تتوزع هذه المهام بين محرك الاستدلال، وجدولة الطلبات، ونقل البيانات عبر الشبكة، وخلفيات التخزين. ونتيجة لذلك، يصبح الجمع بين سياسات مختلفة أو تعديلها أمراً معقداً، لأن كل تحسين قد يتطلب تغييرات متزامنة في عدة مكونات. 1

تقترح TensorCast اعتبار إدارة دورة حياة الموترات طبقة مفقودة في منظومة الذكاء الاصطناعي. فبدلاً من أن تحدد التطبيقات مكان وجود كل موتر وطريقة نقله، تصف السياسة المطلوبة فقط، بينما يتولى وقت التشغيل اختيار موضع البيانات ونقلها وتحويلها وتجهيزها عبر موارد العنقود. 1

وهذا يميزها عن مخازن الكائنات التقليدية التي تتعامل غالباً مع البيانات على أنها كتل غير شفافة، وعن أطر العمل التي تركز أساساً على جدولة المهام الحسابية، لا على دورة حياة حالة الموترات نفسها. 1

كيف تعمل TensorCast؟

• موترات بوصفها كائنات أساسية: يمتلك كل موتر هوية واضحة، ومالكاً، وموقعاً، ودلالات محددة لدورة حياته. لذلك يمكن لمحرك الاستدلال الإشارة إلى وزن أو كتلة من ذاكرة KV أو حالة وسيطة من دون تضمين معلومات عن الجهاز أو العقدة التي توجد فيها أو طريقة تمثيلها.
• عمليات قابلة للتركيب: توفر TensorCast بدائيات لإدارة دورة الحياة، مثل النقل والتحويل والتحميل المسبق والنسخ والتجهيز. ويمكن للمطور تركيب هذه العمليات في سياسة تناسب عبء العمل، بدلاً من تعديل البنية التحتية منخفضة المستوى عند كل تحسين جديد. 1
• فصل السياسة عن الآلية: تُكتب سياسة إدارة الموترات عبر واجهات TensorCast، بينما ينفذ وقت التشغيل عمليات التوزيع ونقل البيانات من دون الحاجة إلى تغيير محرك التنفيذ الأساسي. 1
• فصل مستوى التحكم عن مستوى البيانات: يحتفظ المخزن الشامل (Global Store أو GS) بالبيانات الوصفية، مثل حالة العقد والعمال، وموقع الموتر، وملكيته، ومعلومات الجدولة. أما العمال (Workers) فينفذون نقل البيانات فعلياً. وبذلك ينسق GS العملية من دون أن يصبح قناة تمر عبرها حمولات الموترات، ما يقلل احتمال تحوله إلى عنق زجاجة في النقل. 1
• استراتيجيتان للبيانات الوصفية: يمكن تتبع العناصر قليلة العدد والمستقرة نسبياً، مثل أوزان النموذج، مركزياً داخل GS. أما الحالات الديناميكية ذات العدد الكبير، مثل ذاكرة KV، فتُقسّم إلى أجزاء، ويتولى عامل محدد إدارة ملكية كل جزء واتساقه باستخدام عقود الإيجار ورموز الحماية (fencing tokens). 1
• تجهيز فعال للبيانات: تستطيع النسخ الموجودة لدى العامل إتاحة ذاكرة وحدة معالجة الرسوميات عبر CUDA IPC، أو ذاكرة وحدة المعالجة المركزية عبر مقابض memfd المحلية. وبالنسبة إلى المصادر البعيدة، تدعم TensorCast الكتابة المباشرة عبر RDMA، ما يقلل النسخ غير الضرورية ويفتح مسارات مشاركة محلية أو مباشرة بين وحدات معالجة الرسوميات عندما تكون متاحة. 6

لماذا يصبح نقل ذاكرة KV أسهل؟

في بنية خدمة تقليدية، قد يتطلب نقل جلسة حوار متعددة الجولات من مثيل استدلال إلى آخر تنسيقاً بين موجّه الطلبات، وتنفيذ ذاكرة KV داخل محرك الاستدلال، وخلفية الذاكرة أو الشبكة. أما مع TensorCast، فيمكن للسياسة تحديد كائنات موترات KV المرتبطة بالجلسة، وطلب تجهيزها أو نقلها إلى العامل المستهدف، ثم توجيه الطلبات اللاحقة إليه. ويتولى وقت تشغيل دورة الحياة عمليات البحث والنقل وربط الذاكرة. 1

لا يعني ذلك أن النقل أصبح بلا تكلفة، بل إن الفائدة الأساسية هي التعبير عن سياسة النقل مرة واحدة في طبقة دورة حياة الموترات، بدلاً من إعادة تنفيذها داخل مكونات مترابطة عدة. وهذا يجعل سياسات عابرة للمكونات، مثل التوجيه وفق قرب ذاكرة KV، أو إعادة استخدام الأوزان، أو وضع الحالات المرتبطة في الموقع نفسه، أسهل في التجربة والنشر. 1

ماذا أظهرت التجارب؟

• دمج الباحثون TensorCast مع vLLM وSGLang، واختبروها في تجهيز أوزان النماذج، ومزامنة الأوزان، وإدارة ذاكرة KV، وتوجيه الطلبات القابل للبرمجة. 1
• أظهر أداء إدارة ذاكرة KV نتائج منافسة لنظام Mooncake المتخصص في هذا المجال، مع احتفاظ TensorCast بمرونة تنفيذ سياسات تمتد عبر مكونات متعددة. 1
• عند بدء تشغيل مثيل من نموذج Qwen3-235B-A22B، الذي يضم 235 مليار معلَمة إجمالاً و22 مليار معلَمة مفعّلة، أفادت الورقة بأن TensorCast كانت أسرع بما يصل إلى 228.6 مرة من أنظمة الملفات الموزعة الشائعة. 12
• في أحمال عمل الوكلاء التي تتسم بتزامن مرتفع وحوارات متعددة الجولات، خفّضت سياسة قابلة للبرمجة في TensorCast متوسط زمن ظهور أول رمز (TTFT) بما يصل إلى 93.2%، وفقاً للتقرير. 1

ماذا تعني هذه النتائج للبنية التحتية؟

تشير النتائج إلى أن TensorCast قد تكون مفيدة للبنى التحتية المرنة والمعتمدة على الحالة، حيث يمكن التعامل مع تشغيل النماذج بسرعة، والتوجيه المدرك لموقع الذاكرة، ونقل ذاكرة KV، وإعادة استخدام حالة الموترات بوصفها سياسات نظام قابلة للبرمجة، لا تحسينات منفصلة مرتبطة بكل إطار عمل. 1

ومع ذلك، تبقى أرقام الأداء نتائج تجريبية أبلغ عنها مؤلفو ورقة بحثية أولية؛ لذلك تحتاج إلى إعادة إنتاج مستقلة وإلى تحقق على نطاق الإنتاج قبل اعتبارها معياراً عاماً للأداء. 1