هذا التشغيل المتناثر لا يلغي الحاجة إلى تخزين النموذج الكامل أو إدارته، لكنه قد يقلل مقدار الحوسبة اللازمة لإنتاج كل رمز. لذلك ينتمي Lightning إلى فئة نماذج أكبر من حيث السعة الكلية، بينما يستهدف تكلفة تشغيل أقرب إلى شبكة أصغر عند كل خطوة.
عادةً ما ينفذ الوكيل المستقل عددًا كبيرًا من استدعاءات النموذج خلال مهمة واحدة. فبعد وضع الخطة الأولية، قد يحتاج إلى اختيار أداة، وقراءة نتيجة، واستخراج بيانات منظمة، والتحقق من شرط، ثم إعادة تنسيق النتيجة—وقد تتكرر هذه الدورة عشرات أو مئات المرات.
إرسال كل استدعاء إلى نموذج ضخم قد يرفع زمن الاستجابة وتكلفة التشغيل. لذلك تستهدف NVIDIA استخدام Lightning في الجزء المتوقع وعالي التكرار من سير العمل، مع إبقاء نموذج أكثر قدرة للتعامل مع الحالات الغامضة والاستدلال الصعب.
يمكن تصور البنية على النحو التالي:
وتضع NVIDIA نموذج Nemotron 3 Ultra، الذي يضم 550 مليار بارامتر إجمالًا و55 مليارًا نشطة، في موقع نموذج الاستدلال المتقدم والتنسيق، وهو ما يوضح الفرق بين دوره ودور Lightning.
تعتمد قيمة هذا التصور على وجود نظام توجيه يقرر النموذج الأنسب لكل خطوة. فلا فائدة من امتلاك نموذج سريع إذا كانت جميع الطلبات تُرسل تلقائيًا إلى نقطة النهاية نفسها.
توفر NVIDIA مكتبة NeMo Switchyard، وهي حزمة تطوير لامورّدية تجاه مزود معين، لتمثيل الطلبات، وتعريف النماذج المتاحة، وإدارة الاستدعاءات الموجهة إلى المزود أو معرّف النموذج المختار.
عمليًا، يتيح ذلك بناء هرمية للنماذج: يتولى Lightning الاتصالات الروتينية، بينما تُرفع الحالات التي تحتاج إلى قدرة أكبر إلى نموذج أضخم. ومن هذه الزاوية، لا تكمن أفضل قيمة للمنتج في استخدامه كروبوت محادثة مستقل، بل في جعله جزءًا من نظام وكلاء متعدد النماذج وموجّه بذكاء.
تعلن مواد النموذج عن سعة سياق تصل إلى مليون رمز، وهي ميزة مهمة للوكلاء الذين يحتفظون بسجل طويل للمحادثة، أو يعالجون مستندات كبيرة، أو يعملون مرارًا على حالة مهمة واسعة. لكن السعة القابلة للاستخدام والأداء الفعليين سيعتمدان على منصة الخدمة وإعداداتها.
ويأتي الإصدار NVFP4 موجهًا إلى نشر الاستدلال، مع استخدام نوى متخصصة من NVIDIA عبر أجيال مدعومة من وحدات معالجة الرسوميات. وتدرج NVIDIA البنية المحلية ومحطات العمل ومراكز البيانات والبيئات السحابية ضمن خيارات النشر، كما يتوفر النموذج عبر Hugging Face وخدمات مستضافة.
وتقول AWS إن Nemotron 3.5 Lightning متاح عبر SageMaker JumpStart، مع إمكانية نشره من وحدة تحكم SageMaker أو باستخدام حزمة Python البرمجية. كما توفر وثائق NVIDIA NIM مسارًا منفصلًا للنشر عبر حاوية، مع متطلبات محددة لنظام التشغيل وCUDA وبرنامج التشغيل وDocker.
مع ذلك، ينبغي التعامل بحذر مع مسألة تشغيله على جهاز واحد. فالنسخة المكمّمة قد تجعل الخدمة أكثر عملية، لكن إمكانية التشغيل على وحدة معالجة رسومية واحدة تعتمد على نوع البطاقة، ومتطلبات الذاكرة، وطول السياق، وطريقة التكميم، وحجم الدفعة، وبرنامج الخدمة. لذلك لا يصح تعميم دعم أجهزة بعينها على كل حاسوب محمول أو مكتبي من دون الرجوع إلى بطاقة النموذج ووصفة النشر الحالية.
تعلن NVIDIA وAWS عن throughput أعلى بما يصل إلى أربعة أضعاف، وإنجاز للمهام أسرع بنحو 30% في أعباء عمل مخصصة للوكلاء. لكن هذه الأرقام ليست مقياسًا عامًا لذكاء النموذج، ولا تمثل ضمانًا لأداء مماثل في بيئة الإنتاج.
قد تتغير النتائج الفعلية وفقًا لعوامل عدة، منها:
لهذا السبب، يجب اختبار Lightning على العمليات التي تهم الوكيل فعلًا: دقة الاستخراج، وموثوقية استدعاء الأدوات، والالتزام بالمخرجات المنظمة، والزمن الكلي لإنجاز المهمة—لا الاكتفاء بأرقام الرموز المولدة في الثانية.
قد يجعل التسعير المستضاف Lightning خيارًا لافتًا للاستدلال عالي الحجم. فخدمة DeepInfra تعرضه بسعر 0.05 دولار لكل مليون رمز إدخال و0.20 دولار لكل مليون رمز إخراج، وفق نموذج دفع يعتمد على الاستخدام ومن دون إدارة بنية GPU خاصة.
لكن هذه الأسعار ليست خاصية ثابتة للنموذج نفسه. فالمزود وطريقة التكميم والتخزين المؤقت ومسار التوجيه قد تغير التكلفة الفعلية، وقد عرض مزودون آخرون أسعارًا مختلفة.
وعند المقارنة مع نموذج أكبر، ينبغي حساب تكلفة سير العمل بأكمله، بما في ذلك المحاولات المعادة، واستدعاءات الأدوات، وعمليات التوجيه، والطلبات التي ستظل بحاجة إلى نموذج أكثر قدرة.
أفضل وصف لـ Nemotron 3.5 Lightning هو أنه نموذج عامل سريع وقابل للتخصيص لأنظمة الوكلاء. ويكون منطقيًا عندما ينتج التطبيق عددًا كبيرًا من الاستدعاءات المتشابهة، وحين يمكن ضبط المهمة أو تقييدها أو تحسين النموذج لها بعد التدريب.
أما التخطيط المعقد، والحكم في الحالات غير المؤكدة، والمهام التي تكون تكلفة الخطأ فيها مرتفعة، فقد تحتاج إلى نموذج أكبر مثل Nemotron 3 Ultra أو إلى نظام استدلال متقدم آخر.
النتيجة العملية واضحة: ينجح Lightning أكثر عندما يُستخدم كطبقة تنفيذ منخفضة زمن الاستجابة داخل بنية موجّهة ومتعددة النماذج. فإجمالي سعته البالغ 30 مليار بارامتر، وتنشيط نحو 3 مليارات فقط، ومواده المفتوحة، وخيار الاستدلال المكمّم، ومسارات النشر المتنوعة، كلها تستهدف جعل العمل الروتيني للوكلاء أسرع وأقل تكلفة. أما المكاسب المعلنة، فتظل بحاجة إلى اختبارها على سير العمل المحدد قبل اعتبارها نتائج إنتاج مؤكدة.