تعالج الأوراق الثمانية بشكل جماعي التحديات الأساسية التي يواجهها مطورو الروبوتات اليوم، بدءًا من التنسيق بين أذرع متعددة وصولاً إلى استنتاج يعتمد على الرؤية واللغة والحركة.

ScheduleStream: تخطيط أسرع بثلاثة أضعاف للأذرع المتعددة

تعالج برمجيات جدولة الروبوتات التقليدية الأذرع بشكل متسلسل، مما يخلق اختناقات في الخلايا متعددة الأذرع. أما ScheduleStream فتقوم بتشغيل العمليات الحسابية على وحدات معالجة الرسوميات (GPUs)، مما يمكن عدة أذرع من تخطيط حركاتها والعمل بالتوازي. عند تشغيله على منصة الذكاء الاصطناعي الطرفية NVIDIA Jetson، حقق تسريعاً بمقدار 3 أضعاف عبر سيناريوهات التخطيط متعدد الأذرع. والإطار مفتوح المصدر على GitHub .

COMPASS: ملاحة عبر الأجسام المختلفة بنجاح 80% في الواقع

بناء روبوتات تتنقل عبر أنواع مختلفة من الأجسام – كالروبوتات المتحركة بعجلات والروبوتات البشرية – صعب للغاية. يقوم إطار سياسة COMPASS أولاً بتدريب سياسة ملاحة أساسية عبر التعلم بالتقليد، ثم يستخدم التعلم المعزز المتبقي في NVIDIA Isaac Lab لإنشاء سياسات متخصصة لأجسام متنوعة – وكل ذلك في المحاكاة. مقارنةً بخطوط الأساس للتعلم بالتقليد، حقق COMPASS تحسنًا بمقدار 4.5 ضعف في متوسط معدل النجاح. كما انتقل بسلاسة إلى العالم الحقيقي، محققًا نجاحًا بنحو 80% عبر 20 تجربة ملاحة واقعية على روبوتات متحركة ذاتية القيادة وروبوتات بشرية .

Grasp-MPC: إمساك تكيفي يصحح الحركة في منتصف الطريق

تفشل خطط الإمساك الثابتة عندما تتحرك الأجسام أو عندما يكون تقدير الروبوت الأولي غير دقيق بعض الشيء. يقوم Grasp-MPC بتصحيح حركة الروبوت باستمرار أثناء اقترابه من الجسم. ولّد الباحثون مليوني مسار محاكاة عبر 8000 جسم باستخدام قاعدة بيانات GraspGen ومكتبة cuRobo، وهي مكتبة توليد حركة مسرّعة بتقنية CUDA. على الروبوتات الحقيقية، حقق نجاحًا إجماليًا في الإمساك بنسبة ~75% مقابل 41% لخط الأساس .

التحكم في العناقيد القابلة للتشوه: إزالة الفوضى بدون تدريب مسبق

التحكم في المواد المرنة والمتشابكة – كالأغصان فوق خطوط الكهرباء – يتطلب أكثر من مجرد ماسك دقيق. درّب باحثو إنفيديا سياسات لاستخدام الذراع بالكامل لإزاحة العناقيد جانبًا، باستخدام آلاف الأشجار الاصطناعية في أطر محاكاة Isaac. النتيجة: نُشرت السياسات مباشرة على أغصان حقيقية دون أي تدريب إضافي .

PEEK: رؤية مركزة تحقق تعزيزًا في الدقة بمقدار 41 ضعفًا

يمكن للمشتتات في تغذية كاميرا الروبوت أن تُفشل حتى سياسات التحكم المدربة جيدًا. يستخدم PEEK نموذج رؤية ولغة لقراءة تعليمات المهمة وتركيز رؤية الروبوت على الأشياء ذات الصلة مع إخفاء كل شيء آخر. عند إضافته إلى سياسة دُرّبت بالكامل في المحاكاة، حقق PEEK تحسنًا في الدقة في العالم الحقيقي بمقدار 41 ضعفًا. بالنسبة لنماذج الرؤية واللغة والحركة (VLA) الكبيرة، تراوحت المكاسب بين 2 و3.5 ضعف. يتكامل PEEK مع أي سياسة تعتمد على الكاميرا دون تعديل .

افعل ما تقول (SEAL): سد الفجوة بين الاستنتاج والتنفيذ

إطار SEAL – وهو تعاون مع جامعة كارنيغي ميلون وجامعة يوتا وجامعة سيدني – يعالج نمط فشل شائعًا بشكل خادع: النموذج يستنتج بشكل صحيح ويختار الخطة الصحيحة، لكنه ينفذ شيئًا مختلفًا. يولد SEAL عدة تسلسلات عمل مرشحة، ويحاكي إلى أين يؤدي كل منها، ويختار التسلسل الذي يطابق النية المعلنة بشكل أفضل. يحقق تحسنًا في الدقة يصل إلى 15% مقارنة بالأعمال السابقة، وهو قوي في مواجهة التعليمات المعاد صياغتها، والفوضى، وزوايا الكاميرا المتغيرة .

Refinery: تسلسل خطوات التجميع بنجاح 91% في المحاكاة

في التجميعات متعددة الأجزاء، نتيجة كل خطوة تشكل الخطوة التالية. تدرب Refinery سياسات تفهم هذه التبعيات، وتتعلم عبر مئات السيناريوهات المحاكاة. يحقق نجاحًا بنسبة 91% في المحاكاة وتحسنًا متوسطًا يقارب 11% مقارنة بخطوط الأساس، مع سياسات تتسلسل معًا لتكوين تسلسلات تجميع طويلة ومعقدة .

التعلم المعزز القائم على الرؤية للمهام البشرية المعقدة

وصفة منفصلة للتعلم المعزز القائم على الرؤية ونقله من المحاكاة إلى الواقع درّبت روبوتًا بشريًا على مهام الإمساك والوصول، ورفع الصناديق، والتسليم باليدين. أظهرت هذه المقاربة معدلات نجاح عالية على أجسام غير مرئية مع سلوكيات تكيفية وقوية – مما يؤكد أن التحكم البشري المعقد القائم على الرؤية عبر التعلم المعزز ونقله إلى الواقع ليس قابلاً للتطبيق فحسب، بل هو أيضاً قابل للتوسع .

المنصات الأساسية: GR00T، Cosmos، Newton، cuMotion، و Jetson

تستند الأوراق البحثية الثمانية إلى عدة منصات متكاملة من إنفيديا تحول المحاكاة إلى بيئة تطوير عملية ومتكاملة:

• NVIDIA Isaac GR00T: مبادرة بحثية ومنصة تطوير لنماذج تأسيسية عامة للروبوتات، تتميز بنماذج مفتوحة (سلسلة GR00T N) لاستنتاج الروبوتات البشرية والتحكم بها، وأطر محاكاة مبنية على Omniverse و Cosmos، وحاسوب الحافة Jetson AGX Thor .
• نماذج عالم NVIDIA Cosmos: منصة من أحدث نماذج العالم التأسيسية التوليدية لبناء نماذج عالم مخصصة على نطاق واسع، تدعم توليد البيانات التركيبية وتقييم السياسات بالكامل في المحاكاة .
• محرك الفيزياء Newton 1.0: محرك فيزياء مفتوح المصدر ومسرّع بوحدة معالجة الرسوميات، طُور بالتعاون مع غوغل ديب مايند وديزني للأبحاث، وهو متاح الآن في NVIDIA Isaac Lab للمساعدة في إنشاء روبوتات أكثر قدرة وقابلية للتكيف .
• NVIDIA cuMotion: مكتبة مسرّعة بتقنية CUDA تحل مشاكل تخطيط حركة الروبوت على نطاق واسع من خلال تشغيل تحسينات مسارات متعددة في وقت واحد لإرجاع الحل الأمثل .
• منصة الذكاء الاصطناعي الطرفية NVIDIA Jetson: منصة الأجهزة المستخدمة على متن الروبوتات لتشغيل مجموعة الروبوتات الكاملة، بما في ذلك عرض التسريع بمقدار 3 أضعاف لـ ScheduleStream، حيث يعمل Jetson AGX Thor كحاسوب على متن الروبوت .

شركاء يضعون كفاءة النقل من المحاكاة إلى الواقع قيد التنفيذ

معهد تويوتا للأبحاث يقلل الحاجة إلى بيانات العالم الحقيقي

قام معهد تويوتا للأبحاث (TRI) بتخصيص نماذج عالم NVIDIA Cosmos التأسيسية لتوليف الرؤية الديناميكي والتحكم عن بُعد في الروبوت، مما قلل من كمية البيانات الواقعية اللازمة لتدريب سياسات التحكم القائمة على الرؤية .

Mimic Robotics: كفاءة عينات أفضل بعشر مرات

طورت Mimic Robotics نموذج فيديو-حركة باستخدام منصات إنفيديا يحقق كفاءة عينات أفضل بـ 10 مرات وتقاربًا أسرع بمرتين في مهام التحكم في العالم الحقيقي، مما يقلص بشكل كبير عدد العروض الواقعية المكلفة المطلوبة .

Doosan Robotics تضيف تنظيم منصات نقالة مراعي للسياق

تستخدم Doosan NVIDIA Cosmos Reason للسماح لروبوتات تنظيم المنصات النقالة بتحليل محتويات الصناديق، واكتشاف التلف، وتعديل التعامل بناءً على الوزن وقابلية الكسر – مما يتيح اتخاذ قرارات مراعية للسياق دون الحاجة إلى بيانات تدريب واقعية مرهقة .

الصورة الأكبر: من العروض المبرمجة إلى الاستقلالية الذاتية المتجسدة

وضعت إنفيديا هذا الكم من العمل في إطار تحول جوهري في صناعة الروبوتات:

"تدخل الروبوتات مرحلة جديدة: الانتقال من العروض التوضيحية الخاضعة للتحكم والأتمتة المبرمجة نحو استقلالية ذاتية متجسدة قابلة للتعميم وموثوقة في العالم الحقيقي" .

لم يعد نقل التعلم من المحاكاة إلى الواقع مجرد فضول أكاديمي. تُظهر أوراق ICRA الثمانية أنها تعالج المجموعة الكاملة من التحديات: التنسيق المتوازي متعدد الأذرع، وتعميم السياسات عبر الأجسام المختلفة، والإمساك بالأجسام الجديدة في الفوضى، والتحكم في المواد القابلة للتشوه دون تدريب مسبق، والتجميع التسلسلي الدقيق، ونماذج الرؤية واللغة والحركة التي تستنتج قبل أن تتحرك . الرسالة واضحة: التدريب القائم على المحاكاة – بدلاً من الاعتماد على كميات هائلة من العروض البشرية في العالم الحقيقي – هو المسار القابل للتوسع نحو روبوتات تعمل بقوة في بيئات غير منظمة وديناميكية.

تعالج الأوراق الثمانية بشكل جماعي التحديات الأساسية التي يواجهها مطورو الروبوتات اليوم، بدءًا من التنسيق بين أذرع متعددة وصولاً إلى استنتاج يعتمد على الرؤية واللغة والحركة.

ScheduleStream: تخطيط أسرع بثلاثة أضعاف للأذرع المتعددة

تعالج برمجيات جدولة الروبوتات التقليدية الأذرع بشكل متسلسل، مما يخلق اختناقات في الخلايا متعددة الأذرع. أما ScheduleStream فتقوم بتشغيل العمليات الحسابية على وحدات معالجة الرسوميات (GPUs)، مما يمكن عدة أذرع من تخطيط حركاتها والعمل بالتوازي. عند تشغيله على منصة الذكاء الاصطناعي الطرفية NVIDIA Jetson، حقق تسريعاً بمقدار 3 أضعاف عبر سيناريوهات التخطيط متعدد الأذرع. والإطار مفتوح المصدر على GitHub .

COMPASS: ملاحة عبر الأجسام المختلفة بنجاح 80% في الواقع

بناء روبوتات تتنقل عبر أنواع مختلفة من الأجسام – كالروبوتات المتحركة بعجلات والروبوتات البشرية – صعب للغاية. يقوم إطار سياسة COMPASS أولاً بتدريب سياسة ملاحة أساسية عبر التعلم بالتقليد، ثم يستخدم التعلم المعزز المتبقي في NVIDIA Isaac Lab لإنشاء سياسات متخصصة لأجسام متنوعة – وكل ذلك في المحاكاة. مقارنةً بخطوط الأساس للتعلم بالتقليد، حقق COMPASS تحسنًا بمقدار 4.5 ضعف في متوسط معدل النجاح. كما انتقل بسلاسة إلى العالم الحقيقي، محققًا نجاحًا بنحو 80% عبر 20 تجربة ملاحة واقعية على روبوتات متحركة ذاتية القيادة وروبوتات بشرية .

Grasp-MPC: إمساك تكيفي يصحح الحركة في منتصف الطريق

تفشل خطط الإمساك الثابتة عندما تتحرك الأجسام أو عندما يكون تقدير الروبوت الأولي غير دقيق بعض الشيء. يقوم Grasp-MPC بتصحيح حركة الروبوت باستمرار أثناء اقترابه من الجسم. ولّد الباحثون مليوني مسار محاكاة عبر 8000 جسم باستخدام قاعدة بيانات GraspGen ومكتبة cuRobo، وهي مكتبة توليد حركة مسرّعة بتقنية CUDA. على الروبوتات الحقيقية، حقق نجاحًا إجماليًا في الإمساك بنسبة ~75% مقابل 41% لخط الأساس .

التحكم في العناقيد القابلة للتشوه: إزالة الفوضى بدون تدريب مسبق

التحكم في المواد المرنة والمتشابكة – كالأغصان فوق خطوط الكهرباء – يتطلب أكثر من مجرد ماسك دقيق. درّب باحثو إنفيديا سياسات لاستخدام الذراع بالكامل لإزاحة العناقيد جانبًا، باستخدام آلاف الأشجار الاصطناعية في أطر محاكاة Isaac. النتيجة: نُشرت السياسات مباشرة على أغصان حقيقية دون أي تدريب إضافي .

PEEK: رؤية مركزة تحقق تعزيزًا في الدقة بمقدار 41 ضعفًا

يمكن للمشتتات في تغذية كاميرا الروبوت أن تُفشل حتى سياسات التحكم المدربة جيدًا. يستخدم PEEK نموذج رؤية ولغة لقراءة تعليمات المهمة وتركيز رؤية الروبوت على الأشياء ذات الصلة مع إخفاء كل شيء آخر. عند إضافته إلى سياسة دُرّبت بالكامل في المحاكاة، حقق PEEK تحسنًا في الدقة في العالم الحقيقي بمقدار 41 ضعفًا. بالنسبة لنماذج الرؤية واللغة والحركة (VLA) الكبيرة، تراوحت المكاسب بين 2 و3.5 ضعف. يتكامل PEEK مع أي سياسة تعتمد على الكاميرا دون تعديل .

افعل ما تقول (SEAL): سد الفجوة بين الاستنتاج والتنفيذ

إطار SEAL – وهو تعاون مع جامعة كارنيغي ميلون وجامعة يوتا وجامعة سيدني – يعالج نمط فشل شائعًا بشكل خادع: النموذج يستنتج بشكل صحيح ويختار الخطة الصحيحة، لكنه ينفذ شيئًا مختلفًا. يولد SEAL عدة تسلسلات عمل مرشحة، ويحاكي إلى أين يؤدي كل منها، ويختار التسلسل الذي يطابق النية المعلنة بشكل أفضل. يحقق تحسنًا في الدقة يصل إلى 15% مقارنة بالأعمال السابقة، وهو قوي في مواجهة التعليمات المعاد صياغتها، والفوضى، وزوايا الكاميرا المتغيرة .

Refinery: تسلسل خطوات التجميع بنجاح 91% في المحاكاة

في التجميعات متعددة الأجزاء، نتيجة كل خطوة تشكل الخطوة التالية. تدرب Refinery سياسات تفهم هذه التبعيات، وتتعلم عبر مئات السيناريوهات المحاكاة. يحقق نجاحًا بنسبة 91% في المحاكاة وتحسنًا متوسطًا يقارب 11% مقارنة بخطوط الأساس، مع سياسات تتسلسل معًا لتكوين تسلسلات تجميع طويلة ومعقدة .

التعلم المعزز القائم على الرؤية للمهام البشرية المعقدة

وصفة منفصلة للتعلم المعزز القائم على الرؤية ونقله من المحاكاة إلى الواقع درّبت روبوتًا بشريًا على مهام الإمساك والوصول، ورفع الصناديق، والتسليم باليدين. أظهرت هذه المقاربة معدلات نجاح عالية على أجسام غير مرئية مع سلوكيات تكيفية وقوية – مما يؤكد أن التحكم البشري المعقد القائم على الرؤية عبر التعلم المعزز ونقله إلى الواقع ليس قابلاً للتطبيق فحسب، بل هو أيضاً قابل للتوسع .

المنصات الأساسية: GR00T، Cosmos، Newton، cuMotion، و Jetson

تستند الأوراق البحثية الثمانية إلى عدة منصات متكاملة من إنفيديا تحول المحاكاة إلى بيئة تطوير عملية ومتكاملة:

• NVIDIA Isaac GR00T: مبادرة بحثية ومنصة تطوير لنماذج تأسيسية عامة للروبوتات، تتميز بنماذج مفتوحة (سلسلة GR00T N) لاستنتاج الروبوتات البشرية والتحكم بها، وأطر محاكاة مبنية على Omniverse و Cosmos، وحاسوب الحافة Jetson AGX Thor .
• نماذج عالم NVIDIA Cosmos: منصة من أحدث نماذج العالم التأسيسية التوليدية لبناء نماذج عالم مخصصة على نطاق واسع، تدعم توليد البيانات التركيبية وتقييم السياسات بالكامل في المحاكاة .
• محرك الفيزياء Newton 1.0: محرك فيزياء مفتوح المصدر ومسرّع بوحدة معالجة الرسوميات، طُور بالتعاون مع غوغل ديب مايند وديزني للأبحاث، وهو متاح الآن في NVIDIA Isaac Lab للمساعدة في إنشاء روبوتات أكثر قدرة وقابلية للتكيف .
• NVIDIA cuMotion: مكتبة مسرّعة بتقنية CUDA تحل مشاكل تخطيط حركة الروبوت على نطاق واسع من خلال تشغيل تحسينات مسارات متعددة في وقت واحد لإرجاع الحل الأمثل .
• منصة الذكاء الاصطناعي الطرفية NVIDIA Jetson: منصة الأجهزة المستخدمة على متن الروبوتات لتشغيل مجموعة الروبوتات الكاملة، بما في ذلك عرض التسريع بمقدار 3 أضعاف لـ ScheduleStream، حيث يعمل Jetson AGX Thor كحاسوب على متن الروبوت .

شركاء يضعون كفاءة النقل من المحاكاة إلى الواقع قيد التنفيذ

معهد تويوتا للأبحاث يقلل الحاجة إلى بيانات العالم الحقيقي

قام معهد تويوتا للأبحاث (TRI) بتخصيص نماذج عالم NVIDIA Cosmos التأسيسية لتوليف الرؤية الديناميكي والتحكم عن بُعد في الروبوت، مما قلل من كمية البيانات الواقعية اللازمة لتدريب سياسات التحكم القائمة على الرؤية .

Mimic Robotics: كفاءة عينات أفضل بعشر مرات

طورت Mimic Robotics نموذج فيديو-حركة باستخدام منصات إنفيديا يحقق كفاءة عينات أفضل بـ 10 مرات وتقاربًا أسرع بمرتين في مهام التحكم في العالم الحقيقي، مما يقلص بشكل كبير عدد العروض الواقعية المكلفة المطلوبة .

Doosan Robotics تضيف تنظيم منصات نقالة مراعي للسياق

تستخدم Doosan NVIDIA Cosmos Reason للسماح لروبوتات تنظيم المنصات النقالة بتحليل محتويات الصناديق، واكتشاف التلف، وتعديل التعامل بناءً على الوزن وقابلية الكسر – مما يتيح اتخاذ قرارات مراعية للسياق دون الحاجة إلى بيانات تدريب واقعية مرهقة .

الصورة الأكبر: من العروض المبرمجة إلى الاستقلالية الذاتية المتجسدة

وضعت إنفيديا هذا الكم من العمل في إطار تحول جوهري في صناعة الروبوتات:

"تدخل الروبوتات مرحلة جديدة: الانتقال من العروض التوضيحية الخاضعة للتحكم والأتمتة المبرمجة نحو استقلالية ذاتية متجسدة قابلة للتعميم وموثوقة في العالم الحقيقي" .

لم يعد نقل التعلم من المحاكاة إلى الواقع مجرد فضول أكاديمي. تُظهر أوراق ICRA الثمانية أنها تعالج المجموعة الكاملة من التحديات: التنسيق المتوازي متعدد الأذرع، وتعميم السياسات عبر الأجسام المختلفة، والإمساك بالأجسام الجديدة في الفوضى، والتحكم في المواد القابلة للتشوه دون تدريب مسبق، والتجميع التسلسلي الدقيق، ونماذج الرؤية واللغة والحركة التي تستنتج قبل أن تتحرك . الرسالة واضحة: التدريب القائم على المحاكاة – بدلاً من الاعتماد على كميات هائلة من العروض البشرية في العالم الحقيقي – هو المسار القابل للتوسع نحو روبوتات تعمل بقوة في بيئات غير منظمة وديناميكية.