Puffin-World: نموذج مفتوح لعوالم ثلاثية الأبعاد يفهم الجاذبية والعمق والصورة

Puffin-World هو نموذج عالم مفتوح المصدر ومتعدد الوسائط، طوّره باحثون تابعون لـ ACE Robotics وS-Lab في جامعة نانيانغ التقنية، وجامعة بكين جياوتونغ، وجامعة ميشيغان. فكرته الأساسية هي تمثيل العالم ثلاثي الأبعاد عبر ثلاث حالات مترابطة: الفيزياء والهندسة والمظهر. وبذلك يستطيع النظام الاستدلال على وضعية الكاميرا، وتوليد زوايا رؤية جديدة مضبوطة، وإعادة بناء مشاهد RGB-D ضمن إطار واحد. 15

الفكرة: ليس فيديو RGB فحسب

قد تنتج أنظمة التوليد صوراً مقنعة، لكن إقناع الصورة وحده لا يعني الحفاظ على أفق ثابت، أو وضعية كاميرا سليمة، أو بنية ثلاثية الأبعاد متسقة عند تغيير زاوية النظر. لذلك يمثّل Puffin-World صراحةً ما يلي:

• الفيزياء: اتجاه الجاذبية وخط العرض؛
• الهندسة: العمق الكثيف؛
• المظهر: صور RGB. 15

هذا يجعله نموذج عالم متمحوراً حول الكاميرا: فهو لا يسأل فقط عن شكل المشهد، بل عن اتجاه الكاميرا نسبةً إلى الجاذبية وكيف يمكن أن تتحرك خلاله.

كيف يعمل تمثيل Omni-Camera ذي القنوات التسع؟

يعتمد Puffin-World تمثيل تكييف يسمى Omni-Camera، وهو شرط كاميرا كثيف من تسع قنوات يجمع بين حقل منظور مطلق واعٍ بالجاذبية وهندسة نسبية قائمة على الأشعة. ولكل جزء وظيفة مختلفة: 5

• حقل المنظور المطلق يربط الكاميرا بإطار فيزيائي، بما في ذلك اتجاهها بالنسبة إلى الجاذبية.
• الهندسة النسبية ترمّز دوران الكاميرا وانتقالها ومعلماتها الداخلية وحركتها المركبة بين وجهات النظر.

وينقل النموذج تقدير الجاذبية المستنتج من لقطة مرجعية على امتداد المسار المطلوب للكاميرا. والهدف المعلن هو إبقاء المشاهد المولدة ضمن إطار فيزيائي متسق وتقليل انجراف الجاذبية أو خط الأفق الذي قد يظهر عند توليد اللقطات بشكل متتابع. 56

ما الذي يستطيع النموذج إنجازه؟

يطرح المشروع إطاراً واحداً لمهام كانت تُنفذ عادةً في أنظمة منفصلة.

استنتاج وضعية الكاميرا من صورة واحدة

انطلاقاً من صورة واحدة، يتنبأ فرع الفهم بزوايا اللّف (roll) والميل (pitch) المطلقتين، وبـ مجال الرؤية العمودي (FoV). ويمكن تحويل هذه التقديرات إلى حقول الجاذبية والمنظور التي يستخدمها تمثيل الكاميرا في النموذج. 5

توليد مسارات حرة لزاوية الرؤية مع تحكم مباشر

يستطيع Puffin-World توليد مشاهد انطلاقاً من نص مع تعليمات للكاميرا، أو من صورة إدخال مع مسار كاميرا محدد. وتشمل عناصر التحكم تغييرات الاتجاه والانتقال والمعلمات الداخلية والحركات المركبة، بما فيها اللف والميل والانحراف (yaw). 5

إنتاج RGB-D وإعادة بناء المشهد

بدلاً من توليد اللون وحده، يولد النموذج RGB والعمق معاً على طول المسار. ويمكن دمج هذه المخرجات لاحقاً في سحابة نقاط ثلاثية الأبعاد ملوّنة، من دون إسناد إعادة البناء إلى خط معالجة هندسي خارجي منفصل. 5

دعم الاستكشاف في حلقة مغلقة

يتضمن الإصدار العلني عروضاً لمحاكاة الاستكشاف والمعايرة الذاتية. وتصف الوثائق الإطار الواعي بالجاذبية باعتباره وسيلة لإعادة إرساء المسارات المولدة والحد من تراكم عدم اتساق وضعية الكاميرا. لكن المواد العامة المتاحة لا تشرح خوارزمية تصحيح الانجراف بالكامل، لذا ينبغي النظر إلى ذلك كقدرة معروضة لا كوصف كامل لحلقة التحكم. 56

البنية: فهم بصري وتوليد بالانتشار

يجمع Puffin-World بين مشفّر رؤية C-RADIO المتوافق مع الهندسة، ونموذج اللغة Qwen، ومولّد الانتشار SD3.5، وموصل خفيف. ويفصل التصميم بين الفهم التتابعي للكاميرا والحالة الفيزيائية، وبين توليد RGB-D متعدد الزوايا بالانتشار، مع إبقاء الجزأين ضمن نظام موحد. 5

ويعرض الإصدار ثلاث نقاط تحقق:

• Puffin-World-Base: ‏Qwen2.5-7B وC-RADIOv3-H وSD3.5-medium؛
• Puffin-World-Pro: ‏Qwen2.5-1.5B وC-RADIOv4-H وSD3.5-large؛
• Puffin-World-Caption: ‏Qwen3.5-0.8B وC-RADIOv3-H، ويركز على الوصف الفيزيائي وفهم الكاميرا. 5

وتتضمن الإتاحة العامة الشيفرة وإرشادات التدريب والتقييم وتوثيق بناء البيانات والنماذج ومجموعات البيانات. 5

Puffin-16M: بيانات واسعة تراعي الكاميرا

توصف مجموعة Puffin-16M بأنها تضم قرابة 16.5 مليون عينة موزعة على مكونين متكاملين. 14

يحتوي Puffin-Cam-15M على نحو 15 مليون ثلاثية من الرؤية واللغة والكاميرا، جرى تصييرها من قرابة 900 ألف بانوراما. وتمتد تغطية الكاميرا المعلنة من −45° إلى +45° في اللف والميل، ومن 20° إلى 105° في مجال الرؤية العمودي. 5

ويضيف Puffin-Traj-1M مليون مسار كاميرا صعب. وتذكر مواد المشروع مسارات طويلة ودورانات حادة وحركات مركبة تشمل الميل والانحراف واللف، لكنها لا تقدم تفصيلاً رقمياً موثوقاً حسب فئة الحركة. 511

وتدعم المواد المتاحة وجود مشاهد داخلية وخارجية، حقيقية واصطناعية، لكنها لا تثبت توزيعاً دقيقاً لفئات المشاهد. 7

جهد كبير لوسم وضعيات الكاميرا

استخدم الفريق أيضاً Puffin-World لإضافة تقديرات مطلقة للّف والميل ومجال الرؤية العمودي إلى 28 مجموعة بيانات عامة: 22 مجموعة لصور مفردة وست مجموعات متسلسلة أو ثلاثية الأبعاد. ونتج عن ذلك نحو 44.5 مليون وسم للكاميرا. وتشير الورقة إلى انحياز شائع نحو كاميرات أفقية المستوى، وميل يتجه عموماً إلى الأسفل، وتباين كبير في مجال الرؤية بين مجموعات البيانات. 1

وتكتسب هذه الوسوم أهمية لأن نماذج العالم لا تحتاج فقط إلى محتوى المشهد، بل إلى سياق الكاميرا أيضاً. فالحركة النسبية وحدها لا تكفي لتحديد اتجاه الكاميرا بالنسبة إلى الجاذبية أو إطار عالمي مشترك.

نتائج المعايير المعلنة

يقول المشروع إنه حقق أفضل خطأ وسيط في المقارنات الاثنتي عشرة عبر Stanford2D3D وMegaDepth وTartanAir وLaMAR، وأفضل مساحة تحت المنحنى (AUC) في 33 من أصل 36 مقياساً مُبلغاً عنه عند احتساب التعادلات. وهذه نتائج أعلنها المؤلفون ولم تُعَد إنتاجها بصورة مستقلة في المصادر المتاحة. 5

ومن الأرقام المختارة التي أعلنها الفريق:

• Stanford2D3D: خطأ وسيط قدره 0.29° للّف، و0.53° للميل، و1.62° لمجال الرؤية العمودي. 15
• خطأ اللف: 0.28° على MegaDepth، و0.31° على TartanAir، و0.26° على LaMAR. 15
• نمذجة العالم على RealEstate10K: ‏17.22 PSNR و0.318 LPIPS. 5
• تجربة عزل نشر الجاذبية: ارتفع PSNR من 19.87 إلى 20.54، وانخفض LPIPS من 0.23 إلى 0.21، مع تحسن معلن في أخطاء اللف والميل. 5
• معيار المسارات الصعبة: خطأ وسيط قدره 0.80° للّف و1.10° للميل. 5

ويورد الإصدار كذلك نتائج قوية للتحكم بالكاميرا على معيار Puffin-Cam-Bench، تشمل أخطاء منخفضة لمتجه الأعلى وخط العرض والجاذبية. ويذكر ملخص مستقل رقماً قدره 1.32° لخطأ الجاذبية، بينما يسجل ملف README مقياساً مختلفاً للجاذبية؛ ولا توضح المصادر المتاحة تعريفات التقييم بما يكفي لاعتبار الرقمين قابلين للمقارنة المباشرة. 45

ما حدوده؟

تمثيل «الفيزياء» في Puffin-World يقتصر أساساً على الجاذبية وخط العرض، وليس محاكياً فيزيائياً كاملاً. ويركز الإصدار أساساً على المشاهد الساكنة، ولا يدعي نمذجة شاملة لتفاعلات الأجسام أو البيئات المتحركة أو الديناميكيات طويلة الأمد. 5

لذلك، من الأدق فهم Puffin-World بوصفه خطوة مهمة نحو نمذجة بصرية مكانية ومؤسسة فيزيائياً، لا محاكياً عاماً لكل العمليات الفيزيائية المتغيرة.