उत्तरप्रकाशित16 स्रोत
Puffin-World: गुरुत्व, 3D ज्यामिति और RGB को एक मॉडल में जोड़ने की कोशिश
Puffin World केवल RGB वीडियो पिक्सल नहीं बनाता; यह गुरुत्व संदर्भित भौतिक स्थिति, डेप्थ और RGB रूप रंग को एक साथ मॉडल करता है। ओपन रिलीज में कोड, तीन चेकपॉइंट और Puffin 16M डेटासेट शामिल हैं—करीब 1.5 करोड़ विज़न लैंग्वेज कैमरा ट्रिपलेट और 10 लाख चुनौतीपूर्ण कैमरा ट्रैजेक्टरी। लेखकों के रिपोर्ट किए नतीजों में Stanfor...
प्रकाशितकर्ताGPT-5.6 Terra से संपादितGPT Image 2 से चित्र बनाए गए
शोध उत्तर
मुख्य निष्कर्ष
- Puffin World केवल RGB वीडियो पिक्सल नहीं बनाता; यह गुरुत्व संदर्भित भौतिक स्थिति, डेप्थ और RGB रूप रंग को एक साथ मॉडल करता है।
- ओपन रिलीज में कोड, तीन चेकपॉइंट और Puffin 16M डेटासेट शामिल हैं—करीब 1.5 करोड़ विज़न लैंग्वेज कैमरा ट्रिपलेट और 10 लाख चुनौतीपूर्ण कैमरा ट्रैजेक्टरी।
- लेखकों के रिपोर्ट किए नतीजों में Stanford2D3D पर 0.29° रोल, 0.53° पिच और 1.62° वर्टिकल FoV की मीडियन त्रुटियां शामिल हैं।
AI संकेत
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Puffin-World, the open-source multimodal world model developed by ACE Robotics, NTU S-Lab, Beijing Jiaotong University, and the Univ. Article summary: Puffin-World is an open-source, camera-centric multimodal world model that treats a world not merely as RGB video, but as three jointly modeled native states: gravity-aware physics, dense 3D geometry, and visual appearan. Topic tags: general, academic, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake num
Puffin-World, ACE Robotics, नानयांग टेक्नोलॉजिकल यूनिवर्सिटी (NTU) की S-Lab, बीजिंग जियातोंग यूनिवर्सिटी और यूनिवर्सिटी ऑफ मिशिगन से संबद्ध शोधकर्ताओं का ओपन-सोर्स मल्टीमॉडल वर्ल्ड मॉडल है। इसका विचार यह है कि AI को 3D दुनिया सिर्फ रंगीन वीडियो-फ्रेमों के रूप में नहीं, बल्कि तीन जुड़ी हुई स्थितियों—भौतिक संदर्भ, ज्यामिति और दृश्य रूप-रंग—के रूप में समझनी चाहिए। 1
5
सिर्फ RGB वीडियो से आगे क्यों?
किसी जनरेटिव मॉडल की बनाई तस्वीर देखने में भरोसेमंद लग सकती है, लेकिन कैमरा कोण बदलते ही उसमें क्षितिज, कैमरा पोज़ या 3D संरचना असंगत हो सकती है। Puffin-World इन तीन अवस्थाओं को स्पष्ट रूप से दर्शाता है:
- भौतिक संदर्भ: गुरुत्व की दिशा और अक्षांश;
- ज्यामिति: सघन डेप्थ (गहराई) जानकारी;
- दृश्य रूप-रंग: RGB इमेजरी।
1
5
इसीलिए इसे कैमरा-केंद्रित वर्ल्ड मॉडल कहा जा सकता है। यह केवल यह नहीं सीखता कि दृश्य कैसा दिखता है, बल्कि यह भी कि कैमरा गुरुत्व के सापेक्ष किस दिशा में है और उसी दृश्य में कैमरा आगे कैसे चल सकता है।
9-चैनल Omni-Camera क्या करता है?
Puffin-World की मुख्य कंडीशनिंग विधि Omni-Camera है। यह 9-चैनल की घनी कैमरा कंडीशन में दो हिस्से जोड़ती है: गुरुत्व-सचेत absolute perspective field और किरण-आधारित relative geometry। 5
- Absolute perspective field कैमरे को एक भौतिक संदर्भ-फ्रेम में बांधता है, जिसमें गुरुत्व के सापेक्ष उसका ओरिएंटेशन शामिल होता है।
- Relative geometry दो दृश्यों के बीच कैमरा रोटेशन, ट्रांसलेशन, इंट्रिंसिक्स और मिश्रित गति को एन्कोड करती है।
मॉडल संदर्भ दृश्य से अनुमानित गुरुत्व दिशा को मांगी गई कैमरा ट्रैजेक्टरी में आगे ले जाता है। टीम के अनुसार, इसका लक्ष्य हर जनरेटेड दृश्य को एक समान भौतिक फ्रेम में रखना और क्रमिक व्यू-जनरेशन में आने वाले क्षितिज या गुरुत्व-ड्रिफ्ट को घटाना है। 5
6
Puffin-World क्या-क्या कर सकता है?
एक इमेज से कैमरा पोज़ का अनुमान
किसी एक इमेज से इसका अंडरस्टैंडिंग भाग absolute roll, pitch और vertical field of view (FoV) का अनुमान लगाता है। इन मानों को आगे मॉडल के गुरुत्व और परस्पेक्टिव फील्ड में बदला जा सकता है। 5
सरल शब्दों में, roll से कैमरे का बाएं-दाएं झुकाव, pitch से ऊपर-नीचे झुकाव और vertical FoV से कैमरे की ऊर्ध्वाधर देखने की चौड़ाई का अंदाजा मिलता है।
नियंत्रित फ्री-व्यूपॉइंट ट्रैजेक्टरी बनाना
मॉडल टेक्स्ट और कैमरा कंट्रोल से, या किसी इनपुट इमेज तथा तय कैमरा पथ से नए दृश्य बना सकता है। नियंत्रणों में ओरिएंटेशन, ट्रांसलेशन, इंट्रिंसिक्स और रोल, पिच व यॉ जैसे मिश्रित कैमरा मूवमेंट शामिल हैं। 5
RGB-D दृश्य और 3D पुनर्निर्माण
Puffin-World केवल रंगीन इमेज नहीं बनाता, बल्कि ट्रैजेक्टरी के साथ RGB और डेप्थ दोनों को संयुक्त रूप से जनरेट करता है। इन RGB-D आउटपुट को रंगीन 3D पॉइंट क्लाउड में जोड़ा जा सकता है; इसके लिए अलग ऑफलाइन ज्यामिति पाइपलाइन पर निर्भर रहने का दावा नहीं किया गया है। 5
क्लोज्ड-लूप एक्सप्लोरेशन
पब्लिक रिलीज में mimic-exploration और self-calibration डेमो दिए गए हैं। दस्तावेज़ में गुरुत्व-सचेत फ्रेम को जनरेटेड ट्रैजेक्टरी को फिर से एंकर करने और जमा होती पोज़ असंगति सीमित करने के तरीके के रूप में बताया गया है। हालांकि सार्वजनिक सामग्री ड्रिफ्ट-सुधार एल्गोरिद्म का पूरा तकनीकी विवरण नहीं देती; इसलिए इसे प्रदर्शित क्षमता माना जाना चाहिए, न कि नियंत्रण-लूप की संपूर्ण व्याख्या। 5
6
आर्किटेक्चर: समझने वाला मॉडल और डिफ्यूजन जनरेशन
Puffin-World में ज्यामिति-संरेखित C-RADIO विज़न एन्कोडर, Qwen लैंग्वेज मॉडल, SD3.5 डिफ्यूजन जनरेटर और एक हल्का कनेक्टर शामिल है। डिजाइन कैमरा व भौतिक समझ के ऑटोरेग्रेसिव हिस्से को डिफ्यूजन-आधारित मल्टी-व्यू RGB-D जनरेशन से अलग रखता है, लेकिन दोनों को एक ही सिस्टम में जोड़ता है। 5
रिलीज में तीन चेकपॉइंट सूचीबद्ध हैं:
- Puffin-World-Base: Qwen2.5-7B, C-RADIOv3-H और SD3.5-medium;
- Puffin-World-Pro: Qwen2.5-1.5B, C-RADIOv4-H और SD3.5-large;
- Puffin-World-Caption: Qwen3.5-0.8B और C-RADIOv3-H; इसका फोकस physical-caption और कैमरा समझ पर है।
पब्लिक रिलीज में कोड, ट्रेनिंग और मूल्यांकन मार्गदर्शन, डेटासेट-निर्माण दस्तावेज़, मॉडल और डेटासेट शामिल हैं। 5
Puffin-16M: बड़े पैमाने पर कैमरा-सचेत डेटा
Puffin-16M को दो पूरक भागों में फैले लगभग 1.65 करोड़ नमूनों का डेटासेट बताया गया है। 14
Puffin-Cam-15M में करीब 1.5 करोड़ विज़न-लैंग्वेज-कैमरा ट्रिपलेट हैं, जिन्हें लगभग 9 लाख पैनोरामा से रेंडर किया गया। रिपोर्ट की गई कैमरा रेंज में रोल और पिच −45° से +45° तक, तथा vertical FoV 20° से 105° तक है। 5
Puffin-Traj-1M में 10 लाख चुनौतीपूर्ण कैमरा ट्रैजेक्टरी जोड़ी गई हैं। उपलब्ध परियोजना सामग्री लंबी ट्रैजेक्टरी, अत्यधिक रोटेशन और पिच, यॉ व रोल समेत मिश्रित गतियों की पुष्टि करती है, लेकिन गति-वर्गों के हिसाब से भरोसेमंद संख्यात्मक विभाजन नहीं देती। 5
11
उपलब्ध सामग्री इनडोर, आउटडोर, वास्तविक और सिंथेटिक इमेजरी के कवरेज का समर्थन करती है, मगर दृश्य-श्रेणियों का सटीक प्रतिशत-वितरण स्थापित नहीं करती। 7
28 सार्वजनिक डेटासेट में कैमरा-पोज़ एनोटेशन
टीम ने Puffin-World का उपयोग 28 सार्वजनिक डेटासेट में absolute roll, pitch और vertical-FoV अनुमान जोड़ने के लिए भी किया—इनमें 22 सिंगल-इमेज और छह क्रमिक या 3D डेटासेट थे। इससे लगभग 4.45 करोड़ कैमरा एनोटेशन बने। पेपर के अनुसार, इन एनोटेशन में अक्सर लगभग समतल कैमरा, सामान्यतः नीचे की ओर झुकी पिच और डेटासेटों के बीच FoV में उल्लेखनीय अंतर दिखाई दिया। 1
यह काम इसलिए अहम है क्योंकि वर्ल्ड मॉडल को सिर्फ दृश्य सामग्री नहीं, कैमरे का संदर्भ भी चाहिए। केवल दो फ्रेमों के बीच की सापेक्ष गति से यह पूरी तरह नहीं बताया जा सकता कि कैमरा गुरुत्व या साझा वर्ल्ड फ्रेम के मुकाबले किस दिशा में है।
बेंचमार्क में रिपोर्ट किए गए नतीजे
परियोजना के मुताबिक Stanford2D3D, MegaDepth, TartanAir और LaMAR पर 12 में से सभी तुलनाओं में इसकी मीडियन त्रुटि सबसे कम रही। AUC के 36 रिपोर्टेड मेट्रिक में से 33 में—टाई शामिल करने पर—यह सबसे आगे रहा। ये लेखक-रिपोर्टेड नतीजे हैं; दी गई स्रोत-सामग्री में इनका स्वतंत्र पुनरुत्पादन उपलब्ध नहीं है। 5
चुनिंदा आंकड़े:
- Stanford2D3D: 0.29° मीडियन रोल त्रुटि, 0.53° पिच त्रुटि और 1.62° vertical-FoV त्रुटि।
- रोल त्रुटि: MegaDepth पर 0.28°, TartanAir पर 0.31° और LaMAR पर 0.26°।
- RealEstate10K वर्ल्ड मॉडलिंग: 17.22 PSNR और 0.318 LPIPS।
- गुरुत्व-प्रसार एब्लेशन: PSNR 19.87 से बढ़कर 20.54 हुआ और LPIPS 0.23 से घटकर 0.21; रिपोर्ट के अनुसार रोल और पिच त्रुटियों में भी सुधार हुआ।
- चुनौतीपूर्ण ट्रैजेक्टरी बेंचमार्क: 0.80° मीडियन रोल त्रुटि और 1.10° मीडियन पिच त्रुटि।
रिलीज अपने Puffin-Cam-Bench पर up-vector, latitude और gravity के लिए कम त्रुटि वाले कैमरा-कंट्रोल नतीजे भी बताती है। एक अलग परियोजना-सारांश में 1.32° gravity-error दिया गया है, जबकि README अलग gravity मेट्रिक बताता है। उपलब्ध स्रोत मूल्यांकन की परिभाषाएं इतनी स्पष्ट नहीं करते कि इन दोनों मानों की सीधी तुलना की जा सके। 4
5
इसकी सीमाएं क्या हैं?
Puffin-World में “physics” का अर्थ मुख्यतः गुरुत्व और अक्षांश का प्रतिनिधित्व है; यह संपूर्ण भौतिक सिम्युलेटर नहीं है। रिलीज का केंद्र अधिकतर स्थिर दृश्य हैं और यह वस्तुओं के परस्पर प्रभाव, गतिशील वातावरण या बहुत लंबे समय के बदलावों की पूरी मॉडलिंग का दावा नहीं करती। 5
इसलिए Puffin-World को स्थानिक और भौतिक संदर्भ वाले विज़ुअल वर्ल्ड मॉडलिंग की दिशा में एक महत्वपूर्ण कदम समझना उचित है—हर बदलती भौतिक प्रक्रिया का सामान्य-उद्देश्य सिम्युलेटर नहीं।
Studio Global AI
अपना शोध जारी रखें
इस पृष्ठ में एक स्रोत-समर्थित उत्तर शामिल है जिसे आप Studio Global के अंदर जारी रख सकते हैं।
लोग पूछते भी हैं
"Puffin-World: गुरुत्व, 3D ज्यामिति और RGB को एक मॉडल में जोड़ने की कोशिश" का संक्षिप्त उत्तर क्या है?
Puffin World केवल RGB वीडियो पिक्सल नहीं बनाता; यह गुरुत्व संदर्भित भौतिक स्थिति, डेप्थ और RGB रूप रंग को एक साथ मॉडल करता है।
सबसे पहले सत्यापित करने योग्य मुख्य बिंदु क्या हैं?
Puffin World केवल RGB वीडियो पिक्सल नहीं बनाता; यह गुरुत्व संदर्भित भौतिक स्थिति, डेप्थ और RGB रूप रंग को एक साथ मॉडल करता है। ओपन रिलीज में कोड, तीन चेकपॉइंट और Puffin 16M डेटासेट शामिल हैं—करीब 1.5 करोड़ विज़न लैंग्वेज कैमरा ट्रिपलेट और 10 लाख चुनौतीपूर्ण कैमरा ट्रैजेक्टरी।
मुझे अभ्यास में आगे क्या करना चाहिए?
लेखकों के रिपोर्ट किए नतीजों में Stanford2D3D पर 0.29° रोल, 0.53° पिच और 1.62° वर्टिकल FoV की मीडियन त्रुटियां शामिल हैं।
सूत्र
kangliao929.github.ioPuffin-World · Scaling with Native 3D World States