AnswersPublished16 sources
Puffin-World: Model Dunia 3D Terbuka Berasaskan Graviti, Geometri dan RGB
Puffin World ialah model dunia berpusatkan kamera yang memodelkan fizik peka graviti, kedalaman 3D dan rupa RGB secara bersama, bukan hanya meramal piksel video. Keluaran awamnya merangkumi kod, tiga checkpoint serta data Puffin 16M: kira kira 15 juta triplet visual bahasa kamera dan 1 juta trajektori mencabar.
Diterbitkan olehDisunting dengan GPT-5.6 TerraImej dijana dengan GPT Image 2
Research answer
Key takeaways
- Puffin World ialah model dunia berpusatkan kamera yang memodelkan fizik peka graviti, kedalaman 3D dan rupa RGB secara bersama, bukan hanya meramal piksel video.
- Keluaran awamnya merangkumi kod, tiga checkpoint serta data Puffin 16M: kira kira 15 juta triplet visual bahasa kamera dan 1 juta trajektori mencabar.
- Menurut keputusan yang dilaporkan penulis, model ini mencatat ralat median 0.29° untuk roll, 0.53° untuk pitch dan 1.62° untuk medan pandangan menegak pada Stanford2D3D.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Puffin-World, the open-source multimodal world model developed by ACE Robotics, NTU S-Lab, Beijing Jiaotong University, and the Univ. Article summary: Puffin-World is an open-source, camera-centric multimodal world model that treats a world not merely as RGB video, but as three jointly modeled native states: gravity-aware physics, dense 3D geometry, and visual appearan. Topic tags: general, academic, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake num
Puffin-World ialah model dunia multimodal sumber terbuka daripada penyelidik yang bersekutu dengan ACE Robotics, S-Lab Universiti Teknologi Nanyang (NTU), Beijing Jiaotong University dan University of Michigan. Idea utamanya ialah memodelkan dunia 3D melalui tiga keadaan yang saling berkaitan—fizik, geometri dan rupa—agar sistem AI dapat memahami orientasi kamera, menjana pandangan baharu yang dikawal, serta membina semula adegan RGB-D dalam satu kerangka. 1
5
Bukan sekadar video RGB yang nampak realistik
Sistem generatif boleh menghasilkan imej yang kelihatan munasabah, tetapi itu tidak semestinya bermakna ufuk, pose kamera atau struktur 3D kekal stabil apabila sudut pandangan berubah. Puffin-World mewakili secara jelas:
Pendekatan ini menjadikannya model dunia yang berpusat pada kamera. Model bukan hanya perlu memahami rupa sesuatu adegan, malah kedudukan dan orientasi kamera berbanding graviti, serta bagaimana kamera itu boleh bergerak dalam adegan berkenaan.
Omni-Camera: keadaan kamera padat dengan 9 saluran
Representasi kawalan utama Puffin-World dipanggil Omni-Camera. Ia menggabungkan medan perspektif mutlak yang peka graviti dengan geometri relatif berasaskan sinar, dalam keadaan kamera padat 9 saluran. Secara praktikal, kedua-dua komponen ini memainkan peranan berbeza: 5
- Medan perspektif mutlak menambat kamera pada rangka rujukan fizikal, termasuk orientasinya relatif kepada graviti.
- Geometri relatif mengekod putaran, translasi, parameter dalaman kamera (intrinsics) dan gerakan gabungan antara pandangan.
Model ini menyebarkan maklumat graviti yang diinferens daripada pandangan rujukan sepanjang trajektori yang diminta. Tujuannya adalah untuk memastikan pandangan yang dijana kekal dalam rangka fizikal yang konsisten dan mengurangkan hanyutan graviti atau ufuk yang boleh muncul apabila pandangan dijana secara berurutan. 5
6
Keupayaan yang dibawa oleh Puffin-World
Projek ini menghimpunkan beberapa tugas yang lazimnya dipisahkan kepada satu kerangka.
Menganggar pose kamera daripada satu imej
Daripada satu imej, cabang pemahaman model meramal roll, pitch dan medan pandangan menegak (vertical field of view, FoV) mutlak. Anggaran ini kemudian boleh ditukar kepada medan graviti dan perspektif yang digunakan oleh representasi kameranya. 5
Menjana trajektori pandangan bebas yang boleh dikawal
Puffin-World boleh menjana pandangan daripada teks bersama kawalan kamera, atau daripada imej input bersama trajektori kamera yang ditentukan. Kawalannya meliputi perubahan orientasi, translasi, intrinsics dan gerakan gabungan, termasuk roll, pitch dan yaw. 5
Menjana RGB-D dan membina semula adegan
Model ini tidak menjana warna sahaja. Ia menghasilkan RGB dan kedalaman secara bersama di sepanjang trajektori, kemudian menyatukan output RGB-D tersebut menjadi awan titik 3D berwarna. Ini dilakukan tanpa menyerahkan pembinaan semula kepada saluran geometri luar talian yang berasingan. 5
Menyokong penerokaan gelung tertutup
Keluaran awam turut menyediakan demonstrasi penerokaan tiruan (mimic exploration) dan kalibrasi kendiri. Dokumentasi menerangkan rangka peka graviti sebagai cara untuk menambat semula trajektori yang dijana dan mengehadkan ketidakselarasan pose terkumpul. Namun, bahan awam yang dibekalkan tidak menghuraikan sepenuhnya algoritma pembetulan hanyutan; jadi, ini lebih tepat difahami sebagai keupayaan yang didemonstrasikan, bukannya penerangan lengkap tentang gelung kawalannya. 5
6
Seni bina: pemahaman dan penjanaan difusi
Puffin-World menggabungkan pengekod penglihatan C-RADIO yang sejajar dengan geometri, model bahasa Qwen, penjana difusi SD3.5, serta penyambung ringan. Reka bentuk ini memisahkan pemahaman autoregresif tentang kamera dan keadaan fizikal daripada penjanaan RGB-D berbilang pandangan berasaskan difusi, sambil mengekalkannya dalam satu sistem. 5
Keluaran tersebut menyenaraikan tiga checkpoint:
- Puffin-World-Base: Qwen2.5-7B, C-RADIOv3-H dan SD3.5-medium;
- Puffin-World-Pro: Qwen2.5-1.5B, C-RADIOv4-H dan SD3.5-large; dan
- Puffin-World-Caption: Qwen3.5-0.8B dan C-RADIOv3-H, dengan fokus pada kapsyen fizikal dan pemahaman kamera.
5
Kod, panduan latihan dan penilaian, dokumentasi pembinaan data, model serta set data disertakan dalam keluaran awam. 5
Puffin-16M: data kamera pada skala besar
Puffin-16M diterangkan sebagai sekitar 16.5 juta sampel yang dibahagikan kepada dua komponen saling melengkapi. 14
Puffin-Cam-15M mengandungi kira-kira 15 juta triplet visual-bahasa-kamera yang dirender daripada lebih kurang 900,000 panorama. Julat kamera yang dilaporkan merangkumi roll dan pitch daripada −45° hingga +45°, manakala FoV menegak antara 20° hingga 105°. 5
Puffin-Traj-1M menambah 1 juta trajektori kamera yang mencabar. Bahan projek menyatakan adanya trajektori panjang, putaran ekstrem dan tindakan gabungan termasuk pitch, yaw dan roll, tetapi tidak memberikan pecahan angka yang boleh dipercayai bagi setiap jenis gerakan. 5
11
Bahan yang dibekalkan menyokong bahawa liputan data merentasi imejan dalaman, luaran, sebenar dan sintetik. Namun, ia tidak menetapkan agihan kategori adegan yang tepat. 7
Usaha anotasi pose kamera berskala besar
Pasukan ini turut menggunakan Puffin-World untuk menambah anggaran roll, pitch dan FoV menegak mutlak kepada 28 set data awam—22 set data imej tunggal serta enam set data berjujukan atau 3D—lalu menghasilkan kira-kira 44.5 juta anotasi kamera. Kertas kajian melaporkan bahawa anotasi ini menunjukkan bias kamera aras yang lazim, pitch yang umumnya menghala ke bawah, serta variasi FoV yang ketara merentas set data. 1
Kerja anotasi ini penting kerana model dunia memerlukan bukan sahaja kandungan adegan, tetapi juga konteks kamera. Gerakan relatif semata-mata tidak cukup untuk menerangkan orientasi kamera terhadap graviti atau satu rangka dunia yang dikongsi.
Keputusan penanda aras yang dilaporkan
Projek ini melaporkan ralat median terbaik dalam kesemua 12 perbandingan merentas Stanford2D3D, MegaDepth, TartanAir dan LaMAR, serta AUC terbaik dalam 33 daripada 36 metrik yang dilaporkan apabila keputusan seri diambil kira. Angka ini dilaporkan oleh penulis dan belum disahkan semula secara bebas dalam sumber yang dibekalkan. 5
Antara angka yang dilaporkan:
- Stanford2D3D: ralat median roll 0.29°, pitch 0.53° dan FoV menegak 1.62°.
1
- Ralat roll: 0.28° pada MegaDepth, 0.31° pada TartanAir dan 0.26° pada LaMAR.
- Pemodelan dunia RealEstate10K: 17.22 PSNR dan 0.318 LPIPS.
- Ablasi perambatan graviti: PSNR meningkat daripada 19.87 kepada 20.54, manakala LPIPS turun daripada 0.23 kepada 0.21; ralat roll dan pitch yang dilaporkan juga bertambah baik.
- Penanda aras trajektori mencabar: ralat median roll 0.80° dan pitch 1.10°.
Keluaran itu juga melaporkan keputusan kawalan kamera yang kukuh pada Puffin-Cam-Bench, termasuk ralat rendah bagi vektor atas, latitud dan graviti. Ringkasan projek berasingan menyebut ralat graviti 1.32°, sedangkan README melaporkan metrik graviti yang berbeza; sumber yang ada tidak menerangkan takrif penilaian dengan cukup jelas untuk menganggap kedua-dua nilai itu boleh dibandingkan secara langsung. 4
5
Batasan yang perlu difahami
Representasi “fizik” Puffin-World pada asasnya meliputi graviti dan latitud, bukannya simulator fizik lengkap. Keluaran ini tertumpu terutamanya pada adegan statik dan tidak mendakwa memodelkan sepenuhnya interaksi objek, persekitaran bergerak atau dinamik jangka panjang. 5
Justeru, Puffin-World lebih sesuai dilihat sebagai langkah besar ke arah pemodelan dunia visual yang berpijak pada ruang dan fizik—bukan lagi simulator umum untuk setiap proses fizikal yang berubah-ubah.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Puffin-World: Model Dunia 3D Terbuka Berasaskan Graviti, Geometri dan RGB"?
Puffin World ialah model dunia berpusatkan kamera yang memodelkan fizik peka graviti, kedalaman 3D dan rupa RGB secara bersama, bukan hanya meramal piksel video.
What are the key points to validate first?
Puffin World ialah model dunia berpusatkan kamera yang memodelkan fizik peka graviti, kedalaman 3D dan rupa RGB secara bersama, bukan hanya meramal piksel video. Keluaran awamnya merangkumi kod, tiga checkpoint serta data Puffin 16M: kira kira 15 juta triplet visual bahasa kamera dan 1 juta trajektori mencabar.
What should I do next in practice?
Menurut keputusan yang dilaporkan penulis, model ini mencatat ralat median 0.29° untuk roll, 0.53° untuk pitch dan 1.62° untuk medan pandangan menegak pada Stanford2D3D.
Sources
kangliao929.github.ioPuffin-World · Scaling with Native 3D World States