Puffin-World: Model 3D Terbuka yang Menyatukan Gravitasi, Kedalaman, dan RGB

Puffin-World adalah model dunia multimodal open-source dari peneliti yang berafiliasi dengan ACE Robotics, S-Lab di Nanyang Technological University (NTU), Beijing Jiaotong University, dan University of Michigan. Gagasan utamanya adalah memodelkan dunia 3D lewat tiga keadaan yang saling terhubung: fisika, geometri, dan tampilan. Dengan begitu, sistem AI tidak hanya menghasilkan gambar yang tampak masuk akal, tetapi juga dapat menalar orientasi kamera, membuat sudut pandang baru yang terkontrol, serta membangun ulang adegan RGB-D dalam satu kerangka kerja. 15

Bukan sekadar menghasilkan video RGB

Model generatif dapat membuat gambar yang meyakinkan, tetapi gambar yang bagus belum tentu menjaga posisi horizon, pose kamera, atau struktur 3D ketika sudut pandang berubah. Puffin-World secara eksplisit merepresentasikan:

• Fisika: arah gravitasi dan latitude;
• Geometri: peta kedalaman (depth) padat;
• Tampilan: citra RGB. 15

Artinya, ini adalah model dunia yang berpusat pada kamera. Model tidak hanya diminta memahami seperti apa sebuah adegan terlihat, tetapi juga bagaimana kamera berorientasi terhadap gravitasi dan bagaimana kamera tersebut dapat bergerak di dalam adegan.

Omni-Camera: representasi 9 kanal untuk kondisi kamera

Komponen kunci Puffin-World disebut Omni-Camera. Ini adalah kondisi kamera padat 9 kanal yang menggabungkan medan perspektif absolut berbasis gravitasi dengan geometri relatif berbasis sinar. Kedua bagian itu menjalankan fungsi berbeda: 5

• Medan perspektif absolut menambatkan kamera pada kerangka fisik, termasuk orientasinya terhadap gravitasi.
• Geometri relatif mengodekan rotasi, translasi, parameter intrinsik kamera, serta gerak gabungan antarsudut pandang.

Model meneruskan informasi gravitasi yang diperkirakan dari satu tampilan referensi ke sepanjang lintasan kamera yang diminta. Tujuannya adalah menjaga semua tampilan hasil generasi berada dalam kerangka fisik yang konsisten, sehingga penyimpangan arah gravitasi atau horizon saat pandangan dibuat berurutan dapat dikurangi. 56

Apa yang dapat dilakukan Puffin-World?

Proyek ini menyatukan sejumlah tugas yang sebelumnya umumnya dipisahkan ke dalam sistem berbeda.

Menaksir pose kamera dari satu gambar

Dari satu gambar, cabang pemahaman model memprediksi roll, pitch, dan bidang pandang vertikal atau vertical field of view (FoV) secara absolut. Estimasi ini dapat dikonversi menjadi medan gravitasi dan perspektif yang dipakai oleh representasi kameranya. 5

Membuat lintasan sudut pandang bebas yang terkontrol

Puffin-World dapat menghasilkan tampilan berdasarkan teks dan kontrol kamera, atau berdasarkan gambar masukan serta lintasan kamera tertentu. Kontrolnya mencakup perubahan orientasi, translasi, parameter intrinsik, dan gerakan gabungan, termasuk roll, pitch, serta yaw. 5

Menghasilkan RGB-D dan merekonstruksi adegan

Alih-alih hanya membuat warna RGB, model menghasilkan RGB dan kedalaman secara bersama-sama sepanjang lintasan. Keluaran RGB-D ini kemudian dapat digabungkan menjadi point cloud 3D berwarna, tanpa menyerahkan rekonstruksi ke pipeline geometri offline yang terpisah. 5

Mendukung eksplorasi loop tertutup

Rilis publiknya menyertakan demonstrasi mimic exploration dan kalibrasi mandiri. Dokumentasi menjelaskan bahwa kerangka berbasis gravitasi digunakan untuk menambatkan kembali lintasan hasil generasi dan membatasi inkonsistensi pose yang terakumulasi. Namun, materi publik yang tersedia belum merinci algoritme koreksi drift secara lengkap. Karena itu, fitur ini lebih tepat dipahami sebagai kemampuan yang didemonstrasikan, bukan penjelasan menyeluruh tentang mekanisme loop kontrolnya. 56

Arsitektur: pemahaman kamera bertemu generasi difusi

Puffin-World menggabungkan encoder visi C-RADIO yang selaras dengan geometri, model bahasa Qwen, generator difusi SD3.5, dan konektor ringan. Rancangannya memisahkan pemahaman kamera serta fisika secara autoregresif dari generasi RGB-D multi-tampilan berbasis difusi, sambil tetap mempertahankan keduanya dalam satu sistem terpadu. 5

Rilis ini mencantumkan tiga checkpoint:

• Puffin-World-Base: Qwen2.5-7B, C-RADIOv3-H, dan SD3.5-medium;
• Puffin-World-Pro: Qwen2.5-1.5B, C-RADIOv4-H, dan SD3.5-large; serta
• Puffin-World-Caption: Qwen3.5-0.8B dan C-RADIOv3-H, dengan fokus pada physical caption dan pemahaman kamera. 5

Kode, panduan pelatihan dan evaluasi, dokumentasi penyusunan dataset, model, serta dataset tersedia dalam rilis publik. 5

Puffin-16M: data skala besar yang memahami kamera

Puffin-16M dijelaskan memiliki sekitar 16,5 juta sampel yang terbagi ke dalam dua komponen pelengkap. 14

Puffin-Cam-15M memuat sekitar 15 juta triplet visi-bahasa-kamera yang dirender dari kurang lebih 900.000 panorama. Rentang kameranya mencakup roll dan pitch dari −45° hingga +45°, dengan FoV vertikal dari 20° sampai 105°. 5

Puffin-Traj-1M menambahkan 1 juta lintasan kamera yang menantang. Materi proyek menyebut lintasan panjang, rotasi ekstrem, dan aksi gabungan—meliputi pitch, yaw, dan roll—tetapi tidak menyediakan rincian angka yang dapat diandalkan untuk setiap kelas gerakan. 511

Sumber yang tersedia mendukung klaim bahwa data mencakup citra dalam ruang, luar ruang, nyata, dan sintetis. Namun, sumber tersebut tidak menetapkan distribusi kategori adegan secara presisi. 7

Menambahkan puluhan juta anotasi pose kamera

Tim juga menggunakan Puffin-World untuk menambahkan estimasi roll, pitch, dan FoV vertikal absolut ke 28 dataset publik: 22 dataset gambar tunggal serta enam dataset berurutan atau 3D. Totalnya menghasilkan sekitar 44,5 juta anotasi kamera. Makalahnya melaporkan bahwa anotasi tersebut memperlihatkan kecenderungan bias kamera yang sejajar, pitch yang umumnya mengarah ke bawah, serta variasi FoV yang besar di berbagai dataset. 1

Pekerjaan anotasi ini penting karena model dunia membutuhkan konteks adegan sekaligus konteks kamera. Gerakan relatif saja tidak cukup untuk menjelaskan secara utuh bagaimana kamera berorientasi terhadap gravitasi atau terhadap satu kerangka dunia yang sama.

Hasil benchmark yang dilaporkan

Proyek ini melaporkan galat median terbaik pada seluruh 12 perbandingan di Stanford2D3D, MegaDepth, TartanAir, dan LaMAR, serta AUC terbaik dalam 33 dari 36 metrik yang dilaporkan bila hasil seri ikut dihitung. Hasil tersebut merupakan laporan penulis dan belum direproduksi secara independen dalam sumber yang tersedia. 5

Beberapa angka yang dilaporkan antara lain:

• Stanford2D3D: galat median roll 0,29°, pitch 0,53°, dan FoV vertikal 1,62°. 15
• Galat roll: 0,28° pada MegaDepth, 0,31° pada TartanAir, dan 0,26° pada LaMAR. 15
• Pemodelan dunia RealEstate10K: 17,22 PSNR dan 0,318 LPIPS. 5
• Ablasi propagasi gravitasi: PSNR naik dari 19,87 menjadi 20,54, sementara LPIPS turun dari 0,23 menjadi 0,21; galat roll dan pitch yang dilaporkan juga membaik. 5
• Benchmark lintasan menantang: galat median roll 0,80° dan pitch 1,10°. 5

Rilis ini juga mengklaim hasil kontrol kamera yang kuat pada Puffin-Cam-Bench, termasuk galat rendah untuk vektor atas, latitude, dan gravitasi. Ringkasan proyek terpisah menyebut galat gravitasi 1,32°, sedangkan README melaporkan metrik gravitasi yang berbeda. Definisi evaluasinya tidak cukup jelas dalam sumber yang tersedia untuk memperlakukan angka-angka tersebut sebagai perbandingan langsung. 45

Batasannya: belum menjadi simulator fisika lengkap

Representasi “fisika” pada Puffin-World terutama merujuk pada gravitasi dan latitude, bukan simulator fisika lengkap. Rilisnya berfokus terutama pada adegan statis dan tidak mengklaim pemodelan penuh untuk interaksi objek, lingkungan yang bergerak, atau dinamika jangka panjang. 5

Karena itu, Puffin-World paling tepat dipandang sebagai langkah penting menuju model dunia visual yang lebih memahami ruang dan berlandaskan fisika—bukan simulator serbaguna untuk seluruh proses fisik yang berubah dari waktu ke waktu.