Puffin-World: Yerçekimi, Geometri ve Görünümü Bir Arada Modelleyen Açık 3B Dünya Modeli

Puffin-World, ACE Robotics, Nanyang Teknoloji Üniversitesi (NTU) S-Lab, Beijing Jiaotong University ve University of Michigan bağlantılı araştırmacıların geliştirdiği açık kaynaklı çok modlu bir dünya modeli. Sistem, bir sahneyi yalnızca RGB piksel dizisi olarak değil; birbiriyle ilişkili üç durum üzerinden ele alıyor: fizik, geometri ve görünüm. Böylece yapay zekânın kameranın yerçekimine göre konumunu anlaması, denetlenebilir yeni bakış açıları üretmesi ve RGB-D sahneleri tek çerçevede yeniden kurması hedefleniyor. 15

Temel fark: Sadece ikna edici görüntü üretmek değil

Üretken modeller gerçekçi görünen görüntüler üretebilir. Ancak kamera açısı değiştikçe ufkun sabit kalması, kameranın duruşunun tutarlı olması ve sahnenin 3B yapısının korunması ayrı bir problemdir. Puffin-World bu nedenle şu üç bileşeni açık biçimde temsil ediyor:

• Fizik: Yerçekimi yönü ve enlem;
• Geometri: Yoğun derinlik bilgisi;
• Görünüm: RGB görüntü. 15

Bu yaklaşım modeli kamera merkezli hâle getiriyor: Sistem yalnızca “sahne nasıl görünüyor?” sorusunu değil, kameranın yerçekimine göre nasıl yöneldiğini ve sahne içinde hangi hareketle yeni bir görüntü elde edilebileceğini de ele alıyor.

9 kanallı Omni-Camera nasıl çalışıyor?

Puffin-World’ün ana koşullandırma temsili Omni-Camera adını taşıyor. Bu 9 kanallı yoğun kamera koşulu, yerçekimi farkındalığı olan mutlak perspektif alanını ışın tabanlı göreli geometriyle birleştiriyor. İki bileşenin işlevi farklı: 5

• Mutlak perspektif alanı, kamerayı yerçekimine göre yönü de içeren fiziksel bir referans çerçevesine sabitliyor.
• Göreli geometri, bakış açıları arasındaki kamera dönüşünü, ötelemeyi, iç parametreleri ve birleşik hareketleri kodluyor.

Model, referans görüntüden çıkardığı yerçekimi bilgisini istenen kamera rotası boyunca taşıyor. Amaç, ardışık üretilen bakış açılarında fiziksel referans çerçevesini tutarlı tutmak ve ufuk ya da yerçekimi yönündeki kaymayı azaltmak. 56

Puffin-World neler yapabiliyor?

Proje, genellikle ayrı sistemler gerektiren birkaç görevi aynı çatı altında topluyor.

Tek görüntüden kamera pozu çıkarımı

Anlama dalı, tek bir görüntüden mutlak roll (yan yatış), pitch (yukarı-aşağı eğim) ve dikey görüş alanını (vertical FoV) tahmin ediyor. Bu çıktılar, modelin kamera temsilinde kullanılan yerçekimi ve perspektif alanlarına dönüştürülebiliyor. 5

Denetlenebilir serbest bakış açısı üretimi

Puffin-World, metin ile kamera kontrolü verildiğinde ya da bir girdi görseli ile belirli kamera rotası sağlandığında yeni bakış açıları üretebiliyor. Kontroller; yön değişimi, öteleme, kamera iç parametreleri ve roll, pitch, yaw içeren birleşik hareketleri kapsıyor. 5

RGB-D üretimi ve 3B sahne rekonstrüksiyonu

Model yalnızca renk üretmiyor; rota boyunca RGB ile derinliği ortaklaşa oluşturuyor. Ardından bu RGB-D çıktıları, ayrı bir çevrimdışı geometri hattına devredilmeden renkli 3B nokta bulutunda birleştirilebiliyor. 5

Kapalı döngü keşif desteği

Açık sürümde taklit keşif (mimic-exploration) ve öz-kalibrasyon demoları bulunuyor. Dokümantasyon, yerçekimi farkındalığı olan çerçevenin üretilen rotaları yeniden sabitleyerek biriken poz tutarsızlığını sınırlamaya yardımcı olduğunu belirtiyor. Bununla birlikte, kamuya açık materyaller kayma düzeltme algoritmasının tüm ayrıntılarını vermiyor; dolayısıyla bu nokta, kontrol döngüsünün eksiksiz teknik açıklamasından çok gösterilmiş bir yetenek olarak değerlendirilmelidir. 56

Mimari: Anlama katmanı ile difüzyon tabanlı üretim birlikte

Puffin-World; geometriye hizalı bir C-RADIO görsel kodlayıcıyı, Qwen dil modelini, SD3.5 difüzyon üretecini ve hafif bir bağlayıcıyı bir araya getiriyor. Tasarım, otoregresif kamera/fizik anlayışını difüzyon tabanlı çoklu bakış açısı RGB-D üretiminden ayırırken bunları tek bir sistemde tutuyor. 5

Yayın üç kontrol noktası listeliyor:

• Puffin-World-Base: Qwen2.5-7B, C-RADIOv3-H ve SD3.5-medium;
• Puffin-World-Pro: Qwen2.5-1.5B, C-RADIOv4-H ve SD3.5-large;
• Puffin-World-Caption: Fiziksel açıklama ve kamera anlayışına odaklanan Qwen3.5-0.8B ile C-RADIOv3-H. 5

Açık sürümde kod, eğitim ve değerlendirme rehberleri, veri seti oluşturma dokümantasyonu, modeller ve veri setleri de yer alıyor. 5

Puffin-16M: Büyük ölçekli, kamera farkındalığı olan veri

Puffin-16M, iki tamamlayıcı bölümde yaklaşık 16,5 milyon örnek içeren veri seti olarak tanımlanıyor. 14

Puffin-Cam-15M, yaklaşık 900 bin panoramadan işlenen yaklaşık 15 milyon görüntü-dil-kamera üçlüsünü içeriyor. Bildirilen aralıkta roll ve pitch −45° ile +45° arasında, dikey görüş alanı ise 20° ile 105° arasında değişiyor. 5

Puffin-Traj-1M ise 1 milyon zorlu kamera rotası ekliyor. Proje materyalleri uzun rotaları, aşırı dönüşleri ve pitch, yaw, roll içeren birleşik hareketleri doğruluyor; ancak hareket türlerine göre güvenilir sayısal dağılım sunmuyor. 511

Sunulan kaynaklar, iç ve dış mekânlar ile gerçek ve sentetik görüntülerde kapsama işaret ediyor; ancak sahne kategorilerinin kesin oranlarını ortaya koymuyor. 7

28 veri seti için geniş çaplı kamera pozu etiketlemesi

Ekip, Puffin-World’ü 28 açık veri setine mutlak roll, pitch ve dikey FoV tahminleri eklemek için de kullandı. Bunların 22’si tek görüntü, altısı ise ardışık veya 3B veri seti; toplamda yaklaşık 44,5 milyon kamera etiketi üretildi. Makaleye göre bu etiketler, veri setlerinde yaygın olan yatay kamera eğilimini, genelde aşağı bakan pitch değerlerini ve önemli FoV farklılıklarını gösteriyor. 1

Bu çalışma önemli; çünkü dünya modellerinin yalnızca sahne içeriğine değil, kameranın bağlamına da ihtiyacı var. Göreli hareket bilgisi tek başına, kameranın yerçekimine veya ortak bir dünya referansına göre yönünü bütünüyle tanımlamıyor.

Bildirilen kıyaslama sonuçları

Proje ekibi; Stanford2D3D, MegaDepth, TartanAir ve LaMAR üzerinde 12 karşılaştırmanın tamamında en iyi medyan hatayı, beraberlikler dâhil 36 metriğin 33’ünde de en iyi AUC sonucunu bildirdi. Bunlar yazarların açıkladığı sonuçlardır; sağlanan kaynaklarda bağımsız yeniden üretim bulunmuyor. 5

Öne çıkan bildirilen değerler şöyle:

• Stanford2D3D: 0,29° medyan roll hatası, 0,53° pitch hatası ve 1,62° dikey FoV hatası. 15
• Roll hatası: MegaDepth’te 0,28°, TartanAir’de 0,31°, LaMAR’da 0,26°. 15
• RealEstate10K dünya modelleme: 17,22 PSNR ve 0,318 LPIPS. 5
• Yerçekimi yayılımı ablasyonu: PSNR 19,87’den 20,54’e çıkarken LPIPS 0,23’ten 0,21’e indi; bildirilen roll ve pitch hataları da iyileşti. 5
• Zorlu rota kıyaslaması: 0,80° medyan roll ve 1,10° medyan pitch hatası. 5

Yayın ayrıca Puffin-Cam-Bench üzerinde yukarı yön vektörü, enlem ve yerçekimi için düşük hatalı kamera kontrol sonuçları bildiriyor. Ayrı bir proje özeti 1,32° yerçekimi hatası verirken README farklı bir yerçekimi metriği raporluyor. Eldeki kaynaklar değerlendirme tanımlarını değerlerin doğrudan karşılaştırılmasına yetecek açıklıkta sunmuyor. 45

Sınırlar: Tam kapsamlı bir fizik simülatörü değil

Puffin-World’deki “fizik” temsili esas olarak yerçekimi ve enlemden oluşuyor; sistem tam kapsamlı bir fizik simülatörü değil. Yayın ağırlıklı olarak durağan sahnelere odaklanıyor ve nesne etkileşimleri, hareketli ortamlar veya uzun zaman ufuklu dinamiklerin bütünüyle modellendiği iddiasında bulunmuyor. 5

Bu nedenle Puffin-World, değişen fiziksel süreçlerin tümünü simüle eden genel amaçlı bir sistemden ziyade, uzamsal ve fiziksel olarak daha iyi temellendirilmiş görsel dünya modellemeye doğru güçlü bir adım olarak görülmeli.