Puffin-World: jeden model do rozumienia i generowania świata 3D

Puffin-World to otwarty, multimodalny model świata 3D przygotowany przez badaczy związanych z ACE Robotics, S-Lab na Nanyang Technological University, Beijing Jiaotong University i University of Michigan. Zamiast traktować scenę wyłącznie jako kolejne klatki RGB, model łączy trzy wzajemnie powiązane stany: fizykę, geometrię i wygląd. Ma to pomóc systemowi AI rozumieć orientację kamery, tworzyć kontrolowane ujęcia z nowych punktów widzenia oraz odtwarzać sceny RGB-D w jednym środowisku. 15

Nie tylko wiarygodny obraz

Model generatywny może stworzyć przekonujący pojedynczy kadr, ale nie oznacza to jeszcze, że przy zmianie punktu widzenia zachowa stabilny horyzont, pozycję kamery i spójną strukturę 3D. W Puffin-World te elementy są reprezentowane wprost:

• fizyka: kierunek grawitacji i szerokość geograficzna;
• geometria: gęsta mapa głębi;
• wygląd: obraz RGB. 15

To model zorientowany na kamerę. Ma określać nie tylko, jak wygląda scena, lecz także jak kamera jest ustawiona względem grawitacji i jak zmieni się obserwacja, gdy kamera wykona zadany ruch.

Omni-Camera: 9 kanałów informacji o kamerze

Kluczową reprezentacją warunkującą model jest Omni-Camera — gęsty, 9-kanałowy opis kamery. Łączy on dwa typy danych: bezwzględne pole perspektywy uwzględniające grawitację oraz względną geometrię opartą na promieniach. 5

• Bezwzględne pole perspektywy zakotwicza kamerę w fizycznym układzie odniesienia, między innymi przez jej orientację względem grawitacji.
• Względna geometria opisuje obrót, przesunięcie, parametry wewnętrzne kamery oraz ruchy złożone między punktami obserwacji.

Model przenosi kierunek grawitacji wywnioskowany z widoku referencyjnego wzdłuż żądanej trajektorii kamery. Według autorów ma to utrzymywać generowane obserwacje w jednym spójnym układzie fizycznym i ograniczać dryf grawitacji lub horyzontu, który może narastać przy sekwencyjnym generowaniu kolejnych widoków. 56

Co potrafi Puffin-World

Szacowanie pozy kamery z jednego obrazu

Gałąź rozumiejąca model może z pojedynczego obrazu przewidzieć bezwzględne wartości roll (przechylenie), pitch (pochylenie) oraz pionowego pola widzenia (vertical FoV). Następnie szacunki są przekształcane w pola grawitacji i perspektywy wykorzystywane przez reprezentację kamery. 5

Generowanie trajektorii z dowolnego punktu widzenia

Puffin-World może tworzyć widoki na podstawie tekstu i parametrów kamery albo obrazu wejściowego oraz wskazanej trajektorii. Kontrola obejmuje zmianę orientacji, translację, parametrów wewnętrznych kamery i ruchy złożone, w tym roll, pitch i yaw. 5

Generowanie RGB-D i rekonstrukcja sceny

Model nie ogranicza się do koloru: wspólnie generuje RGB i głębię na całej trajektorii. Z wyjść RGB-D można następnie złożyć kolorową chmurę punktów 3D, bez przekazywania rekonstrukcji do osobnego, offline’owego potoku geometrii. 5

Eksploracja w pętli zamkniętej

Publiczne materiały zawierają demonstracje eksploracji naśladującej oraz samokalibracji. Dokumentacja opisuje układ odniesienia związany z grawitacją jako sposób na ponowne zakotwiczenie trajektorii i ograniczanie narastającej niespójności pozy. Udostępnione materiały nie wyjaśniają jednak w pełni algorytmu korekcji dryfu, więc należy to traktować jako pokazaną funkcję, a nie kompletny opis pętli sterowania. 56

Architektura: rozumienie plus generowanie dyfuzyjne

Puffin-World łączy dopasowany do geometrii enkoder wizyjny C-RADIO, model językowy Qwen, generator dyfuzyjny SD3.5 i lekki konektor. Projekt rozdziela autoregresyjne rozumienie kamery oraz stanu fizycznego od dyfuzyjnego generowania wielowidokowego RGB-D, utrzymując je zarazem w jednym systemie. 5

Wydanie obejmuje trzy checkpointy:

• Puffin-World-Base: Qwen2.5-7B, C-RADIOv3-H i SD3.5-medium;
• Puffin-World-Pro: Qwen2.5-1.5B, C-RADIOv4-H i SD3.5-large;
• Puffin-World-Caption: Qwen3.5-0.8B i C-RADIOv3-H, przeznaczony do fizycznych opisów i rozumienia kamery. 5

Publiczne wydanie zawiera kod, wskazówki dotyczące trenowania i ewaluacji, dokumentację tworzenia danych, modele oraz zbiory danych. 5

Puffin-16M: dane z informacją o kamerze

Puffin-16M opisano jako zbiór liczący około 16,5 mln próbek, złożony z dwóch uzupełniających się części. 14

Puffin-Cam-15M zawiera około 15 mln trójek wizja–język–kamera, wyrenderowanych z mniej więcej 900 tys. panoram. Podany zakres obejmuje roll i pitch od −45° do +45° oraz pionowe pole widzenia od 20° do 105°. 5

Puffin-Traj-1M dodaje 1 mln wymagających trajektorii kamery. Materiały projektu wskazują na długie trajektorie, ekstremalne obroty i ruchy złożone — w tym pitch, yaw oraz roll — ale nie podają wiarygodnego liczbowego podziału według klas ruchu. 511

Dostępne materiały potwierdzają obecność scen wnętrz, plenerów, obrazów rzeczywistych i syntetycznych, lecz nie ustalają dokładnego rozkładu kategorii scen. 7

Około 44,5 mln adnotacji pozy kamery

Zespół wykorzystał też Puffin-World do dodania oszacowań bezwzględnego roll, pitch i pionowego FoV do 28 publicznych zbiorów danych — 22 zbiorów pojedynczych obrazów oraz sześciu zbiorów sekwencyjnych lub 3D. W efekcie powstało około 44,5 mln adnotacji kamery. Autorzy wskazują, że dane ujawniają częsty bias obrazów robionych „poziomą” kamerą, zazwyczaj skierowanie kamery nieco w dół oraz znaczną zmienność pola widzenia między zbiorami. 1

Ma to znaczenie dla modeli świata, które potrzebują nie tylko informacji o zawartości sceny, lecz także kontekstu kamery. Sam względny ruch między klatkami nie określa w pełni ustawienia kamery wobec grawitacji lub wspólnego układu świata.

Deklarowane wyniki benchmarków

Projekt raportuje najniższy błąd medianowy we wszystkich 12 porównaniach na zestawach Stanford2D3D, MegaDepth, TartanAir i LaMAR, a także najlepszy AUC w 33 z 36 raportowanych metryk, jeśli uwzględnić remisy. Są to wyniki podane przez autorów; nie zostały niezależnie odtworzone w dostarczonych źródłach. 5

Wybrane deklarowane liczby:

• Stanford2D3D: 0,29° mediany błędu roll, 0,53° błędu pitch i 1,62° błędu pionowego FoV. 15
• Błąd roll: 0,28° na MegaDepth, 0,31° na TartanAir oraz 0,26° na LaMAR. 15
• Modelowanie świata na RealEstate10K: 17,22 PSNR i 0,318 LPIPS. 5
• Ablacja propagacji grawitacji: PSNR wzrósł z 19,87 do 20,54, a LPIPS spadł z 0,23 do 0,21; raportowano także poprawę błędów roll i pitch. 5
• Benchmark trudnych trajektorii: 0,80° mediany błędu roll i 1,10° mediany błędu pitch. 5

Wydanie raportuje również dobre wyniki kontroli kamery w Puffin-Cam-Bench, w tym niskie błędy dla wektora „w górę”, szerokości geograficznej i grawitacji. Osobne podsumowanie podaje 1,32° błędu grawitacji, podczas gdy README raportuje inną metrykę grawitacyjną. Dostępne źródła nie definiują tych ocen na tyle jasno, by wartości można było bezpośrednio porównać. 45

Czego ten model jeszcze nie symuluje

„Fizyka” w Puffin-World oznacza przede wszystkim grawitację i szerokość geograficzną, a nie kompletny symulator fizyczny. Wydanie koncentruje się głównie na statycznych scenach i nie deklaruje pełnego modelowania interakcji obiektów, dynamicznych środowisk ani procesów rozciągniętych na długi horyzont czasowy. 5

Najtrafniej więc postrzegać Puffin-World jako istotny krok ku wizualnym modelom świata osadzonym w przestrzeni i fizycznym układzie odniesienia — a nie jako uniwersalny symulator wszystkich zmiennych procesów fizycznych.