AnswersPublished16 sources
Puffin-World propojuje gravitaci, geometrii a obraz pro stabilnější 3D svět
Puffin World je otevřený model světa zaměřený na kameru: společně reprezentuje gravitaci, hustou mapu hloubky a RGB vzhled, ne pouze věrohodné obrazové snímky. Vydání zahrnuje kód, tři checkpointy a datovou sadu Puffin 16M s přibližně 15 miliony trojic obraz–jazyk–kamera a 1 milionem náročných trajektorií.
PublikovalUpraveno pomocí GPT-5.6 TerraObrázky vytvořeny pomocí GPT Image 2
Research answer
Key takeaways
- Puffin World je otevřený model světa zaměřený na kameru: společně reprezentuje gravitaci, hustou mapu hloubky a RGB vzhled, ne pouze věrohodné obrazové snímky.
- Vydání zahrnuje kód, tři checkpointy a datovou sadu Puffin 16M s přibližně 15 miliony trojic obraz–jazyk–kamera a 1 milionem náročných trajektorií.
- Na Stanford2D3D autoři uvádějí mediánovou chybu 0,29° pro náklon kamery, 0,53° pro sklon a 1,62° pro vertikální zorné pole; výsledky zatím nejsou nezávisle reprodukovány v dodaných zdrojích.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Puffin-World, the open-source multimodal world model developed by ACE Robotics, NTU S-Lab, Beijing Jiaotong University, and the Univ. Article summary: Puffin-World is an open-source, camera-centric multimodal world model that treats a world not merely as RGB video, but as three jointly modeled native states: gravity-aware physics, dense 3D geometry, and visual appearan. Topic tags: general, academic, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake num
Puffin-World je otevřený multimodální model světa od výzkumníků spojených s ACE Robotics, S-Labem singapurské Nanyang Technological University, Beijing Jiaotong University a University of Michigan. Namísto toho, aby generoval jen přesvědčivé RGB video, má současně modelovat tři propojené stavy 3D světa: fyziku, geometrii a vzhled. Konkrétně jde o gravitaci a zeměpisnou šířku, hustou hloubku a RGB obraz. 1
5
Praktický smysl je jednoduchý: když se virtuální kamera otočí nebo posune, nestačí vytvořit esteticky uvěřitelný nový snímek. Horizont, svislý směr, poloha kamery a prostorová stavba scény by měly zůstat vzájemně konzistentní.
Omni-Camera: devět kanálů pro orientaci i pohyb
Klíčovou podmínkovou reprezentací modelu je Omni-Camera — hustá kamerová podmínka s devíti kanály. Spojuje dvě vrstvy informace: 5
- Absolutní perspektivní pole ukotvené gravitací, které váže kameru k fyzikálnímu referenčnímu rámci, včetně její orientace vůči gravitaci.
- Relativní geometrii založenou na paprscích, jež popisuje rotaci, posun, vnitřní parametry kamery a kombinované pohyby mezi pohledy.
Model přenáší gravitaci odhadnutou z referenčního záběru po požadované trajektorii kamery. Deklarovaným cílem je držet generované pohledy v jednotném fyzikálním rámci a omezit postupné „ujíždění“ horizontu či směru gravitace při navazujícím vytváření záběrů. 5
6
Co model umí
Odhadnout pozici kamery z jediného snímku
Větev pro porozumění obrazu z jednoho snímku předpovídá absolutní roll, pitch a vertikální zorné pole (vertical FoV). Jde zjednodušeně o náklon kamery do strany, sklon nahoru či dolů a její svislý úhel záběru. Tyto odhady lze převést na gravitační a perspektivní pole používaná reprezentací kamery. 5
Generovat pohledy po řízené trajektorii
Puffin-World dokáže vytvářet nové pohledy z textového zadání s ovládáním kamery, případně z výchozího obrázku a zadané trajektorie. Ovládání zahrnuje orientaci, posun, vnitřní parametry i složené pohyby — včetně rollu, pitchu a yaw, tedy otáčení kolem všech tří os. 5
Vytvořit RGB-D výstup a rekonstruovat scénu
Model negeneruje jen barvu, ale podél trajektorie společně vytváří RGB snímky i hloubkové mapy. Z takových RGB-D výstupů lze následně sestavit barevné 3D mračno bodů, aniž by rekonstrukci musel provádět samostatný offline geometrický systém. 5
Podporovat průzkum v uzavřené smyčce
Ve veřejném vydání jsou ukázky napodobovaného průzkumu a samokalibrace. Dokumentace popisuje gravitačně ukotvený rámec jako mechanismus pro opětovné ukotvení generované trajektorie a omezení narůstající nekonzistence pozice kamery. Dodané veřejné materiály ale plně nevysvětlují algoritmus korekce driftu; jde tedy o předvedenou schopnost, nikoli o kompletně popsanou řídicí smyčku. 5
6
Architektura: porozumění kamerám i difuzní generování
Systém kombinuje geometrii zohledňující vizuální enkodér C-RADIO, jazykový model Qwen, difuzní generátor SD3.5 a lehký propojovací modul. Návrh odděluje autoregresivní porozumění kameře a fyzikálnímu rámci od difuzního generování vícepohledových RGB-D dat, zároveň je ale sdružuje do jediného systému. 5
Vydání uvádí tři checkpointy:
- Puffin-World-Base: Qwen2.5-7B, C-RADIOv3-H a SD3.5-medium;
- Puffin-World-Pro: Qwen2.5-1.5B, C-RADIOv4-H a SD3.5-large;
- Puffin-World-Caption: Qwen3.5-0.8B a C-RADIOv3-H, zaměřený na fyzikální popisky a porozumění kameře.
5
Autoři uvolnili kód, návody pro trénování a vyhodnocení, dokumentaci k tvorbě datové sady, modely i data. 5
Puffin-16M: data, kde kamera není jen doplněk
Datová sada Puffin-16M má podle její karty přibližně 16,5 milionu vzorků ve dvou doplňujících se částech. 14
Puffin-Cam-15M obsahuje zhruba 15 milionů trojic obraz–jazyk–kamera, vyrenderovaných z přibližně 900 000 panoramat. Uváděný rozsah rollu a pitchu je od −45° do +45°; vertikální FoV sahá od 20° do 105°. 5
Puffin-Traj-1M přidává 1 milion náročných kamerových trajektorií. Materiály projektu zmiňují dlouhé trajektorie, extrémní rotace a kombinované pohyby v osách pitch, yaw a roll, ale neposkytují spolehlivý číselný rozpad podle typu pohybu. 5
11
Dodané zdroje potvrzují zastoupení interiérů, exteriérů, reálných i syntetických obrazů. Přesné rozdělení podle kategorií scén z nich ale určit nelze. 7
Přibližně 44,5 milionu nových anotací kamer
Tým využil Puffin-World také k doplnění odhadů absolutního rollu, pitchu a vertikálního FoV do 28 veřejných datových sad — 22 sad s jednotlivými obrázky a šesti sekvenčních či 3D sad. Celkem tak vzniklo zhruba 44,5 milionu anotací kamery. Článek uvádí, že tyto anotace odhalily častou zaujatost dat vůči vodorovně držené kameře, převážně dolů mířící pitch a výrazné rozdíly ve zorném poli mezi datovými sadami. 1
Pro modelování světa je to podstatné: relativní pohyb mezi dvěma záběry sám o sobě neurčuje, jak je kamera natočena vzhledem ke gravitaci nebo ke společnému souřadnému systému světa.
Jaké výsledky autoři uvádějí
Projekt uvádí nejlepší mediánovou chybu ve všech 12 srovnáních na sadách Stanford2D3D, MegaDepth, TartanAir a LaMAR a nejlepší AUC ve 33 ze 36 metrik při započtení shod. Jde o výsledky deklarované autory; dodané zdroje neobsahují jejich nezávislou reprodukci. 5
Vybrané hodnoty:
- Stanford2D3D: mediánová chyba 0,29° pro roll, 0,53° pro pitch a 1,62° pro vertikální FoV.
1
- Chyba rollu: 0,28° na MegaDepth, 0,31° na TartanAir a 0,26° na LaMAR.
- Modelování světa na RealEstate10K: 17,22 PSNR a 0,318 LPIPS.
- Ablace šíření gravitace: PSNR vzrostlo z 19,87 na 20,54, zatímco LPIPS kleslo z 0,23 na 0,21; zlepšily se i uváděné chyby rollu a pitchu.
- Benchmark náročných trajektorií: mediánová chyba 0,80° pro roll a 1,10° pro pitch.
Vydání dále uvádí silné výsledky řízení kamery na vlastním Puffin-Cam-Bench, včetně nízkých chyb pro vektor směru vzhůru, zeměpisnou šířku a gravitaci. Jiný projektový souhrn zmiňuje chybu gravitace 1,32°, README však používá odlišnou gravitační metriku. Z dostupných zdrojů nelze definice vyhodnocení vyložit dostatečně přesně na to, aby se tyto hodnoty daly přímo porovnávat. 4
5
Důležitá hranice: nejde o univerzální fyzikální simulátor
„Fyzika“ v Puffin-World znamená hlavně gravitaci a zeměpisnou šířku, nikoli kompletní simulaci fyzikálního světa. Vydání se soustředí především na statické scény a netvrdí, že plně modeluje interakce objektů, proměnlivé prostředí ani dynamiku v dlouhém časovém horizontu. 5
Puffin-World je proto vhodné chápat jako krok ke vizuálním modelům světa, které jsou lépe prostorově a fyzikálně ukotvené — ne jako hotový univerzální simulátor všeho, co se v reálném světě pohybuje a mění.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Puffin-World propojuje gravitaci, geometrii a obraz pro stabilnější 3D svět"?
Puffin World je otevřený model světa zaměřený na kameru: společně reprezentuje gravitaci, hustou mapu hloubky a RGB vzhled, ne pouze věrohodné obrazové snímky.
What are the key points to validate first?
Puffin World je otevřený model světa zaměřený na kameru: společně reprezentuje gravitaci, hustou mapu hloubky a RGB vzhled, ne pouze věrohodné obrazové snímky. Vydání zahrnuje kód, tři checkpointy a datovou sadu Puffin 16M s přibližně 15 miliony trojic obraz–jazyk–kamera a 1 milionem náročných trajektorií.
What should I do next in practice?
Na Stanford2D3D autoři uvádějí mediánovou chybu 0,29° pro náklon kamery, 0,53° pro sklon a 1,62° pro vertikální zorné pole; výsledky zatím nejsou nezávisle reprodukovány v dodaných zdrojích.
Sources
kangliao929.github.ioPuffin-World · Scaling with Native 3D World States