AnswersPublished16 sources
Puffin-World samler tyngdekraft, dybde og RGB i én 3D-verdensmodel
Puffin World er en åben, kameracentreret verdensmodel, der kobler tyngdekraftsbevidst fysik, tæt dybdeinformation og RGB billeder i samme system. Udgivelsen omfatter kode, tre modelcheckpoints og Puffin 16M med cirka 15 millioner billed sprog kamera eksempler samt 1 million krævende kamerabaner.
Udgivet afRedigeret med GPT-5.6 TerraBilleder genereret med GPT Image 2
Research answer
Key takeaways
- Puffin World er en åben, kameracentreret verdensmodel, der kobler tyngdekraftsbevidst fysik, tæt dybdeinformation og RGB billeder i samme system.
- Udgivelsen omfatter kode, tre modelcheckpoints og Puffin 16M med cirka 15 millioner billed sprog kamera eksempler samt 1 million krævende kamerabaner.
- Tallene er forskernes egne: På Stanford2D3D rapporterer Puffin World medianfejl på 0,29° for roll, 0,53° for pitch og 1,62° for lodret synsfelt.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Puffin-World, the open-source multimodal world model developed by ACE Robotics, NTU S-Lab, Beijing Jiaotong University, and the Univ. Article summary: Puffin-World is an open-source, camera-centric multimodal world model that treats a world not merely as RGB video, but as three jointly modeled native states: gravity-aware physics, dense 3D geometry, and visual appearan. Topic tags: general, academic, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake num
Puffin-World er en open source-baseret, multimodal verdensmodel fra forskere med tilknytning til ACE Robotics, S-Lab ved Nanyang Technological University, Beijing Jiaotong University og University of Michigan. Målet er at give AI et mere stabilt tredimensionelt verdensbillede end et system, der alene forudsiger overbevisende RGB-pixels. 1
5
Modellen repræsenterer tre forbundne tilstande:
Det gør Puffin-World til en kameracentreret model. Den skal ikke kun vurdere, hvordan en scene ser ud, men også forstå, hvordan kameraet er orienteret i forhold til tyngdekraften – og hvordan synet af scenen bør ændre sig, når kameraet flyttes.
Hvorfor tyngdekraft betyder noget i billedgenerering
Et generativt system kan lave et realistisk enkeltbillede uden nødvendigvis at bevare en konsekvent horisont, kamerastilling eller rumlig struktur, når perspektivet ændrer sig. Det er et problem, hvis modellen for eksempel skal bruges til robotter, simulering eller 3D-rekonstruktion.
Puffin-World forsøger at løse det ved at lade den fysiske reference – især tyngdekraftens retning – følge med gennem en ønsket kamerabane. Ifølge projektet skal det holde de genererede observationer i samme fysiske koordinatramme og mindske den drift i horisont og tyngderetning, som kan opstå ved sekventiel generering af nye synsvinkler. 5
6
Omni-Camera: ni kanaler til kameraets placering i verden
Kernen er en tæt, 9-kanals kamerabetingelse kaldet Omni-Camera. Den kobler to typer information: 5
- Et absolut perspektivfelt, der er forankret i tyngdekraften og beskriver kameraets orientering i en fysisk ramme.
- Relativ geometri baseret på stråler, der beskriver rotation, forskydning, kameraets indre parametre og sammensatte bevægelser mellem synsvinkler.
I praksis kombinerer repræsentationen altså svaret på "hvilken vej vender kameraet i forhold til verden?" med "hvordan flytter det sig fra ét billede til det næste?". Det understøtter styring af blandt andet roll, pitch, yaw, translation og ændringer i objektivets synsfelt. 5
11
Hvad modellen kan bruges til
Udlede kamerastilling fra ét billede
Forståelsesdelen kan fra et enkelt billede forudsige absolut roll, pitch og lodret synsfelt (FoV). Estimaterne kan omdannes til de tyngdekrafts- og perspektivfelter, der indgår i modellens kamerarepræsentation. 5
Skabe nye synsvinkler under kontrollerede kamerabevægelser
Puffin-World kan generere billeder ud fra tekst og kamerakontroller eller ud fra et startbillede og en angivet kamerabane. Kontrollerne omfatter orientering, translation, kameraets indre parametre og sammensatte bevægelser. 5
Generere RGB-D og bygge en 3D-rekonstruktion
I stedet for kun at generere farvebilleder producerer systemet RGB og dybde samlet langs en bane. De RGB-D-resultater kan derefter samles til en farvet 3D-punktsky, uden at rekonstruktionen sendes videre til en særskilt offline-geometripipeline. 5
Understøtte udforskning i et lukket kredsløb
Den offentlige udgivelse viser demonstrationer af efterligningsbaseret udforskning og selvkalibrering. Dokumentationen beskriver den tyngdekraftsbevidste ramme som et middel til at genforankre genererede baner og begrænse ophobet inkonsistens i kamerastilling. Den offentlige dokumentation forklarer dog ikke hele algoritmen for driftkorrektion, så det bør ses som en demonstreret funktion – ikke som en fuldstændigt beskrevet kontrolsløjfe. 5
6
Arkitekturen: synsforståelse, sprogmodel og diffusion
Puffin-World kombinerer en geometrialignet C-RADIO-visionencoder, en Qwen-sprogmodel, en SD3.5-diffusionsgenerator og en letvægtsforbindelse mellem delene. Konstruktionen adskiller autoregressiv forståelse af kamera og fysiske forhold fra diffusionsbaseret generering af RGB-D fra flere synsvinkler, men samler funktionerne i ét system. 5
Projektet oplister tre checkpoints:
- Puffin-World-Base: Qwen2.5-7B, C-RADIOv3-H og SD3.5-medium
- Puffin-World-Pro: Qwen2.5-1.5B, C-RADIOv4-H og SD3.5-large
- Puffin-World-Caption: Qwen3.5-0.8B og C-RADIOv3-H, målrettet fysiske beskrivelser og kameraforståelse
5
Kildekode, vejledninger til træning og evaluering, dokumentation for opbygning af datasættet samt modeller og datasæt er offentliggjort. 5
Puffin-16M: træningsdata med kameraet i centrum
Datasættet Puffin-16M beskrives som cirka 16,5 millioner eksempler fordelt på to dele. 14
Puffin-Cam-15M består af omkring 15 millioner billed-sprog-kamera-trekløver, renderet fra omtrent 900.000 panoramaer. Det rapporterede spænd går fra −45° til +45° for roll og pitch, mens det lodrette synsfelt varierer fra 20° til 105°. 5
Puffin-Traj-1M bidrager med 1 million krævende kamerabaner. Projektmaterialet fremhæver lange forløb, ekstreme rotationer samt sammensatte bevægelser med pitch, yaw og roll, men giver ikke en pålidelig talfordeling mellem bevægelsestyperne. 5
11
Materialet understøtter, at data dækker indendørs- og udendørsscener samt virkelige og syntetiske billeder. Det fastslår derimod ikke en præcis fordeling mellem scenekategorier. 7
44,5 millioner nye kameramærkninger
Forskerholdet brugte også Puffin-World til at føje estimater for absolut roll, pitch og lodret synsfelt til 28 offentlige datasæt: 22 datasæt med enkeltbilleder og seks sekventielle eller 3D-datasæt. Det gav omtrent 44,5 millioner kameraannoteringer. 1
Ifølge artiklen afslører annoteringerne en udbredt tendens til vandret kamera, generelt nedadrettet pitch og store variationer i synsfelt mellem datasættene. Det er relevant, fordi en verdensmodel ikke kun skal kende indholdet i en scene; den skal også vide, hvor og hvordan kameraet så den. 1
De rapporterede benchmarktal
Forskerne rapporterer den bedste medianfejl i alle 12 sammenligninger på Stanford2D3D, MegaDepth, TartanAir og LaMAR samt bedst AUC i 33 af 36 rapporterede mål, når delte placeringer tælles med. Resultaterne er forfatternes egne og er ikke uafhængigt reproduceret i de forelagte kilder. 5
Udvalgte tal:
- Stanford2D3D: 0,29° medianfejl for roll, 0,53° for pitch og 1,62° for lodret synsfelt.
1
- Roll-fejl: 0,28° på MegaDepth, 0,31° på TartanAir og 0,26° på LaMAR.
- RealEstate10K-verdensmodellering: 17,22 PSNR og 0,318 LPIPS.
- Ablation af tyngdekraftspropagering: PSNR steg fra 19,87 til 20,54, mens LPIPS faldt fra 0,23 til 0,21; de rapporterede fejl for roll og pitch blev også forbedret.
- Benchmark for krævende baner: 0,80° medianfejl for roll og 1,10° for pitch.
Udgivelsen rapporterer også lave fejl for op-vektor, latitude og tyngdekraft i Puffin-Cam-Bench. En separat projektsammenfatning angiver en tyngdekraftsfejl på 1,32°, mens README-filen angiver et andet mål. Kilderne gør ikke definitionerne klare nok til, at tallene kan sammenlignes direkte. 4
5
Ikke en komplet fysiksimulator
Puffin-Worlds "fysik" dækker primært tyngdekraft og latitude – ikke en komplet simulering af fysisk dynamik. Udgivelsen fokuserer især på statiske scener og hævder ikke at modellere alle objektinteraktioner, miljøer i bevægelse eller dynamik over meget lange tidsforløb. 5
Derfor er den mest præcise læsning af Puffin-World, at den er et væsentligt skridt mod visuelt funderede 3D-verdensmodeller med rumlig og fysisk sammenhæng – men ikke endnu en universel simulator af en verden i konstant forandring.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Puffin-World samler tyngdekraft, dybde og RGB i én 3D-verdensmodel"?
Puffin World er en åben, kameracentreret verdensmodel, der kobler tyngdekraftsbevidst fysik, tæt dybdeinformation og RGB billeder i samme system.
What are the key points to validate first?
Puffin World er en åben, kameracentreret verdensmodel, der kobler tyngdekraftsbevidst fysik, tæt dybdeinformation og RGB billeder i samme system. Udgivelsen omfatter kode, tre modelcheckpoints og Puffin 16M med cirka 15 millioner billed sprog kamera eksempler samt 1 million krævende kamerabaner.
What should I do next in practice?
Tallene er forskernes egne: På Stanford2D3D rapporterer Puffin World medianfejl på 0,29° for roll, 0,53° for pitch og 1,62° for lodret synsfelt.
Sources
kangliao929.github.ioPuffin-World · Scaling with Native 3D World States