AnswersPublished16 sources
Puffin-World: як відкрита модель світу об’єднує гравітацію, геометрію та RGB
Puffin World — відкрита камерно орієнтована модель світу, яка спільно подає гравітаційно прив’язану «фізику», щільну глибину та RGB зображення, а не прогнозує лише наступні пікселі відео. Реліз містить код, три контрольні точки моделей і датасет Puffin 16M: близько 15 млн трійок «зображення—мова—камера» та 1 млн скл...
ОпублікувавВідредаговано за допомогою GPT-5.6 TerraЗображення створено за допомогою GPT Image 2
Research answer
Key takeaways
- Puffin World — відкрита камерно орієнтована модель світу, яка спільно подає гравітаційно прив’язану «фізику», щільну глибину та RGB зображення, а не прогнозує лише наступні пікселі відео.
- Реліз містить код, три контрольні точки моделей і датасет Puffin 16M: близько 15 млн трійок «зображення—мова—камера» та 1 млн складних траєкторій.
- За даними авторів, на Stanford2D3D модель досягла медіанної похибки 0,29° для крену, 0,53° для тангажу та 1,62° для вертикального поля зору.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Puffin-World, the open-source multimodal world model developed by ACE Robotics, NTU S-Lab, Beijing Jiaotong University, and the Univ. Article summary: Puffin-World is an open-source, camera-centric multimodal world model that treats a world not merely as RGB video, but as three jointly modeled native states: gravity-aware physics, dense 3D geometry, and visual appearan. Topic tags: general, academic, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake num
Puffin-World — це відкрита мультимодальна модель світу від дослідників, пов’язаних з ACE Robotics, S-Lab Наньянського технологічного університету, Пекінським університетом транспорту та Мічиганським університетом. Її ключова ідея — описувати 3D-світ не тільки через зображення, а через три взаємопов’язані стани: фізику, геометрію та вигляд. Це має допомогти системі розуміти орієнтацію камери, синтезувати контрольовані нові ракурси й реконструювати RGB-D-сцени в межах однієї архітектури. 1
5
Чому самого RGB недостатньо
Генеративна модель може створити правдоподібний кадр, але це ще не означає, що під час зміни ракурсу вона збереже горизонт, позу камери або узгоджену 3D-структуру сцени. Puffin-World явно моделює:
- фізику — напрямок гравітації та широту;
- геометрію — щільну карту глибини;
- вигляд — RGB-зображення.
1
5
Отже, це камерно-орієнтована модель світу: вона має враховувати не тільки те, який вигляд має сцена, а й те, як камера розташована відносно гравітації та як вона могла б рухатися в цьому просторі.
Omni-Camera: 9 каналів для прив’язки камери до світу
Основне представлення умов моделі має назву Omni-Camera. Це щільна 9-канальна умова для камери, яка поєднує абсолютне поле перспективи з урахуванням гравітації та відносну геометрію на основі променів. 5
Їхні ролі різні:
- Абсолютне поле перспективи прив’язує камеру до фізичної системи відліку, зокрема фіксує її орієнтацію відносно гравітації.
- Відносна геометрія описує поворот, переміщення, внутрішні параметри камери та комбінований рух між ракурсами.
Модель переносить напрямок гравітації, визначений у референсному кадрі, вздовж запитаної траєкторії. Заявлена мета — зберігати єдину фізичну систему координат у згенерованих спостереженнях і зменшувати дрейф горизонту чи гравітації, який можливий за послідовного створення нових ракурсів. 5
6
Що вміє Puffin-World
Визначати позу камери з одного зображення
Для одного зображення модуль розуміння прогнозує абсолютні крен (roll), тангаж (pitch) і вертикальне поле зору (vertical FoV). З цих оцінок формуються поля гравітації та перспективи, потрібні для представлення камери. 5
Генерувати траєкторії з довільною точкою огляду
Puffin-World може генерувати ракурси за текстовим описом і параметрами камери або за вхідним зображенням та заданою траєкторією. Контроль охоплює орієнтацію, переміщення, внутрішні параметри камери та комбінований рух — зокрема крен, тангаж і рискання (yaw). 5
Створювати RGB-D-представлення та реконструювати сцену
Модель генерує вздовж траєкторії не лише колір, а й глибину. Далі ці RGB-D-дані можна об’єднати в кольорову 3D-хмару точок без передачі реконструкції окремому офлайн-конвеєру геометрії. 5
Підтримувати замкнене дослідження середовища
У публічному релізі є демонстрації імітаційного дослідження та самокалібрування. Документація описує гравітаційно прив’язану систему координат як спосіб повторно «заякорювати» згенеровану траєкторію та обмежувати накопичення неузгодженості пози. Водночас оприлюднені матеріали не повністю розкривають алгоритм корекції дрейфу, тож це варто трактувати як продемонстровану можливість, а не як вичерпний опис контуру керування. 5
6
Архітектура: розуміння сцени плюс дифузійна генерація
Puffin-World поєднує геометрично узгоджений візуальний енкодер C-RADIO, мовну модель Qwen, дифузійний генератор SD3.5 та легкий з’єднувальний модуль. Архітектура відокремлює авторегресивне розуміння фізики й параметрів камери від дифузійної генерації багаторакурсних RGB-D-даних, але залишає їх у спільній системі. 5
У релізі заявлено три контрольні точки:
- Puffin-World-Base: Qwen2.5-7B, C-RADIOv3-H і SD3.5-medium;
- Puffin-World-Pro: Qwen2.5-1.5B, C-RADIOv4-H і SD3.5-large;
- Puffin-World-Caption: Qwen3.5-0.8B і C-RADIOv3-H — варіант для фізичних описів та розуміння камери.
Також доступні код, інструкції з навчання й оцінювання, документація зі створення датасету, моделі та набори даних. 5
Puffin-16M: масштабні дані про камеру
Набір Puffin-16M описують як приблизно 16,5 млн прикладів у двох взаємодоповнювальних частинах. 14
Puffin-Cam-15M містить близько 15 млн трійок «зір—мова—камера», відрендерених приблизно з 900 тис. панорам. Заявлений діапазон крену й тангажу — від −45° до +45°, а вертикального поля зору — від 20° до 105°. 5
Puffin-Traj-1M додає 1 млн складних траєкторій камери. У матеріалах проєкту згадано довгі траєкторії, екстремальні повороти та комбіновані дії з тангажем, рисканням і креном, але надійного числового розподілу за класами руху не наведено. 5
11
Надані матеріали підтверджують охоплення інтер’єрів, вуличних сцен, реальних і синтетичних зображень, однак не встановлюють точного розподілу за категоріями сцен. 7
44,5 млн анотацій пози камери
Команда також застосувала Puffin-World для додавання оцінок абсолютного крену, тангажу та вертикального FoV до 28 публічних датасетів: 22 наборів з одиничними зображеннями та шести послідовних або 3D-наборів. Загалом це дало приблизно 44,5 млн анотацій камери. Автори повідомляють, що ці дані виявили поширене зміщення до «рівної» камери, загалом спрямований донизу тангаж і значну варіативність поля зору між датасетами. 1
Це суттєво для моделей світу: їм потрібен не лише вміст сцени, а й контекст, у якому вона була знята. Сам по собі відносний рух не визначає повністю орієнтацію камери щодо гравітації або спільної системи координат.
Які результати заявляють автори
Проєкт повідомляє про найкращу медіанну похибку в усіх 12 порівняннях на Stanford2D3D, MegaDepth, TartanAir і LaMAR, а також про найкращий AUC у 33 із 36 наведених метрик, якщо враховувати нічиї. Це результати, заявлені авторами; незалежного відтворення у наданих джерелах немає. 5
Серед наведених показників:
- Stanford2D3D: медіанна похибка 0,29° для крену, 0,53° для тангажу та 1,62° для вертикального FoV.
- Похибка крену: 0,28° на MegaDepth, 0,31° на TartanAir і 0,26° на LaMAR.
- Моделювання світу на RealEstate10K: 17,22 PSNR і 0,318 LPIPS.
- Абляція поширення гравітації: PSNR зріс із 19,87 до 20,54, а LPIPS знизився з 0,23 до 0,21; також покращилися заявлені похибки крену й тангажу.
- Тест складних траєкторій: медіанна похибка 0,80° для крену та 1,10° для тангажу.
У релізі також заявлено сильні результати контролю камери на Puffin-Cam-Bench, зокрема низькі похибки для вектора «вгору», широти та гравітації. Окремий огляд наводить похибку гравітації 1,32°, тоді як README повідомляє іншу гравітаційну метрику; доступні джерела недостатньо чітко пояснюють визначення цих оцінок, щоб напряму їх зіставляти. 4
5
Важливе обмеження
«Фізика» у Puffin-World — це насамперед гравітація та широта, а не повноцінний фізичний симулятор. Реліз переважно зосереджений на статичних сценах і не заявляє повного моделювання взаємодій об’єктів, динамічних середовищ чи довготривалих процесів. 5
Тож Puffin-World варто розглядати як помітний крок до просторово та фізично прив’язаного візуального моделювання світу, але не як універсальний симулятор усіх фізичних змін.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Puffin-World: як відкрита модель світу об’єднує гравітацію, геометрію та RGB"?
Puffin World — відкрита камерно орієнтована модель світу, яка спільно подає гравітаційно прив’язану «фізику», щільну глибину та RGB зображення, а не прогнозує лише наступні пікселі відео.
What are the key points to validate first?
Puffin World — відкрита камерно орієнтована модель світу, яка спільно подає гравітаційно прив’язану «фізику», щільну глибину та RGB зображення, а не прогнозує лише наступні пікселі відео. Реліз містить код, три контрольні точки моделей і датасет Puffin 16M: близько 15 млн трійок «зображення—мова—камера» та 1 млн складних траєкторій.
What should I do next in practice?
За даними авторів, на Stanford2D3D модель досягла медіанної похибки 0,29° для крену, 0,53° для тангажу та 1,62° для вертикального поля зору.
Sources
kangliao929.github.ioPuffin-World · Scaling with Native 3D World States