Puffin-World: el modelo abierto que une gravedad, profundidad y RGB para construir mundos 3D

Puffin-World es un modelo de mundo multimodal y de código abierto desarrollado por investigadores vinculados a ACE Robotics, S-Lab de la Universidad Tecnológica de Nanyang (NTU), la Universidad Jiaotong de Pekín y la Universidad de Míchigan. Su propuesta es representar un mundo 3D mediante tres estados conectados —física, geometría y apariencia— para que un sistema de IA pueda razonar sobre la orientación de una cámara, crear nuevas vistas controladas y reconstruir escenas RGB-D dentro de un único marco. 15

La idea: un mundo no es solo una secuencia de imágenes RGB

Un modelo generativo puede producir imágenes verosímiles sin conservar necesariamente un horizonte estable, la pose de la cámara o la estructura tridimensional cuando cambia el punto de vista. Puffin-World representa explícitamente:

• Física: dirección de la gravedad y latitud;
• Geometría: profundidad densa;
• Apariencia: imágenes RGB. 15

Por ello se define como un modelo de mundo centrado en la cámara. No se limita a preguntarse cómo luce una escena: también modela cómo está orientada la cámara respecto a la gravedad y cómo podría desplazarse por ese entorno.

Omni-Camera: una condición de cámara de nueve canales

La representación de condicionamiento central del proyecto se llama Omni-Camera. Combina un campo de perspectiva absoluto, consciente de la gravedad, con una geometría relativa basada en rayos, en una condición de cámara densa de nueve canales. Cada componente cumple una función distinta: 5

• El campo de perspectiva absoluto fija la cámara a un marco físico, incluida su orientación con respecto a la gravedad.
• La geometría relativa codifica la rotación, traslación, parámetros intrínsecos y movimientos compuestos entre puntos de vista.

El modelo propaga la gravedad inferida desde una vista de referencia a lo largo de la trayectoria solicitada. Según los autores, esto busca mantener las observaciones generadas dentro de un marco físico coherente y reducir la deriva de gravedad o de horizonte que puede surgir al generar vistas de forma secuencial. 56

Qué puede hacer Puffin-World

El proyecto reúne en un mismo sistema varias tareas que habitualmente se abordan por separado.

Estimar la pose de la cámara desde una sola imagen

A partir de una imagen, la rama de comprensión predice el roll o alabeo, el pitch o cabeceo y el campo de visión vertical (FoV). Esas estimaciones pueden transformarse en los campos de gravedad y perspectiva que utiliza la representación de cámara. 5

Generar trayectorias con punto de vista libre

Puffin-World puede producir vistas a partir de texto y controles de cámara, o desde una imagen de entrada junto con una trayectoria especificada. Los controles abarcan cambios de orientación, traslación, parámetros intrínsecos y movimientos compuestos, incluidos roll, pitch y yaw o guiñada. 5

Generar RGB-D y reconstruir la escena

El modelo no genera únicamente color: produce de forma conjunta RGB y profundidad a lo largo de una trayectoria. Esas salidas RGB-D pueden consolidarse después en una nube de puntos 3D coloreada, sin recurrir a una canalización externa e independiente de reconstrucción geométrica. 5

Exploración en bucle cerrado

La versión pública incluye demostraciones de exploración por imitación y autocalibración. La documentación describe el marco basado en gravedad como una vía para volver a anclar trayectorias generadas y limitar la inconsistencia acumulada en la pose. No obstante, los materiales públicos disponibles no detallan por completo el algoritmo de corrección de deriva; conviene entenderlo como una capacidad demostrada, no como una descripción exhaustiva de su bucle de control. 56

Arquitectura: comprensión y generación por difusión

Puffin-World combina un codificador visual C-RADIO alineado con la geometría, un modelo de lenguaje Qwen, un generador de difusión SD3.5 y un conector ligero. El diseño separa la comprensión autorregresiva de la cámara y del estado físico de la generación multivista RGB-D basada en difusión, aunque las mantiene dentro de un sistema unificado. 5

La publicación enumera tres checkpoints:

• Puffin-World-Base: Qwen2.5-7B, C-RADIOv3-H y SD3.5-medium;
• Puffin-World-Pro: Qwen2.5-1.5B, C-RADIOv4-H y SD3.5-large;
• Puffin-World-Caption: Qwen3.5-0.8B y C-RADIOv3-H, orientado a la comprensión de descripciones físicas y de cámara. 5

La distribución pública incluye código, guías de entrenamiento y evaluación, documentación para construir el conjunto de datos, modelos y datos. 5

Puffin-16M: datos de cámara a gran escala

Puffin-16M se describe como un conjunto de aproximadamente 16,5 millones de muestras, dividido en dos componentes complementarios. 14

Puffin-Cam-15M reúne alrededor de 15 millones de tripletas visión-lenguaje-cámara renderizadas a partir de unas 900.000 panorámicas. El rango de cámara comunicado cubre roll y pitch de −45° a +45°, además de un FoV vertical de 20° a 105°. 5

Puffin-Traj-1M añade un millón de trayectorias de cámara exigentes. Los materiales disponibles identifican trayectorias largas, rotaciones extremas y acciones compuestas —incluidos pitch, yaw y roll—, pero no ofrecen un desglose numérico fiable por tipo de movimiento. 511

Las fuentes aportadas respaldan que el conjunto cubre imágenes interiores, exteriores, reales y sintéticas, pero no permiten establecer una distribución precisa por categorías de escena. 7

Un esfuerzo masivo de anotación de poses de cámara

El equipo también utilizó Puffin-World para añadir estimaciones absolutas de roll, pitch y FoV vertical a 28 conjuntos de datos públicos: 22 de imagen única y seis secuenciales o 3D. El resultado fue de aproximadamente 44,5 millones de anotaciones de cámara. El artículo señala un sesgo frecuente hacia cámaras niveladas, un pitch generalmente orientado hacia abajo y una variación considerable del FoV entre conjuntos de datos. 1

Este trabajo de anotación es relevante porque los modelos de mundo necesitan conocer tanto el contenido de una escena como el contexto de captura. El movimiento relativo, por sí solo, no especifica por completo cómo se orienta una cámara respecto a la gravedad o a un marco mundial compartido.

Resultados de referencia comunicados por el equipo

El proyecto afirma el mejor error mediano en las 12 comparaciones de Stanford2D3D, MegaDepth, TartanAir y LaMAR, además del mejor AUC en 33 de 36 métricas comunicadas si se cuentan los empates. Son resultados reportados por los autores y no han sido reproducidos de manera independiente en las fuentes suministradas. 5

Entre las cifras destacadas figuran:

• Stanford2D3D: 0,29° de error mediano en roll, 0,53° en pitch y 1,62° en FoV vertical. 15
• Error en roll: 0,28° en MegaDepth, 0,31° en TartanAir y 0,26° en LaMAR. 15
• Modelado de mundo en RealEstate10K: 17,22 PSNR y 0,318 LPIPS. 5
• Ablación de propagación de gravedad: el PSNR pasó de 19,87 a 20,54 y LPIPS descendió de 0,23 a 0,21; también mejoraron los errores comunicados de roll y pitch. 5
• Prueba de trayectorias difíciles: 0,80° de error mediano en roll y 1,10° en pitch. 5

La publicación también informa de buenos resultados de control de cámara en su benchmark Puffin-Cam-Bench, con errores bajos en vector vertical, latitud y gravedad. Un resumen externo recoge un error de gravedad de 1,32°, mientras que el README informa de una métrica de gravedad diferente; las fuentes disponibles no aclaran suficientemente las definiciones de evaluación como para considerar ambas cifras directamente comparables. 45

Límites del modelo

La «física» de Puffin-World se representa principalmente mediante gravedad y latitud, no como un simulador físico completo. La publicación se centra sobre todo en escenas estáticas y no afirma modelar plenamente interacciones entre objetos, entornos dinámicos ni procesos de larga duración. 5

En otras palabras, Puffin-World es un avance relevante hacia modelos visuales de mundo con una base espacial y física más consistente, pero todavía no es un simulador general de todos los procesos físicos cambiantes.