Puffin-World : le modèle 3D open source qui ancre l’IA dans la gravité

Puffin-World est un modèle de monde multimodal open source conçu par des chercheurs affiliés à ACE Robotics, au S-Lab de l’université technologique de Nanyang (NTU), à l’université Jiaotong de Pékin et à l’université du Michigan. Son ambition : ne pas traiter une scène comme une simple suite d’images RGB, mais comme un environnement 3D doté d’un repère physique cohérent. 15

Le système associe trois « états natifs » : la physique — principalement la direction de la gravité et la latitude —, la géométrie via une carte de profondeur dense, et l’apparence sous forme d’image RGB. Cette combinaison doit permettre d’estimer l’orientation d’une caméra, de générer de nouveaux points de vue contrôlés et de reconstruire une scène à partir de vues RGB-D. 15

Pourquoi la gravité compte dans un modèle visuel

Une image générée peut sembler crédible tout en étant spatialement incohérente : l’horizon peut dériver, l’orientation de la caméra changer subtilement ou la géométrie ne plus correspondre lorsqu’on modifie le point de vue.

Puffin-World cherche à éviter ce problème en donnant explicitement au modèle un cadre de référence physique. Il ne lui demande donc pas seulement « à quoi ressemble cette scène ? », mais aussi comment la caméra est orientée par rapport à la gravité et comment elle se déplace dans l’espace.

Omni-Camera : une représentation en neuf canaux

L’élément central du projet est une condition caméra dense à neuf canaux, baptisée Omni-Camera. Elle réunit deux informations complémentaires : 5

• un champ de perspective absolu sensible à la gravité, qui rattache la caméra à un repère physique et encode notamment son orientation par rapport à la verticale ;
• une géométrie relative fondée sur les rayons, qui décrit rotation, translation, paramètres intrinsèques et mouvements combinés entre les points de vue.

À partir d’une vue de référence, Puffin-World propage la direction de la gravité le long de la trajectoire demandée. L’objectif affiché est de maintenir les observations générées dans un même cadre physique et de limiter les dérives de gravité ou d’horizon lors de générations successives. 56

Ce que le modèle peut faire

Estimer la pose d’une caméra depuis une seule image

La branche de compréhension du modèle prédit, à partir d’une image, le roulis (roll), le tangage (pitch) et le champ de vision vertical (FoV). Ces estimations sont ensuite converties dans les champs de gravité et de perspective exploités par Omni-Camera. 5

Générer des trajectoires à point de vue libre

Puffin-World peut produire des vues à partir d’un texte assorti de contrôles caméra, ou à partir d’une image et d’une trajectoire définie. Les contrôles couvrent l’orientation, la translation, les paramètres intrinsèques et les mouvements composés, y compris roulis, tangage et lacet (yaw). 5

Générer de la RGB-D et reconstruire une scène

Le système ne produit pas uniquement la couleur : il génère conjointement les images RGB et la profondeur le long d’une trajectoire. Les sorties RGB-D peuvent ensuite être agrégées en un nuage de points 3D coloré, sans recourir à une chaîne de reconstruction géométrique hors ligne distincte. 5

Explorer en boucle fermée

La version publique présente des démonstrations d’exploration par imitation et d’auto-étalonnage. La documentation décrit le repère sensible à la gravité comme un moyen de réancrer les trajectoires générées et de réduire l’accumulation d’incohérences de pose. En revanche, les documents fournis ne détaillent pas complètement l’algorithme de correction de dérive : il s’agit donc d’une capacité démontrée, pas d’une description exhaustive de la boucle de contrôle. 56

Architecture : compréhension et génération par diffusion

L’architecture combine un encodeur visuel C-RADIO aligné sur la géométrie, un modèle de langage Qwen, un générateur par diffusion SD3.5 et un connecteur léger. La conception sépare la compréhension auto-régressive de la caméra et des éléments physiques de la génération multi-vues RGB-D fondée sur la diffusion, tout en les intégrant dans un même système. 5

Trois points de contrôle sont annoncés :

• Puffin-World-Base : Qwen2.5-7B, C-RADIOv3-H et SD3.5-medium ;
• Puffin-World-Pro : Qwen2.5-1.5B, C-RADIOv4-H et SD3.5-large ;
• Puffin-World-Caption : Qwen3.5-0.8B et C-RADIOv3-H, orienté vers les descriptions physiques et la compréhension de la caméra. 5

Le dépôt public comprend le code, les modèles, les jeux de données ainsi que des indications pour l’entraînement, l’évaluation et la construction des données. 5

Puffin-16M : plus de 16 millions d’exemples centrés sur la caméra

Le jeu de données Puffin-16M compte environ 16,5 millions d’échantillons répartis entre deux ensembles. 14

• Puffin-Cam-15M rassemble environ 15 millions de triplets vision-langage-caméra, rendus depuis près de 900 000 panoramas. Les angles de roulis et de tangage vont de −45° à +45°, tandis que le champ de vision vertical varie de 20° à 105°. 5
• Puffin-Traj-1M ajoute un million de trajectoires caméra difficiles. Les documents du projet mentionnent des trajectoires longues, des rotations extrêmes et des mouvements composés en tangage, lacet et roulis, sans fournir de répartition chiffrée fiable par type de mouvement. 511

Les sources indiquent une couverture de scènes intérieures et extérieures, réelles et synthétiques. Elles ne permettent toutefois pas d’établir une distribution précise par catégorie de scène. 7

44,5 millions d’annotations de pose caméra

L’équipe a aussi utilisé Puffin-World pour enrichir 28 jeux de données publics — 22 ensembles d’images isolées et six ensembles séquentiels ou 3D — avec des estimations absolues de roulis, tangage et champ de vision vertical. Cela représente environ 44,5 millions d’annotations de caméra. 1

D’après l’article scientifique, ces annotations mettent en évidence plusieurs biais fréquents : beaucoup de prises de vue sont proches de l’horizontale, le tangage est souvent dirigé vers le bas et le champ de vision varie fortement d’un jeu de données à l’autre. 1

Des performances annoncées, à interpréter avec prudence

Les auteurs indiquent le meilleur résultat en erreur médiane dans les 12 comparaisons rapportées sur Stanford2D3D, MegaDepth, TartanAir et LaMAR, ainsi que la meilleure AUC dans 33 des 36 métriques, ex æquo inclus. Ces performances sont déclarées par les auteurs et ne sont pas reproduites indépendamment dans les sources fournies. 5

Parmi les chiffres publiés :

• sur Stanford2D3D : 0,29° d’erreur médiane en roulis, 0,53° en tangage et 1,62° sur le champ de vision vertical ; 15
• pour le roulis : 0,28° sur MegaDepth, 0,31° sur TartanAir et 0,26° sur LaMAR ; 15
• en modélisation de monde sur RealEstate10K : 17,22 en PSNR et 0,318 en LPIPS ; 5
• dans une ablation sur la propagation de la gravité : le PSNR passe de 19,87 à 20,54, tandis que le LPIPS baisse de 0,23 à 0,21 ; les erreurs de roulis et de tangage s’améliorent également ; 5
• sur le benchmark de trajectoires difficiles : 0,80° d’erreur médiane en roulis et 1,10° en tangage. 5

Le projet fait également état de faibles erreurs de contrôle de caméra sur son benchmark Puffin-Cam-Bench. Une synthèse séparée évoque une erreur de gravité de 1,32°, tandis que le README donne une métrique de gravité différente ; les définitions d’évaluation disponibles ne suffisent pas à comparer directement ces chiffres. 45

Une avancée spatiale, pas un simulateur physique généraliste

Le terme « physique » peut prêter à confusion. Dans Puffin-World, il désigne surtout la gravité et la latitude, non une simulation complète des forces, des contacts ou des interactions entre objets. Le projet se concentre principalement sur des scènes statiques et ne revendique pas une modélisation exhaustive des environnements en mouvement ni des dynamiques à long horizon. 5

Puffin-World doit donc être compris comme une étape vers des modèles visuels mieux ancrés dans l’espace et dans un repère physique : un système qui cherche à conserver simultanément la cohérence de l’image, de la profondeur et de l’orientation de la caméra, plutôt qu’un simulateur universel du monde réel.