Atlas, le modèle d’IA de World Labs qui veut contrôler la caméra et reconstruire des mondes en 3D

World Labs présente Atlas comme un modèle du monde « omni » dédié à l’intelligence spatiale : un seul système entraîné pour traiter nativement le texte, les images, la vidéo et les informations 3D. Son ambition dépasse la simple production d’un clip vidéo convaincant. Atlas doit générer des images et des vidéos depuis des points de vue contrôlés, reconstruire des scènes réelles en 3D et modéliser l’apparence d’un espace lorsque la caméra ou la scène évolue. 9

L’enjeu est la cohérence spatiale. Les générateurs d’images et de vidéos classiques cherchent généralement à produire des images plausibles, parfois indépendamment les unes des autres. Atlas est présenté comme un système qui maintient les relations entre les objets, la position de la caméra et l’environnement sous-jacent lorsque le point de vue change.

Comment fonctionne Atlas ?

World Labs décrit Atlas comme un transformeur de diffusion autorégressif multimodal, préentraîné depuis zéro. Le modèle associe les informations visuelles à leur position dans un contexte spatial partagé, puis prédit de nouvelles images, de nouvelles vues ou des sorties 3D compatibles avec ce contexte. 9

L’utilisateur peut fournir une ou plusieurs images de référence, ainsi que des informations de caméra ou une trajectoire conçue manuellement. Atlas peut ensuite restituer les points de vue demandés, y compris des portions de la scène qui n’étaient pas visibles dans les images d’origine.

Ces zones cachées ne sont toutefois pas « retrouvées » comme le seraient des mesures prises sur le terrain. Elles sont déduites à partir des éléments disponibles et des connaissances visuelles apprises par le modèle.

Atlas repose ainsi sur deux capacités complémentaires :

• Génération conditionnée par la caméra : produire des images ou des vidéos en contrôlant le déplacement et la position de la caméra virtuelle ;
• Reconstruction spatiale : inférer une scène 3D à partir d’un nombre limité d’images, puis en générer de nouvelles vues.

Cette représentation spatiale doit également servir à la simulation : modification de l’éclairage, des mouvements, de l’arrière-plan ou de la configuration des objets pour des usages ultérieurs, notamment en robotique. 9

Ce qu’Atlas peut générer

Selon World Labs, Atlas prend en charge plusieurs modes de génération :

• des images et des vidéos contrôlées par la caméra à partir d’une ou plusieurs images de référence ;
• des images guidées par du texte ;
• des panoramas à 360 degrés ;
• des vidéos pouvant atteindre une minute en 1 440p.

L’entreprise qualifie son contrôle de caméra de « pixel-perfect », ou « au pixel près ». Cela signifie que la trajectoire demandée est au cœur du processus de génération, plutôt qu’un simple recadrage appliqué après coup. Atlas pourrait ainsi aider à modifier le cadrage d’une séquence, à créer des mouvements de caméra virtuels ou à produire des plans à partir de quelques références visuelles. 9

L’intérêt pratique de cette approche tient donc au contrôle. Le texte indique ce qui doit exister ; les images et la géométrie de la caméra donnent au modèle des indices sur l’emplacement des objets et la manière de regarder la scène. Atlas se situe ainsi à la frontière entre la vidéo générative et les méthodes traditionnelles de production 3D.

Reconstruire une scène 3D à partir de quelques photos

World Labs affirme qu’Atlas peut reconstruire des scènes du monde réel à partir d’une à plusieurs dizaines d’images. L’entreprise indique également que deux ou trois photos peuvent souvent produire un résultat fidèle, tandis que le modèle peut intégrer plus de 100 vues lorsque la fidélité prime sur l’inférence. 9

La sortie doit inclure à la fois des images depuis de nouveaux points de vue et des représentations 3D explicites. Atlas ne se limite donc pas à fabriquer une séquence correcte depuis un angle imposé : il cherche à représenter suffisamment la scène pour en déduire d’autres vues.

Une réserve importante s’impose néanmoins. Lorsqu’une scène est peu documentée, ses surfaces invisibles doivent être imaginées. Une reconstruction peut sembler très réaliste tout en se trompant sur un objet masqué, une dimension, une pièce cachée ou la géométrie d’une surface. La qualité visuelle d’Atlas ne doit donc pas être confondue avec une reconstruction certifiée au niveau d’un relevé professionnel.

Que prouvent les résultats annoncés ?

World Labs affirme qu’Atlas dépasse les modèles spécialisés de pointe en reconstruction 3D dans les évaluations menées par l’entreprise. Le billet de lancement met en avant des résultats quantitatifs pour la génération contrôlée par caméra et la reconstruction 3D, tout en précisant qu’aucun benchmark unique ne peut couvrir l’ensemble des capacités du modèle. 9

Ces résultats communiqués par l’entreprise sont intéressants, mais ils ne constituent pas encore une validation indépendante. Les documents disponibles ici ne fournissent pas un protocole complet et reproductible comprenant toutes les données d’évaluation, les scores détaillés de chaque modèle, les estimations d’incertitude, les poids du modèle et des réplications par des tiers. La supériorité annoncée doit donc être considérée comme une revendication de World Labs, et non comme un résultat définitivement établi pour tout le secteur.

Des tests supplémentaires seront particulièrement importants pour évaluer :

• les trajectoires de caméra longues et complexes ;
• les parties masquées ou ambiguës d’une scène ;
• la précision métrique et les mesures géométriques ;
• la cohérence sur des séquences vidéo prolongées ;
• les collisions et les interactions physiques ;
• le passage de simulations générées à des robots réels.

Le lien entre Atlas et Marble

Marble est le produit de World Labs destiné aux utilisateurs qui souhaitent créer des mondes 3D persistants et explorables. Il accepte du texte, une ou plusieurs images, des vidéos, des panoramas et des structures 3D sommaires, puis génère des environnements que l’on peut explorer et utiliser dans d’autres flux de travail. 6

Atlas est le modèle de nouvelle génération appelé à soutenir cette stratégie produit ; il ne s’agit pas simplement d’un nouveau nom pour une fonction de Marble. World Labs indique qu’Atlas alimentera les prochaines versions de Marble ainsi que d’autres produits de l’entreprise. 9

La logique est donc la suivante : Atlas fournit un modèle spatial plus général, tandis que Marble reste l’interface accessible pour créer et consulter des mondes persistants. La documentation de Marble décrit une création à partir de texte, d’images et de vidéos, avec des mondes générés disponibles pour l’exploration et des usages ultérieurs. 6

World API : quel accès pour les développeurs ?

World Labs a lancé la World API, une interface publique permettant de générer des mondes 3D explorables à partir de texte, d’images, de panoramas, de vues multiples et de vidéos. La documentation décrit un fonctionnement asynchrone : une application envoie une demande de génération, puis récupère le monde une fois celui-ci terminé. 83

Ce dispositif ne signifie pas qu’Atlas est disponible sous la forme d’un modèle téléchargeable ou d’un moteur local fonctionnant en temps réel. Les documents publics décrivent surtout la génération et la récupération asynchrones de mondes ; ils n’établissent pas l’existence d’un point d’accès public direct à Atlas, de poids disponibles en local ou d’une option d’inférence en temps réel. 389

Pour les développeurs, la surface produit actuellement documentée est donc Marble et son flux de génération de mondes via API, pas nécessairement l’accès direct à toutes les capacités présentées dans l’annonce de recherche.

Les applications envisagées

World Labs positionne Atlas comme un système spatial généraliste susceptible de servir plusieurs secteurs.

Effets visuels

La génération contrôlée par caméra pourrait aider à modifier le cadrage d’une séquence, à créer des mouvements de caméra virtuels et à produire des plans à partir d’un petit nombre de références. La promesse principale est la variation spatiale contrôlable, plutôt que la création d’une image isolée. 9

Jeux vidéo

Marble est déjà orienté vers la création d’environnements persistants et explorables. Atlas pourrait prolonger cette approche en donnant aux concepteurs un modèle capable de générer ou de reconstruire des scènes tout en préservant les relations spatiales et le point de vue. 69

Design et visualisation

Des équipes d’architecture, de conception industrielle ou de création pourraient utiliser du texte, des images et d’autres références pour explorer des concepts spatiaux navigables. Le contrôle du point de vue pourrait faciliter l’inspection et l’itération d’un projet, par rapport à une série d’images rendues sans lien spatial garanti. 69

Robotique

World Labs évoque également un scénario de « real-to-sim » : créer des environnements simulés à partir de vidéos prises au quotidien, générer des observations en couleurs et en profondeur depuis le point de vue d’un robot, puis modifier les objets, l’éclairage, les mouvements et les arrière-plans pour entraîner des robots à naviguer ou à manipuler des objets. 9

L’idée est ambitieuse, mais le réalisme visuel d’une scène générée ne suffit pas à démontrer que ses lois physiques, ses dimensions ou ses collisions sont exactes. Ces performances doivent être mesurées tâche par tâche.

Disponibilité, prix et inconnues

Atlas n’est pas présenté comme un produit largement accessible dans les documents de lancement examinés. World Labs recueille des demandes d’accès anticipé, tandis que Marble et la World API sont les options publiques documentées. 98

Les informations disponibles ne précisent pas le prix standard d’Atlas, sa taille, ses données d’entraînement, la configuration matérielle nécessaire, sa latence, son débit ou le coût de calcul par génération. 9

Ces éléments seront déterminants pour les entreprises qui envisagent une utilisation en production. Une démonstration impressionnante ne permet pas de savoir si un flux de travail est abordable à grande échelle, assez rapide pour une utilisation interactive ou reproductible sur un grand nombre de scènes.

En résumé

Atlas est la tentative de World Labs pour réunir génération vidéo, reconstruction 3D et simulation spatiale au sein d’un même modèle multimodal. Son idée distinctive consiste à faire de la position de la caméra et du contexte 3D des entrées centrales, au lieu de traiter chaque image générée comme un élément indépendant.

Les capacités revendiquées sont importantes : génération d’images et de vidéos contrôlée, reconstruction à partir de vues limitées, sorties 3D explicites et potentiel pour la simulation robotique. Mais, dans les documents examinés, Atlas reste un système en accès anticipé. En l’absence d’évaluations indépendantes, de données sur les prix, la latence et la précision physique, ses annonces doivent être considérées comme une orientation de recherche et de produit prometteuse, plutôt que comme une performance de production déjà démontrée.