Omega-0 veut coordonner la marche, la vision et les gestes des robots humanoïdes

Omega-0 (ω-0) est un modèle unifié d’action pour le corps entier des robots humanoïdes. Plutôt que de traiter la marche et la manipulation comme deux problèmes indépendants, il cherche à les coordonner au sein d’une même politique : le robot peut déplacer sa base, modifier sa posture et son point de vue, préserver son équilibre et utiliser ses mains dans le cadre d’une seule tâche. 1

Son idée centrale consiste à prédire les caractéristiques visuelles futures plutôt qu’à produire directement une longue trajectoire entièrement prédéfinie. En pratique, le modèle estime ce que le robot « verra » après une action, puis choisit des mouvements compatibles avec cette conséquence attendue. Les résultats présentés ici proviennent du travail de recherche de ses auteurs : il faut donc les considérer comme des résultats annoncés dans l’article, et non comme un benchmark confirmé indépendamment. 1

Une architecture en trois étapes

1. Transformer les mouvements du corps entier en représentations compactes

La première étape convertit les mouvements de haute dimension du corps entier en tokens d’action, ou représentations latentes, grâce à un tokenizer appelé Whole-Body FAST. Cette compression offre au modèle une façon plus facile à exploiter de représenter des actions complexes : déplacer les jambes, ajuster le tronc et tendre le bras, par exemple. 1

Les chercheurs adaptent également un modèle de vision et de langage Qwen3-VL-2B-Instruct à l’environnement robotique. Des tokens appris permettent de distinguer la vue égocentrée — la perspective de la caméra embarquée sur le robot — de la vue exocentrée, filmée par une caméra extérieure. Le système peut ainsi profiter d’une supervision en vue extérieure pendant l’entraînement, tout en fonctionnant depuis le point de vue du robot lors de l’exécution. 1

2. Prédire ce que le robot verra avant de choisir son action

La deuxième étape s’inspire de l’objectif de prédiction latente de V-JEPA. Omega-0 combine les informations visuelles, l’instruction en langage naturel et la proprioception, c’est-à-dire les mesures décrivant l’état interne du robot, afin de prédire de futures caractéristiques visuelles. Il ne cherche donc pas à reconstruire chaque pixel de l’image à venir. 1

Un transformeur de diffusion exploite ensuite ces représentations prédites pour générer une séquence de latents d’action du corps entier, compatible avec le contrôleur du robot. L’objectif est de sélectionner une action non seulement parce qu’elle est mécaniquement plausible, mais aussi parce qu’elle devrait conduire à une situation visuelle utile : se déplacer, orienter le corps et la caméra, puis tendre le bras vers un objet, par exemple. 1

3. Adapter le modèle au robot et aux maisons réelles

Dans la troisième étape, des démonstrations publiques réalisées par des humains sont transférées vers l’espace latent du robot au moyen d’un ancrage fondé sur la simulation. Le système est ensuite adapté à partir de données réelles de robots humanoïdes réalisant des tâches domestiques. 1

Lorsqu’il agit, Omega-0 ne planifie pas nécessairement toute une tâche longue d’un seul coup. Il produit un court segment d’action, l’exécute, observe à nouveau son environnement, puis ajuste son plan. Cette stratégie, appelée planification à horizon glissant (receding horizon), permet de corriger la trajectoire en fonction de nouvelles informations visuelles et proprioceptives, au lieu de suivre une trajectoire entièrement ouverte et déterminée à l’avance. 1

Omega-HOME : un dataset de tâches domestiques en conditions réelles

Pour entraîner et évaluer le modèle, les chercheurs présentent Omega-HOME, un dataset d’interactions domestiques réelles avec des robots humanoïdes. Il comprend 40,3 heures de données, 4 827 épisodes téléopérés et 24 tâches domestiques, enregistrés à 30 images par seconde. 1

Les données synchronisées incluent :

• les instructions en langage naturel ;
• des images RGB égocentrées provenant de la caméra du robot ;
• des images RGB-D exocentrées enregistrées avec une caméra ZED ;
• l’état proprioceptif du robot ;
• des références de mouvements du corps entier ;
• des latents d’action compatibles avec le contrôleur. 1

Les tâches sont réparties en huit catégories de capacités :

• récupérer des objets ;
• nettoyer des surfaces ;
• interagir avec des appareils ;
• transférer des objets entre des contenants ;
• manipuler des tissus ;
• ranger des objets dans des espaces de stockage ;
• réaliser des manipulations mobiles ;
• utiliser des outils pour effectuer des tâches au sol. 1

L’intérêt du dataset est qu’il ne se limite pas à la prise d’objets sur une table. Les robots doivent déplacer leur base, modifier leur posture et leur tronc, maintenir leur équilibre et manipuler des meubles, des objets ou des outils sur des séquences plus longues. 1

Comment les chercheurs ont limité le risque de contamination du benchmark

Dans le protocole décrit par l’article, les 11 types de tâches utilisés pour l’évaluation ont été retirés des données d’entraînement d’Omega-HOME. Les autres données robotiques ont été combinées avec des démonstrations humaines publiques pour le préentraînement. Des données réelles enregistrées dans des maisons ont ensuite servi à l’ancrage et à l’entraînement final. 1

Cette séparation réduit le risque que le modèle mémorise simplement les mêmes démonstrations que celles présentes dans le jeu de test. Elle ne garantit toutefois pas une généralisation parfaite : les pièces, les objets, la structure des tâches, le matériel ou les méthodes de collecte peuvent encore présenter des ressemblances entre l’entraînement et l’évaluation. La vérification la plus exigeante consisterait à reproduire ces résultats dans de nouvelles maisons et sur d’autres plateformes humanoïdes.

81,8 % de réussite sur 11 tâches domestiques réelles

Sur 11 tâches réelles de locomotion et de manipulation en environnement domestique, les auteurs annoncent pour Omega-0 un taux de réussite moyen de 81,8 %. Le résultat est obtenu avec un modèle unique, plutôt qu’avec des politiques séparées pour chaque tâche, des têtes d’action distinctes ou des modules indépendants pour la marche et la manipulation. 1

Les essais couvrent notamment la manipulation sur table, le nettoyage, la lessive, le transfert d’objets, l’interaction avec des appareils et la manipulation mobile. L’article indique également qu’Omega-0 dépasse, sur ce protocole de test, les modèles comparés π-0.5, EgoVLA, GR00T-N1.7 et ψ-0. 1

Les éléments disponibles ne permettent pas de citer avec suffisamment de certitude les pourcentages agrégés exacts de chacun de ces modèles. La conclusion prudente se limite donc au classement annoncé par les auteurs et au score de 81,8 % d’Omega-0, sans extrapoler vers une comparaison numérique plus détaillée. 1

Ce que ce résultat change pour l’IA incarnée

La contribution principale d’Omega-0 est architecturale. Elle propose une manière de relier les démonstrations humaines, le langage, la vision, la proprioception et le contrôle du corps entier au moyen de la prédiction de représentations perceptives futures. 1

Au lieu d’apprendre uniquement quelle action correspond à une image donnée, le modèle tente de relier chaque mouvement à l’état visuel auquel il devrait conduire. Cette approche est particulièrement pertinente pour les tâches dans lesquelles le robot doit décider simultanément où se placer, quoi regarder et comment utiliser ses mains.

Mais 81,8 % ne signifie pas que les robots humanoïdes sont prêts à fonctionner seuls et sans contrôle dans n’importe quelle maison. Plusieurs difficultés majeures restent à résoudre :

• La fiabilité sur de longues durées : un score moyen sur 11 tâches ne démontre pas qu’un robot peut fonctionner pendant plusieurs heures, récupérer après une succession d’erreurs ou enchaîner de manière robuste de nombreux sous-objectifs dépendants.
• La sécurité : interagir avec des personnes, des objets fragiles, des escaliers, du désordre, des animaux domestiques ou des mouvements imprévus exige des garde-fous explicites, une gestion de l’incertitude et des vérifications au niveau matériel.
• La généralisation : les résultats sur des objets et des scènes laissés de côté pendant l’entraînement sont encourageants, mais ils ne suffisent pas à établir la transférabilité du système à d’autres logements, éclairages, agencements, habitudes de rangement ou morphologies de robots. 1
• L’adaptation : une maison change en permanence. Un système réellement pratique doit détecter ses échecs, demander de l’aide lorsque c’est nécessaire, apprendre sans danger et s’adapter sans nécessiter un réentraînement coûteux.

La conclusion la plus précise est donc qu’Omega-0 constitue une étape importante vers la coordination unifiée de la locomotion et de la manipulation chez les robots humanoïdes. Ses 81,8 % représentent un résultat de recherche solide sur le benchmark étudié, mais pas encore la preuve qu’un robot peut accomplir de manière fiable toute tâche domestique, sans supervision.