Comment des robots formés virtuellement apprennent à naviguer dans le chaos du monde réel

La robotique est à un tournant. Pendant des années, les démonstrations les plus impressionnantes sont restées confinées aux laboratoires et aux chaînes de montage ultra-balises. Aujourd'hui, une nouvelle vague de recherches menée par NVIDIA suggère que les robots entraînés en simulation commencent à fonctionner de manière fiable dans des environnements réels, désordonnés et imprévisibles. Lors de la conférence internationale sur la robotique et l'automatisation (ICRA) 2026, NVIDIA Research a présenté 28 articles acceptés, dont huit démontraient spécifiquement comment le transfert de la simulation au réel (sim-to-real) aide les robots à percevoir, raisonner, planifier et agir dans des environnements dynamiques .

Le fil conducteur est sans équivoque : plutôt que de collecter péniblement des millions de démonstrations dans le monde réel, l'entraînement dans une simulation haute-fidélité devient la fondation évolutive pour une autonomie incarnée, généralisable et fiable en dehors du laboratoire .

Les huit publications : une avancée sur toute la stack robotique

Ces huit articles abordent collectivement les défis fondamentaux auxquels les développeurs en robotique sont confrontés aujourd'hui, de la coordination multi-bras au raisonnement vision-langage-action.

ScheduleStream : une planification multi-bras 3x plus rapide

Les logiciels traditionnels d'ordonnancement pour robots traitent les bras de manière séquentielle, créant des goulets d'étranglement dans les cellules multi-bras. ScheduleStream exécute les calculs sur des GPU, permettant à plusieurs bras de planifier leurs mouvements et d'opérer en parallèle. Fonctionnant sur la plateforme d'IA embarquée NVIDIA Jetson, il a permis une accélération d'un facteur 3 dans divers scénarios de planification multi-bras. Ce framework est disponible en open source sur GitHub .

COMPASS : une navigation cross-embodiment avec 80 % de succès en conditions réelles

Construire des robots capables de naviguer quelles que soient leurs morphologies — robots mobiles à roues, humanoïdes — est notoirement difficile. Le framework de politiques COMPASS entraîne d'abord une politique de navigation de base via l'apprentissage par imitation, puis utilise l'apprentissage par renforcement résiduel dans NVIDIA Isaac Lab pour créer des politiques spécialisées pour divers types de corps, le tout en simulation. Comparé aux bases d'apprentissage par imitation, COMPASS a permis une amélioration moyenne du taux de réussite d'un facteur 4,5. Il s'est également transféré de manière transparente au monde réel, démontrant environ 80 % de succès sur 20 essais de navigation réels avec des robots mobiles autonomes et des humanoïdes .

Grasp-MPC : une préhension adaptative qui se corrige en plein mouvement

Les plans de préhension fixes échouent lorsqu'un objet se déplace ou que l'estimation initiale du robot est légèrement erronée. Grasp-MPC corrige en continu le mouvement du robot à mesure qu'il s'approche d'un objet. Les chercheurs ont généré 2 millions de trajectoires simulées sur 8 000 objets en utilisant le jeu de données GraspGen et cuRobo, une bibliothèque de génération de mouvement accélérée par CUDA. Sur des robots réels, il a atteint un taux de succès global de préhension d'environ 75 % contre une base de 41 % .

Manipulation de clusters déformables : déblayer le désordre en zero-shot

Manipuler des matériaux emmêlés et flexibles, comme des branches sur des lignes électriques, exige plus qu'un simple préhenseur. Les chercheurs de NVIDIA ont entraîné des politiques à utiliser tout le bras pour balayer des clusters, en utilisant des milliers d'arbres synthétiques dans les frameworks de simulation Isaac. Résultat : des politiques déployées en zero-shot sur de vraies branches, sans entraînement supplémentaire .

PEEK : une vision focalisée pour un gain de précision de 41x

Les distracteurs dans le champ de vision d'un robot peuvent faire dérailler même les politiques de manipulation les mieux entraînées. PEEK utilise un modèle vision-langage pour lire une instruction de tâche et concentrer la vision du robot sur les objets pertinents tout en estompant le reste. Ajouté à une politique entraînée purement en simulation, PEEK a produit une amélioration d'un facteur 41 de la précision en conditions réelles. Pour les grands modèles vision-langage-action (VLA), les gains allaient de 2x à 3,5x. PEEK s'intègre à toute politique basée sur une caméra sans modification .

Do What You Say (SEAL) : combler le fossé entre raisonnement et action

Le framework SEAL — une collaboration avec l'Université Carnegie Mellon, l'Université de l'Utah et l'Université de Sydney — corrige un mode de défaillance étonnamment fréquent : le modèle raisonne correctement, choisit le bon plan, mais exécute autre chose. SEAL génère de multiples séquences d'actions candidates, simule où chacune mène, et sélectionne celle qui correspond le mieux à l'intention déclarée. Il offre jusqu'à 15 % de gains de précision par rapport aux travaux antérieurs et reste robuste face à des instructions reformulées, au désordre et aux changements d'angle de caméra .

Refinery : enchaîner les étapes d'assemblage avec 91 % de succès en simulation

Pour les assemblages en plusieurs parties, le résultat de chaque étape conditionne la suivante. Refinery entraîne des politiques qui comprennent ces dépendances, en apprenant à travers des centaines de scénarios simulés. Il atteint 91 % de succès en simulation et une amélioration moyenne de près de 11 % par rapport aux bases, avec des politiques qui s'enchaînent pour de longues séquences d'assemblage complexes .

Apprentissage par renforcement sim-to-real basé sur la vision pour des tâches humanoïdes dextres

Une méthode distincte d'apprentissage basée sur la vision a permis d'entraîner un robot humanoïde pour des tâches de saisie et d'atteinte, de levage de boîtes et de passation bimanuelle. L'approche a démontré des taux de succès élevés sur des objets inconnus avec des comportements adaptatifs robustes, soulignant que la manipulation dextre basée sur la vision via le RL sim-to-real est à la fois viable et évolutive .

Les plateformes sous-jacentes : GR00T, Cosmos, Newton, cuMotion, et Jetson

Les huit publications reposent sur plusieurs plateformes transversales de NVIDIA qui font de la simulation un environnement de développement pratique de bout en bout :

• NVIDIA Isaac GR00T : Une initiative de recherche et une plateforme de développement pour des modèles de fondation de robots généralistes, comprenant des modèles ouverts (la série GR00T N) pour le raisonnement et le contrôle des humanoïdes, des frameworks de simulation construits sur Omniverse et Cosmos, et l'ordinateur embarqué Jetson AGX Thor .
• Les modèles de monde NVIDIA Cosmos : Une plateforme de modèles génératifs de pointe pour créer des mondes virtuels à l'échelle, prenant en charge la génération de données synthétiques et l'évaluation de politiques entièrement en simulation .
• Le moteur physique Newton 1.0 : Un moteur physique open source accéléré par GPU, co-développé avec Google DeepMind et Disney Research, désormais disponible dans NVIDIA Isaac Lab pour créer des robots plus capables et adaptables .
• NVIDIA cuMotion : Une bibliothèque accélérée par CUDA qui résout les problèmes de planification de mouvement des robots à grande échelle en exécutant de multiples optimisations de trajectoire simultanément pour fournir la meilleure solution .
• La plateforme d'IA embarquée NVIDIA Jetson : La plateforme matérielle utilisée à bord des robots pour exécuter toute la stack robotique, y compris la démonstration d'accélération de 3x de ScheduleStream, le Jetson AGX Thor servant d'ordinateur de bord .

Des partenaires qui mettent l'efficacité du sim-to-real au travail

Toyota Research Institute réduit le besoin en données réelles

Le Toyota Research Institute (TRI) a personnalisé les modèles de monde NVIDIA Cosmos pour la synthèse de vues dynamiques et la téléopération de robots, réduisant ainsi la quantité de données réelles nécessaires pour entraîner des politiques de manipulation basées sur la vision .

Mimic Robotics : une efficacité d'échantillonnage 10x meilleure

Mimic Robotics a développé un modèle vidéo-action à l'aide des plateformes NVIDIA qui atteint une efficacité d'échantillonnage 10x supérieure et une convergence 2x plus rapide sur les tâches de manipulation réelles, réduisant considérablement le nombre de démonstrations réelles coûteuses nécessaires .

Doosan Robotics ajoute une palettisation contextuelle

Doosan utilise NVIDIA Cosmos Reason pour permettre aux robots de palettisation d'analyser le contenu des boîtes, de détecter les dommages et d'ajuster la manipulation en fonction du poids et de la fragilité, permettant une prise de décision contextuelle sans données d'entraînement réelles exhaustives .

Vue d'ensemble : des démos scriptées à l'autonomie incarnée

NVIDIA a présenté cet ensemble de travaux comme faisant partie d'un changement fondamental dans l'industrie de la robotique :

« La robotique entre dans une nouvelle phase : elle passe de démonstrations contrôlées et d'une automatisation scriptée à une autonomie incarnée, généralisable et fiable dans le monde réel » .

Le transfert du virtuel au réel n'est plus une curiosité académique. Les huit articles de l'ICRA montrent qu'il s'attaque à toute la stack : coordination multi-bras en parallèle, généralisation des politiques à travers différentes morphologies, préhension d'objets nouveaux dans le désordre, manipulation zero-shot de matériaux déformables, assemblage séquentiel de précision et modèles vision-langage-action qui raisonnent avant de bouger . Le message est clair : l'entraînement par simulation — plutôt que la dépendance à de vastes quantités de démonstrations humaines réelles — est la voie évolutive vers des robots qui fonctionnent de manière robuste dans des environnements dynamiques et non structurés.