WUWENAI mise sur une boucle réel–virtuel pour résoudre le manque de données en robotique

Le pari de WUWENAI est simple à formuler : l’IA incarnée — c’est-à-dire une intelligence artificielle capable de percevoir le monde et d’agir physiquement sur lui — ne passera pas à l’échelle en accumulant uniquement des démonstrations humaines. La start-up propose donc une boucle Real-to-Sim-to-Real, du réel vers la simulation puis de nouveau vers le réel.

Le principe consiste à partir d’interactions entre robots et objets, à utiliser ces données pour ancrer un modèle génératif du monde, puis à produire dans un environnement simulé une multitude de variantes, d’actions et d’échecs possibles. Les cas les plus instructifs sont ensuite renvoyés vers le monde physique afin d’améliorer à la fois les données, le modèle et les politiques de contrôle. WUWENAI présente cette infrastructure comme la stratégie portée par son fondateur et PDG Liu Shengxiang, ancien responsable des données et des tests de conduite autonome chez Baidu. 8

Trois briques pour transformer les données en expériences

1. La Data Factory : partir de la réalité physique

Des dispositifs de capture multimodale enregistrent de façon synchronisée les observations et les actions lors d’interactions réelles entre un robot et son environnement : état visuel, mouvements, contacts, trajectoires et résultat de la tâche.

L’objectif n’est pas seulement de produire des images réalistes, mais de préserver les relations de cause à effet nécessaires au contrôle robotique — par exemple la manière dont une force, un frottement ou un contact modifie le mouvement d’un objet. C’est précisément ce qui manque souvent aux vidéos trouvées sur le Web ou aux scènes synthétiques déconnectées de la réalité physique.

WUWENAI a également annoncé Wuyin, une plateforme de données pour l’IA physique. L’entreprise revendique plus de 1 000 téraoctets de données et 10 000 heures de jeux de données de haute qualité accessibles au public. 12

2. Le modèle génératif du monde : multiplier les situations

Le World Model, ou modèle du monde, apprend comment un environnement évolue lorsqu’un agent incarné agit sur lui. Il cherche à représenter dans une forme compacte l’état d’une scène et son évolution dans le temps. 5

Une fois ancré dans des données réelles, ce modèle peut générer des variantes de tâches, des trajectoires, des perturbations, des configurations d’objets et des scénarios d’échec conditionnés par les observations physiques initiales. Une même interaction réelle peut ainsi devenir le point de départ de nombreuses expériences contrefactuelles : que se passe-t-il si l’objet glisse, si la prise est légèrement décalée ou si un obstacle apparaît ?

3. Le World Simulator : entraîner et tester sans mobiliser constamment un robot

Les politiques de contrôle peuvent être exécutées à grande vitesse dans le simulateur, à un coût inférieur à celui d’essais répétés sur du matériel réel. Le système peut comparer les résultats, repérer les situations où la politique est fragile et déterminer quelles expériences méritent une nouvelle collecte dans le monde physique.

Des travaux récents sur les simulateurs interactifs et conditionnés par l’action indiquent que leurs évaluations peuvent présenter une corrélation avec les performances réelles. Mais cette capacité reste un sujet de recherche actif : la simulation robotique n’est pas encore une solution parfaitement fiable. 3

Comment atteindre des « millions d’heures » de données ?

Liu Shengxiang ne prétend pas nécessairement que WUWENAI enregistrera physiquement des millions d’heures de fonctionnement robotique. Son idée est plutôt de transformer un volume plus limité d’interactions physiques bien documentées en un corpus beaucoup plus vaste de trajectoires synthétiques, contrôlables et exploitables pour l’entraînement.

La boucle physique sert à corriger progressivement la simulation et à limiter les dérives du modèle. La boucle virtuelle, elle, fournit l’échelle : elle permet de tester rapidement des milliers de variantes sans user de robots, sans mobiliser d’opérateurs et sans exposer de machines à chaque échec. Ce schéma de rétroaction entre données réelles et données synthétiques rejoint des travaux émergents sur l’apprentissage par renforcement en boucle fermée avec des robots réels. 4

Pourquoi ne pas se contenter des méthodes existantes ?

WUWENAI considère que les trois principales méthodes de collecte ont chacune un plafond.

• La téléopération fournit des actions clairement étiquetées et peut produire des démonstrations précises. Mais elle est lente, coûteuse et dépendante des opérateurs. Elle favorise en outre les comportements réussis et couvre mal les erreurs rares, les situations imprévues et les scénarios contrefactuels.
• La vidéo humaine en vue subjective offre beaucoup de contenu, mais elle ne contient généralement ni les actions exactes du robot, ni une géométrie calibrée, ni les signaux de force et de contact. La correspondance entre le corps humain filmé et l’architecture d’un robot reste également limitée : ces vidéos constituent donc une supervision imparfaite pour la manipulation.
• La simulation pure est économique et permet de varier facilement les environnements. En revanche, elle peut reproduire une géométrie incorrecte, des dynamiques de contact irréalistes, un bruit de capteur mal modélisé ou des comportements d’objets et d’humains qui ne correspondent pas au monde réel. C’est le cœur du « fossé simulation-réalité », ou sim-to-real gap. L’alignement continu d’un jumeau numérique avec les observations physiques est censé réduire ce problème. 2

De l’imitation à l’apprentissage par renforcement

Les démonstrations sont particulièrement utiles pour amorcer l’apprentissage par imitation : le robot apprend à reproduire ce que le démonstrateur a fait. Mais une simulation suffisamment fidèle et conditionnée par les actions ouvre une autre possibilité : laisser la politique essayer plusieurs options, recevoir une récompense selon le résultat, optimiser des séquences plus longues et apprendre à récupérer après un échec.

C’est le passage vers l’apprentissage par renforcement. Des travaux récents ont déjà étudié l’ajustement par renforcement de politiques vision-langage-action dans un modèle vidéo du monde, avec des trajectoires générées en fonction des actions choisies. La qualité des récompenses et la fidélité du modèle restent toutefois les deux contraintes décisives.

Une architecture qui dépasse le seul cas de WUWENAI

La concurrence ne se joue pas uniquement sur une fonctionnalité isolée. Plusieurs acteurs convergent vers une architecture comparable, où la collecte réelle, la génération de mondes et l’évaluation des politiques forment un même système.

World Labs décrit ainsi SceniX comme un moteur R2S2R capable de transformer une tâche physique en de nombreux mondes simulés, contrôlables et réutilisables pour l’entraînement et le test des politiques. 6 Les travaux de Google DeepMind ont également établi de longue date le lien entre modèles de dynamiques appris et apprentissage par renforcement à grande échelle.

Tesla dispose de solides atouts du côté de l’itération matérielle, de la fabrication et de son écosystème plus large de données et de calcul autour de l’autonomie. Mais les éléments publics disponibles ne permettent pas d’affirmer que WUWENAI serait techniquement en avance sur Tesla ou DeepMind. La comparaison reste donc une hypothèse de positionnement, pas un résultat démontré.

Pourquoi le marché chinois constitue un terrain favorable

La Chine possède la plus grande base installée de robots industriels au monde et développe parallèlement ses capacités dans la robotique humanoïde, tout en localisant progressivement une partie de sa chaîne d’approvisionnement. 17 Des commentaires officiels décrivent aussi l’IA incarnée comme passant des essais en petites séries à des déploiements plus larges. 19

Cet environnement peut fournir à une entreprise d’infrastructure un vaste réservoir potentiel d’usines, de robots, de tâches et de situations de déploiement. Une société comme WUWENAI pourrait y collecter les interactions nécessaires pour ancrer ses modèles, puis proposer des outils communs à plusieurs fabricants de robots.

Le point qui reste à prouver

Le statut « mondial » de WUWENAI et l’affirmation selon laquelle son approche aurait plusieurs mois d’avance relèvent pour l’instant de déclarations de l’entreprise ou de la presse, et non de benchmarks indépendants publiés.

Le véritable test sera beaucoup plus concret : le simulateur prédit-il assez bien les contacts, les manipulations et les conséquences d’actions sur des horizons longs pour que des politiques entraînées dans le virtuel fonctionnent de manière régulière sur différents robots, objets et environnements réels ? Tant que cette capacité n’est pas démontrée de façon reproductible, la boucle Real-to-Sim-to-Real reste une promesse d’infrastructure particulièrement ambitieuse — mais encore à valider.