Pourquoi le LJM de Muka Robotics a atteint la 2e place de WorldArena avec 32 GPU

L’intérêt du LJM (Latent Joint-conditional Model) de Muka Robotics ne tient pas à l’idée qu’un entraînement sur peu de matériel battrait systématiquement les très grands systèmes. Il vient plutôt d’une autre répartition du travail : prévoir ce que les actions d’un robot produiront dans le monde physique, puis rendre ces conséquences sous forme de vidéo cohérente.

D’après les informations rendues publiques, Muka a présenté son modèle sous le pseudonyme SisyphusWorld. Il aurait atteint 73,06 au score EWMScore_P de WorldArena, soit la deuxième place du classement public, derrière UNIS de Xiaomi à 73,64. Les résultats publiés font aussi état de 89,17 en qualité du mouvement, 92,60 en précision 3D et 85,93 en contrôlabilité, pour un entraînement réalisé avec 32 GPU Zhenwu 810E. 1

Ces chiffres sont notables, mais ils reposent à ce stade principalement sur des publications de plateforme et de presse. Ils ne remplacent ni une reproduction indépendante complète, ni une étude d’ablation publique permettant de mesurer précisément l’effet de chaque choix technique.

D’abord modéliser l’interaction, ensuite générer l’image

Dans un modèle vidéo de diffusion classique conditionné par les actions, les commandes du robot sont souvent ajoutées comme des variables de faible dimension au réseau de génération. La sortie peut alors varier avec l’action, mais le modèle doit encore déduire, essentiellement depuis les objectifs visuels, ce que ces chiffres impliquent : contact entre le bras et un objet, saisie, déplacement de l’objet ou maintien de relations spatiales cohérentes.

LJM cherche à rendre cette étape explicite. Le système convertit l’instruction en langage naturel, l’historique visuel, l’observation d’ancrage et les actions futures en variables latentes d’interaction apprenables. Celles-ci contraignent ensuite la génération de la vidéo future. 1

Autrement dit, le générateur vidéo n’a plus à assumer seul la compréhension des actions, la prédiction des interactions et la production d’images. Il peut davantage se concentrer sur la continuité visuelle et le rendu des détails, tandis qu’une couche dédiée porte la prédiction robot-objet.

Une architecture à deux experts

LJM associe deux composants qui travaillent ensemble :

• L’expert de raisonnement latent (Latent Reasoning Expert), fondé sur Qwen3-VL-2B, traite l’instruction, la séquence visuelle, l’observation d’ancrage et les actions planifiées. Il produit des reasoning tokens continus. Il ne s’agit pas d’une chaîne de pensée exprimée en langage naturel, mais d’une représentation dans l’espace latent de l’état futur du robot, des changements possibles de la scène et des mouvements déclenchés par l’action. 1
• L’expert de modélisation du monde (World Modeling Expert), basé sur le Diffusion Transformer Wan2.2-TI2V-5B, génère la vidéo future dans l’espace latent d’un VAE. Il convertit la représentation des interactions en une séquence visuelle cohérente. 1

On peut résumer la division du travail ainsi : le premier expert élabore un « scénario d’interaction », le second le rend visible. Cette séparation fournit une explication plausible aux bonnes performances rapportées en mouvement, structure spatiale et contrôlabilité avec des ressources limitées. Elle ne constitue toutefois pas, à elle seule, une démonstration causale définitive.

Trois contraintes de prédiction pour ancrer le latent dans des observations

Introduire une variable latente ne garantit pas qu’elle représente véritablement la dynamique physique. LJM ajoute donc trois contraintes de prédiction reliées à des données observables :

1. La position 3D de l’effecteur terminal — l’outil situé au bout du bras robotique, tel qu’une pince — afin de relier la représentation à sa trajectoire spatiale ;
2. La dynamique visuelle des objets de la scène, pour que le modèle suive les changements compatibles avec la manipulation ;
3. La direction du flux optique, c’est-à-dire la direction apparente des mouvements entre les images. 1

L’objectif est que la représentation latente ne serve pas uniquement à produire des images convaincantes. Elle doit aussi rendre compte de la destination du robot, des objets qui changent et du sens du mouvement dans l’image. Les descriptions publiques présentent ce mécanisme comme une supervision croisée des états futurs du robot, du flux optique et des variables visuelles latentes. 1

Cela ne garantit pas une compréhension rigoureuse de tous les cas de contact, de frottement ou d’occlusion. Ces contraintes donnent néanmoins au modèle des signaux d’interaction plus directs que la seule reconstruction vidéo.

Pourquoi l’attention partagée compte

LJM emploie une attention partagée de type Mixture-of-Transformers. Les tokens de raisonnement et les tokens vidéo peuvent ainsi échanger de l’information au fil des couches du modèle, au lieu de transmettre une unique condition fixe au générateur vidéo. 1

Le but est de maintenir une coordination bidirectionnelle :

• la prédiction des interactions impose des contraintes spatiales et de mouvement à la génération vidéo ;
• le contexte porté par les représentations vidéo peut, en retour, contribuer à actualiser la représentation de l’interaction.

Cette communication couche par couche est, en théorie, mieux adaptée aux processus longs : si la position d’un objet, une occultation ou son état de mouvement évolue, la représentation de l’interaction n’est pas nécessairement figée sur la condition initiale. Les éléments publics décrivent ce mécanisme, mais ne fournissent pas d’ablation indépendante permettant d’en chiffrer l’apport isolé. 1

Ce que signifient — et ne signifient pas — les « 32 GPU »

Les publications évoquent l’emploi de 32 GPU Zhenwu 810E pour le préentraînement sur DROID et la poursuite de l’entraînement sur RoboTwin. 1 L’enseignement n’est donc pas que les modèles vidéo de monde seraient devenus peu coûteux, mais que l’architecture pourrait réduire la part du travail consistant, pour le générateur, à découvrir indirectement la structure des interactions à partir des pixels.

L’argument d’efficacité repose sur un biais inductif : consacrer une part du calcul à une représentation qui a un sens explicite pour l’interaction, ainsi qu’à des contraintes observables, plutôt que de demander à un modèle vidéo monolithique d’apprendre simultanément commande robotique, structure spatiale, dynamique des objets et qualité visuelle.

Le nombre de GPU ne suffit cependant pas à comparer le coût total d’entraînement. Durée des entraînements, taille des jeux de données, nombre de paramètres, résolution, efficacité du parallélisme et étapes d’apprentissage peuvent varier fortement d’un système à l’autre. Les informations disponibles ne permettent pas de calculer rigoureusement le gain total de calcul par rapport à d’autres modèles.

Entreprise et équipe : ce qui est établi, ce qui ne l’est pas

Des articles indiquent que Muka Robotics a été créée en avril 2026 pour travailler sur des modèles du monde robotique destinés au monde physique. Ils identifient Chi Xiaowei, docteur de l’Université des sciences et technologies de Hong Kong, comme fondateur ; un autre article le présente comme cofondateur et PDG. 1838

En revanche, les sources fournies ne donnent pas de description suffisamment fiable et cohérente de l’origine professionnelle ou institutionnelle de toute l’équipe. Il est donc prudent de s’en tenir au parcours de Chi Xiaowei rapporté publiquement, sans extrapoler à l’ensemble des membres. 1838

Ce que ce résultat permet réellement de conclure

La performance de SisyphusWorld sur le classement soutient une piste de recherche qui mérite d’être vérifiée davantage : un modèle du monde pour la robotique n’est pas obligé de miser uniquement sur l’augmentation de taille du générateur vidéo. Il peut traiter explicitement les conséquences des interactions, tout en les couplant étroitement à la génération visuelle.

Un rang au classement ne démontre toutefois pas que le raisonnement physique explicite surpasse universellement l’augmentation d’échelle, ni que LJM sera supérieur sur tous les robots, toutes les distributions de données ou tous les déploiements réels. Pour l’établir, il faudrait notamment des rapports techniques complets, des ablations des contraintes physiques, de l’attention partagée et de la séparation en deux experts, ainsi que des évaluations sur plusieurs jeux de données, morphologies de robots et boucles de contrôle réelles.

La conclusion la plus solide à ce stade est donc la suivante : LJM formule une hypothèse d’ingénierie convaincante selon laquelle apprendre conjointement, sans les confondre, la prédiction des interactions et la génération visuelle peut concentrer plus efficacement le calcul tout en améliorant la cohérence physique et la qualité des images. 1