LJM di Muka Robotics: perché 32 GPU sono bastate per il secondo posto in WorldArena

Il risultato di LJM (Latent Joint-conditional Model) di Muka Robotics è interessante non perché dimostri che un addestramento con poche GPU sia sempre sufficiente, ma perché propone una diversa divisione del lavoro: prevedere che cosa un’azione farà nel mondo fisico e renderizzare tale conseguenza come video coerente sono compiti distinti, ma collegati.

Secondo le informazioni pubblicate, Muka ha presentato LJM con lo pseudonimo SisyphusWorld. Il modello avrebbe ottenuto 73,06 in EWMScore_P nella classifica pubblica di WorldArena, al secondo posto dietro UNIS di Xiaomi, con 73,64. Sono inoltre riportati 89,17 in Motion Quality, 92,60 in 3D Accuracy e 85,93 in Controllability; l’addestramento avrebbe usato 32 GPU Zhenwu 810E.1 Sono risultati da seguire, ma le evidenze disponibili provengono soprattutto da piattaforme e articoli di settore: non sostituiscono una riproduzione indipendente completa né uno studio pubblico di ablazione.

L’idea centrale: modellare prima l’interazione, poi l’immagine

Nei modelli di diffusione video condizionati dalle azioni, l’azione del robot viene spesso fornita alla rete come condizione numerica a bassa dimensionalità. Il video può quindi cambiare in funzione dell’azione, ma il modello deve ancora dedurre principalmente dagli obiettivi visivi che cosa quei numeri comportino: se il braccio toccherà un oggetto, se la pinza lo afferrerà, dove finirà l’oggetto e se le relazioni spaziali resteranno coerenti.

LJM cerca di rendere esplicito questo passaggio. Trasforma istruzione linguistica, cronologia visiva, osservazione di ancoraggio corrente e azioni future in variabili latenti di interazione, poi le usa per vincolare la generazione del video futuro.1 In questo modo il generatore video non è l’unico responsabile di interpretare l’azione, prevedere l’interazione e produrre immagini plausibili.

Non significa che il rendering video diventi secondario. La proposta è, al contrario, di lasciare al generatore più capacità per coerenza visiva e dettagli, affidando a una rappresentazione dedicata la previsione dell’interazione tra robot e oggetti.

Due esperti, due compiti complementari

LJM è organizzato in due componenti che collaborano:

• Latent Reasoning Expert: basato su Qwen3-VL-2B, riceve istruzione, sequenza visiva, osservazione di ancoraggio e azioni pianificate; produce token continui di ragionamento. Qui «ragionamento» non indica una catena di pensiero in linguaggio naturale: si tratta di una codifica nello spazio latente dello stato che il robot raggiungerà, dei possibili cambiamenti della scena e del movimento provocato dalle azioni.1
• World Modeling Expert: basato sul Diffusion Transformer Wan2.2-TI2V-5B, genera il video futuro nello spazio latente di una VAE, traducendo la rappresentazione delle interazioni in una sequenza visiva coerente.1

Un paragone utile è quello tra una sceneggiatura dell’interazione e la sua resa grafica: il primo componente anticipa le conseguenze dell’azione, il secondo le rende in immagini. Questa separazione può spiegare perché l’architettura riesca potenzialmente a ottenere buoni risultati su movimento, spazio e controllabilità con risorse limitate; resta però una spiegazione progettuale plausibile, non una prova causale conclusiva.

Tre vincoli predittivi per ancorare il latente ai dati osservabili

Introdurre uno spazio latente non garantisce, da solo, che esso rappresenti davvero la fisica. LJM applica ai token di ragionamento tre vincoli predittivi collegati a osservazioni concrete:

1. Posizione 3D dell’end effector, cioè l’organo terminale del braccio robotico, per allineare la rappresentazione alla traiettoria nello spazio;
2. Dinamica visiva degli oggetti nella scena, per verificare che gli oggetti manipolati cambino in modo compatibile con l’azione;
3. Direzione del flusso ottico, per rendere conto della direzione del movimento nell’immagine.1

Il punto è che la rappresentazione latente non dovrebbe limitarsi a produrre fotogrammi verosimili: deve anche spiegare dove si muove il robot, quali oggetti cambiano e in quale direzione si sviluppa il moto visibile. Le fonti descrivono questa impostazione come una supervisione intrecciata su stato futuro del robot, flusso ottico e variabili latenti visive.1

Questi vincoli non garantiscono una comprensione fisica rigorosa in ogni situazione, ad esempio in presenza di contatti complessi, attrito o occlusioni. Offrono però segnali di addestramento più diretti dell’ottimizzazione basata soltanto sulla ricostruzione video.

Perché l’attenzione condivisa può fare la differenza

LJM utilizza inoltre un’attenzione condivisa in una struttura di tipo Mixture-of-Transformers. I token di ragionamento e quelli video possono quindi scambiarsi informazioni attraverso gli strati del modello, anziché affidarsi al passaggio una tantum di un vettore di condizionamento fisso verso il generatore.1

L’obiettivo è un coordinamento bidirezionale continuo:

• la previsione dell’interazione fornisce vincoli spaziali e di movimento alla sintesi video;
• il contesto presente nei token video può, a sua volta, contribuire ad aggiornare la rappresentazione dell’interazione.

Rispetto a un condizionamento unidirezionale e statico, lo scambio progressivo si adatta meglio a processi lunghi: se durante la generazione cambiano posizione degli oggetti, occlusioni o stato del movimento, la rappresentazione dell’interazione non deve restare necessariamente bloccata alle condizioni iniziali. Le fonti pubbliche descrivono il meccanismo, ma non forniscono risultati indipendenti di ablazione in grado di quantificarne il contributo isolato.1

Che cosa significano davvero le «32 GPU»

Le ricostruzioni disponibili indicano l’uso di 32 GPU Zhenwu 810E nell’addestramento, inclusi il pre-addestramento su DROID e la fase successiva su RoboTwin.1 La lettura più utile non è che i modelli del mondo video siano improvvisamente economici, ma che questa architettura potrebbe ridurre il carico sul generatore: invece di dover scoprire indirettamente dai pixel la struttura delle interazioni, il sistema riceve una rappresentazione e vincoli pensati per quello scopo.

In altre parole, l’argomento di efficienza riguarda il bias induttivo: allocare parte della capacità di calcolo a una rappresentazione latente con significato interattivo e a obiettivi osservabili, anziché chiedere a un unico modello video di apprendere simultaneamente controllo, geometria, dinamica degli oggetti e qualità dell’immagine.

Il numero di GPU, tuttavia, non consente da solo di confrontare il calcolo totale impiegato. Durata dell’addestramento, quantità e qualità dei dati, dimensione dei modelli, risoluzione, efficienza del parallelismo e fasi di training possono essere molto diversi. Le informazioni disponibili non bastano quindi a calcolare con rigore un eventuale risparmio computazionale rispetto ad altri sistemi.

Azienda e team: ciò che è noto e ciò che non lo è

Secondo articoli pubblicati, Muka Robotics è stata fondata nell’aprile 2026 e si concentra su modelli del mondo robotici per il mondo fisico reale. Le stesse fonti indicano Chi Xiaowei, dottore di ricerca alla Hong Kong University of Science and Technology, come fondatore; un’altra ricostruzione lo descrive come cofondatore e CEO.1838

Non sono invece disponibili, nel materiale fornito, dettagli sufficientemente affidabili e coerenti per ricostruire l’origine professionale dell’intero team o attribuirne i membri a specifiche aziende e laboratori. La conclusione prudente è dunque limitata al background accademico di Chi Xiaowei, riportato pubblicamente; non è corretto estendere questa informazione a tutta la squadra.1838

Cosa dimostra — e cosa non dimostra — il secondo posto

La prestazione di SisyphusWorld sostiene una direzione tecnica che merita ulteriori verifiche: per i modelli del mondo robotici non è indispensabile puntare solo sull’aumento della scala del generatore video. Si può anche trattare esplicitamente l’effetto delle azioni sulle interazioni e collegarlo strettamente alla generazione visiva.

Una posizione in classifica, però, non prova da sola che il ragionamento fisico esplicito sia generalmente superiore all’addestramento su scala maggiore, né che LJM prevalga in ogni robot, distribuzione di dati o scenario di impiego reale. Per stabilirlo servirebbero rapporti tecnici più completi: ablazioni dei singoli vincoli fisici, dell’attenzione condivisa e della separazione in due esperti, oltre a test su dataset e robot diversi e in controllo reale a ciclo chiuso.

Per ora, la conclusione più equilibrata è questa: LJM propone un’ipotesi ingegneristica convincente — addestrare insieme, ma senza confonderli, la previsione delle interazioni e la generazione visiva può concentrare meglio il calcolo e migliorare al tempo stesso coerenza fisica e qualità delle immagini. 1