Jak LJM od Muka Robotics zdobył 2. miejsce w WorldArena, trenując na 32 GPU

Publicznie dostępne opisy wskazują, że sukces LJM (Latent Joint-conditional Model) od Muka Robotics nie polega po prostu na tym, że niewielka pula sprzętu „pokonała” wielkie klastry. Istotniejsza jest inna organizacja zadania: model ma osobno uczyć się, jakie skutki w świecie fizycznym wywoła działanie robota, oraz jak przedstawić te skutki jako spójne wideo — a następnie ściśle łączyć oba procesy.

Według relacji medialnych Muka zgłosiła LJM do rankingu WorldArena pod anonimowym pseudonimem SisyphusWorld. Model osiągnął 73,06 EWMScore_P, co miało dać mu drugie miejsce w publicznym zestawieniu, za Xiaomi UNIS z wynikiem 73,64. Wśród podanych wyników cząstkowych znalazły się: 89,17 Motion Quality, 92,60 3D Accuracy i 85,93 Controllability. Trening miał zostać wykonany na 32 procesorach GPU Zhenwu 810E. 1

To wyniki warte uwagi, lecz dostępne dane pochodzą przede wszystkim z opisów platformy i mediów. Nie są one odpowiednikiem pełnej, niezależnej replikacji ani publicznego badania ablacjnego.

Najpierw interakcja, potem obraz

W typowych modelach dyfuzyjnych generujących wideo warunkowane ruchem robota, akcje robota trafiają do sieci jako niskowymiarowy sygnał sterujący. Taki zabieg może poprawiać kontrolowalność, ale model wideo nadal musi sam wydedukować z celów uczonych na pikselach, co fizycznie oznaczają liczby opisujące ruch: czy ramię dotknie obiektu, czy chwytak go złapie, gdzie przedmiot się przesunie i czy relacje przestrzenne pozostaną spójne.

LJM ma tę część wyodrębniać. Zamienia instrukcję językową, historię obserwacji wizualnych, bieżącą obserwację referencyjną oraz przyszłe działania na uczoną ukrytą reprezentację interakcji. Reprezentacja ta ogranicza późniejsze generowanie przyszłego wideo. 1

Inaczej mówiąc, generator nie musi samodzielnie dźwigać całego zadania: rozumienia ruchu, przewidywania interakcji i renderowania obrazu. Według założenia LJM może dzięki temu poświęcić więcej zdolności na ciągłość wizualną i szczegóły sceny, podczas gdy przewidywanie relacji robot–obiekt obsługuje wyspecjalizowana warstwa reprezentacji.

Dwóch ekspertów: plan interakcji i renderowanie wideo

Architektura LJM składa się z dwóch współpracujących ekspertów:

• Latent Reasoning Expert, czyli ekspert wnioskowania w przestrzeni ukrytej, oparty na Qwen3-VL-2B. Odczytuje instrukcję, sekwencję obrazu, obserwację referencyjną i zaplanowane akcje, po czym tworzy ciągłe tokeny wnioskowania. Nie jest to tekstowy „tok rozumowania”, lecz kodowanie w przestrzeni ukrytej przewidywanego stanu robota, zmian w scenie i ruchu wywołanego akcją. 1
• World Modeling Expert, czyli ekspert modelowania świata, oparty na Wan2.2-TI2V-5B Diffusion Transformer. Generuje przyszłe wideo w przestrzeni ukrytej VAE, przekładając reprezentację interakcji na ciąg klatek. 1

Dobrym skrótem jest porównanie do połączenia „scenariusza interakcji” z „renderowaniem”. Pierwszy komponent opisuje konsekwencje działania, drugi pokazuje je jako wiarygodną wizualną przyszłość. Taki podział pracy może wyjaśniać, dlaczego model uzyskał mocne wyniki dotyczące ruchu, geometrii 3D i sterowalności przy ograniczonych zasobach treningowych. To jednak rozsądna interpretacja projektu, a nie ostateczny dowód związku przyczynowego.

Trzy ograniczenia fizyczne dla tokenów ukrytych

Sama obecność zmiennej ukrytej nie gwarantuje, że rzeczywiście reprezentuje ona proces fizyczny. LJM ma więc nakładać na tokeny wnioskowania trzy rodzaje ograniczeń predykcyjnych, powiązanych z obserwowalnymi danymi:

1. Trójwymiarowe położenie efektora końcowego — czyli końcówki ramienia lub chwytaka;
2. Dynamikę wizualną obiektów w scenie — czy przedmiot manipulowany przez robota zmienia się zgodnie z ruchem;
3. Kierunek przepływu optycznego — kierunek ruchu widoczny na obrazie. 1

Znaczenie tych celów jest proste: reprezentacja ukryta nie ma służyć wyłącznie tworzeniu klatek, które „wyglądają sensownie”. Musi też uwzględniać, dokąd porusza się robot, co zmienia się w scenie i w jakim kierunku przemieszcza się obraz. Materiały opisują to jako przeplatany nadzór nad przyszłym stanem robota, przepływem optycznym i zmiennymi wizualnymi w przestrzeni ukrytej. 1

Nie oznacza to, że model zyskuje ścisłe rozumienie fizyki w każdej sytuacji kontaktu, tarcia czy zasłonięcia obiektu. Daje mu jednak bardziej bezpośredni sygnał dotyczący interakcji niż samo odtwarzanie wideo.

Dlaczego współdzielona uwaga może mieć znaczenie

LJM wykorzystuje również mechanizm współdzielonej uwagi w układzie Mixture-of-Transformers. Tokeny wnioskowania i tokeny wideo wymieniają informacje między warstwami modelu, zamiast przekazywać do generatora tylko jeden, niezmienny wektor warunkujący. 1

Założeniem jest ciągła, dwukierunkowa koordynacja:

• przewidywania interakcji dostarczają generowaniu wideo ograniczeń przestrzennych i ruchowych;
• kontekst pochodzący z reprezentacji wideo może z kolei aktualizować reprezentację interakcji.

W porównaniu z jednokierunkowym warunkowaniem może to lepiej pasować do dłuższych sekwencji, w których położenie obiektu, zasłonięcia lub stan ruchu zmieniają się w trakcie generowania. Publiczne materiały opisują ten mechanizm, ale nie przedstawiają niezależnych eksperymentów ablacjnych, które pozwalałyby liczbowo wyodrębnić jego wkład. 1

Co naprawdę oznacza „32 GPU”

Doniesienia mówią o treningu na 32 kartach Zhenwu 810E, wykorzystanych w pretrenowaniu na zbiorze DROID i dalszym treningu na RoboTwin. 1 Najciekawsza interpretacja nie brzmi więc: „generowanie wideo stało się tanie”. Chodzi raczej o to, że architektura może zmniejszać obciążenie generatora, który nie musi pośrednio odkrywać struktury interakcji wyłącznie na podstawie pikseli.

Źródłem deklarowanej efektywności ma być indukcyjny bias, czyli ukierunkowanie uczenia: moc obliczeniowa jest przeznaczana na reprezentację o konkretnym znaczeniu interakcyjnym oraz na jej obserwowalne ograniczenia, zamiast zmuszać pojedynczy model wideo do równoczesnego nauczenia się kontroli ruchu, geometrii, dynamiki obiektów i jakości obrazu.

Sama liczba GPU nie pozwala jednak bezpośrednio porównać całkowitego kosztu obliczeniowego różnych systemów. Znaczenie mają także czas treningu, wielkość danych, liczba parametrów, rozdzielczość, wydajność równoległa i kolejne etapy uczenia. Na podstawie dostępnych informacji nie da się rzetelnie wyliczyć, ile całkowitej mocy obliczeniowej LJM zaoszczędził względem innych modeli.

Co wiadomo o firmie i zespole

Według dostępnych publikacji Muka Robotics powstała w kwietniu 2026 r. i koncentruje się na modelach świata dla robotów działających w realnym środowisku fizycznym. W materiałach jako założyciela wskazywany jest Chi Xiaowei, doktor z Hong Kong University of Science and Technology; miał on również pełnić funkcję przedstawiciela prawnego i faktycznego kontrolera spółki. 38 Inne doniesienie określa go jako współzałożyciela i CEO. 18

Brakuje natomiast wystarczająco wiarygodnych i spójnych danych, by potwierdzić pełne pochodzenie zawodowe całego zespołu — na przykład wcześniejsze firmy czy laboratoria wszystkich jego członków. Ostrożny wniosek jest więc taki, że publicznie raportowane jest doktoranckie zaplecze Chi Xiaowei na HKUST, ale nie należy na tej podstawie dopowiadać pełnej historii zespołu. 1838

Co ta pozycja w rankingu faktycznie pokazuje

Wynik SisyphusWorld wspiera kierunek, który zasługuje na dalsze testy: robotyczne modele świata nie muszą poprawiać realizmu wyłącznie przez skalowanie generatora wideo. Mogą także traktować konsekwencje interakcji jako jawny przedmiot uczenia i ściśle sprzęgać go z generowaniem obrazu.

Sam ranking nie dowodzi jednak, że jawne wnioskowanie fizyczne jest ogólnie lepsze od treningu na większej skali — ani że LJM będzie najlepszy dla każdego robota, rozkładu danych czy wdrożenia w rzeczywistej pętli sterowania. Do sprawdzenia tej tezy potrzebne byłyby pełniejsze publiczne raporty techniczne: ablacjе dla każdego ograniczenia fizycznego, współdzielonej uwagi i podziału na dwóch ekspertów, a także testy między zbiorami danych, różnymi konstrukcjami robotów i w zamkniętej pętli kontroli.

Najbardziej uzasadniony wniosek na obecnym etapie brzmi: LJM przedstawia przekonującą hipotezę inżynierską — jeśli przewidywanie interakcji i generowanie obrazu są trenowane łącznie, ale nie jako jedno nierozdzielne zadanie, model może skuteczniej wykorzystać skoncentrowany budżet obliczeniowy i jednocześnie poprawiać spójność fizyczną oraz jakość wizualną. 1