Omega-0: jeden model koordynuje chód, wzrok i pracę rąk humanoidalnego robota

Omega-0 (ω-0) to jeden model world action dla całego ciała humanoidalnego robota. Zamiast rozwiązywać osobno problem chodzenia i manipulowania przedmiotami, system próbuje koordynować je w ramach jednej polityki: robot może przemieścić się, zmienić postawę i kąt widzenia, utrzymać równowagę, a następnie użyć rąk — wszystko jako element tej samej czynności. 1

Kluczowym pomysłem jest przewidywanie przyszłych cech wizualnych, a nie bezpośrednie generowanie jednej długiej, z góry ustalonej trajektorii. Mówiąc prościej, model szacuje, co robot „zobaczy” po wykonaniu określonego ruchu, i na tej podstawie wybiera działania, które powinny być ze sobą zgodne. Wyniki pochodzą z pracy badawczej i należy traktować je jako deklaracje autorów, a nie niezależnie potwierdzony benchmark. 1

Jak działa trzystopniowa architektura Omega-0

1. Kompresja ruchów całego ciała i uczenie reprezentacji

W pierwszym etapie wysokowymiarowe ruchy całego ciała są zamieniane na bardziej zwarte tokeny lub reprezentacje działań za pomocą Whole-Body FAST tokenizer. Dzięki temu model może w przystępniejszy sposób opisywać złożone sekwencje, w których jednocześnie poruszają się nogi, tułów i ręce. 1

Naukowcy dostosowali także model vision-language Qwen3-VL-2B-Instruct do środowiska robota. Podczas treningu wykorzystywane są uczone tokeny rozróżniające widok egocentryczny — czyli perspektywę pierwszoosobową z kamery robota — od widoku egzocentrycznego, obserwowanego z zewnętrznej kamery. W ten sposób model może korzystać podczas nauki z szerszej obserwacji z perspektywy trzeciej osoby, ale w działaniu opiera się na tym, co widzi sam robot. 1

2. Przewidywanie przyszłych reprezentacji wizualnych

W drugim etapie Omega-0 wykorzystuje cel predykcji latentnej inspirowany V-JEPA. Łączy informacje wizualne, instrukcję językową i propriocepcję, czyli dane opisujące bieżący stan robota, a następnie przewiduje przyszłe cechy wizualne zamiast próbować odtworzyć każdy przyszły piksel. 1

Następnie transformer dyfuzyjny wykorzystuje te przewidywane reprezentacje do wygenerowania sekwencji latentów ruchu całego ciała zgodnych z kontrolerem robota. Chodzi o to, by działanie nie było jedynie kinematycznie możliwe, lecz także prowadziło do użytecznego rezultatu wizualnego. Robot może więc najpierw podejść, odpowiednio ustawić ciało i kamerę, a dopiero potem wyciągnąć rękę do przedmiotu. 1

3. Przeniesienie na robota i dostrajanie w prawdziwych domach

W trzecim etapie publiczne demonstracje ludzi są przenoszone — za pośrednictwem ugruntowania w symulacji — do przestrzeni latentów działań robota. System jest następnie dostrajany na rzeczywistych danych z humanoidalnych robotów wykonujących zadania domowe. 1

Podczas pracy Omega-0 nie planuje od razu całej długiej czynności. Generuje krótki fragment działania (action chunk), wykonuje go, ponownie obserwuje otoczenie i koryguje plan. Taki sposób działania, określany jako receding horizon, pozwala reagować na nowe informacje wizualne i proprioceptywne, zamiast ślepo realizować wcześniej wyznaczoną trasę. 1

Co zawiera dataset Omega-HOME

Na potrzeby treningu i oceny autorzy przygotowali Omega-HOME, zbiór rzeczywistych interakcji domowych z udziałem humanoidalnych robotów. Obejmuje on 40,3 godziny danych, 4827 zdalnie sterowanych epizodów oraz 24 zadania domowe, zarejestrowane z częstotliwością 30 Hz. 1

Dane są zsynchronizowane i obejmują:

• instrukcje językowe,
• egocentryczny obraz RGB z kamery robota,
• egzocentryczny obraz RGB-D z kamery ZED,
• stany proprioceptywne,
• referencyjne ruchy całego ciała,
• latenty działań zgodne z kontrolerem. 1

Zadania podzielono na osiem grup umiejętności:

• odnajdywanie i podnoszenie przedmiotów,
• czyszczenie powierzchni,
• obsługa urządzeń,
• przenoszenie przedmiotów między pojemnikami,
• manipulowanie tkaninami,
• układanie rzeczy w miejscach przechowywania,
• mobilną manipulację,
• używanie narzędzi do prac wykonywanych przy podłodze. 1

To ważne, ponieważ zbiór nie ogranicza się do statycznego chwytania przedmiotów leżących na stole. Zadania wymagają przemieszczania podstawy, zmiany pozycji i ułożenia tułowia, utrzymywania równowagi oraz manipulowania meblami, przedmiotami i narzędziami w dłuższych sekwencjach. 1

Jak ograniczono ryzyko zanieczyszczenia benchmarku

W opisanym protokole 11 typów zadań wykorzystanych w ocenie usunięto z danych treningowych Omega-HOME. Pozostałe dane robota połączono z publicznymi demonstracjami ludzi na potrzeby treningu wstępnego, natomiast rzeczywiste dane z domów wykorzystano do ugruntowania modelu i późniejszego dostrajania. 1

Takie rozdzielenie ogranicza ryzyko, że model po prostu zapamiętał te same demonstracje, które później pojawiły się w teście. Nie gwarantuje jednak pełnej generalizacji. W zbiorach treningowym i testowym nadal mogą występować podobieństwa dotyczące pomieszczeń, przedmiotów, struktury zadań, sprzętu lub sposobu zbierania danych. Bardziej rygorystycznym sprawdzianem byłaby niezależna replikacja eksperymentu w nowych domach i na innych platformach humanoidalnych.

Wynik 81,8% w rzeczywistych zadaniach domowych

W 11 zadaniach lokomocyjno-manipulacyjnych w prawdziwych domach autorzy podają średnią skuteczność na poziomie 81,8% dla Omega-0. Wynik uzyskano przy użyciu jednego modelu, a nie oddzielnych polityk dla każdego zadania, różnych głowic działania czy niezależnych modułów odpowiadających za chodzenie i manipulację. 1

Testy obejmowały między innymi manipulowanie przedmiotami na stole, sprzątanie, pranie, przenoszenie rzeczy, obsługę urządzeń i mobilną manipulację. W pracy podano również, że Omega-0 wyprzedził porównywane modele bazowe π-0.5, EgoVLA, GR00T-N1.7 i ψ-0 w tym konkretnym zestawie testowym. 1

Dostępne materiały nie przedstawiają wystarczająco jasno dokładnych zbiorczych wyników każdego modelu bazowego. Najbezpieczniejszy wniosek to zatem odnotowane przez autorów pierwsze miejsce Omega-0 oraz jego wynik 81,8%, a nie szczegółowe porównanie liczbowe, którego nie można tu wiarygodnie odtworzyć.

Co ten wynik oznacza dla embodied AI

Najważniejszy wkład Omega-0 ma charakter architektoniczny. Praca pokazuje kierunek, w którym przewidywanie przyszłych latentów percepcyjnych staje się łącznikiem między demonstracjami ludzi, językiem, obrazem, propriocepcją i sterowaniem całym ciałem robota. 1

Model nie uczy się wyłącznie zależności „jaki ruch pasuje do tego obrazu”. Próbuje również powiązać ruch ze stanem, do którego ten ruch doprowadzi. Jest to szczególnie istotne w zadaniach, w których robot musi jednocześnie zdecydować, gdzie stanąć, na co patrzeć i jak wykorzystać ręce.

Nie oznacza to jednak, że humanoidalne roboty są już gotowe do samodzielnego wykonywania dowolnych prac w domach. Nadal pozostaje kilka fundamentalnych wyzwań:

• Niezawodność w długich sekwencjach: wynik z 11 zadań nie dowodzi, że robot potrafi działać przez wiele godzin, naprawiać narastające błędy ani skutecznie realizować łańcuchy zależnych od siebie podzadań.
• Bezpieczeństwo: kontakt z ludźmi, kruchymi przedmiotami, schodami, bałaganem, zwierzętami domowymi i nieprzewidywalnymi ruchami wymaga wyraźnych zabezpieczeń, obsługi niepewności oraz weryfikacji na poziomie sprzętowym.
• Generalizacja: obiecujące wyniki dla niewidzianych wcześniej przedmiotów i scen nie rozwiązują problemu przenoszenia modelu do innych domów, warunków oświetleniowych, układów pomieszczeń, zwyczajów przechowywania rzeczy ani konstrukcji robotów. 1
• Adaptacja: prawdziwy dom nieustannie się zmienia. Praktyczny system musi wykrywać niepowodzenia, prosić o pomoc, gdy jest to konieczne, bezpiecznie się uczyć i dostosowywać bez kosztownego ponownego treningu.

Najtrafniej można więc powiedzieć, że Omega-0 jest ważnym krokiem w stronę jednolitej koordynacji ruchu i manipulacji w humanoidalnych robotach. Wynik 81,8% to mocny rezultat badawczy w konkretnym benchmarku, ale nie dowód, że robot potrafi już niezawodnie wykonywać każdą pracę domową bez nadzoru.