Zeva: adaptacja robota bez douczania modelu

Zeva to metoda adaptacji robota podczas wdrożenia, opracowana przez Tsinghua AIR i Domain Transform. Jej założenie jest proste: polityka manipulacji oparta na Cosmos3 zachowuje zamrożone wagi, ale robot może zmieniać kolejne działania na podstawie pamięci tego, jakie fizyczne skutki przyniosły jego wcześniejsze ruchy. Zamiast zbierać dane, ręcznie je oznaczać i uruchamiać fine-tuning, system odzyskuje odpowiedni kontekst przyczynowy już w trakcie wnioskowania. 15

Co dokładnie robi Zeva?

W typowym podejściu model robota po napotkaniu nowego ustawienia przedmiotów lub nieznanej dynamiki trzeba byłoby ponownie trenować. Zeva przenosi adaptację do ścieżki decyzyjnej: po wykonaniu ruchu analizuje relację „akcja → zaobserwowana zmiana stanu”, zapamiętuje ją, a następnie wykorzystuje przy kolejnej decyzji. To uczenie się przez kontekst i pamięć, nie trwałe uczenie parametrów modelu. 16

Kluczowe są trzy elementy.

1. Causal Transition Encoder, czyli CTE

Po każdej akcji CTE łączy reprezentację obrazu, zakodowaną akcję i obserwowaną zmianę stanu. Wynikiem jest ukryta reprezentacja interakcji przyczynowej. Jest ona rozbijana na token fazy zadania oraz sygnał interakcji, który ma opisywać dynamikę wywołaną przez ruch robota — a nie przypadkowe korelacje, takie jak tło czy oświetlenie. 14

W praktyce robot nie ma jedynie zapamiętać, że chwytak przesunął się w określonym kierunku. Ma zachować informację, co ten ruch zrobił z obiektem i czy przybliżył go do realizacji zadania.

2. Dwie pamięci działające w różnych skalach czasu

Zeva nie wrzuca całej historii do jednego magazynu danych.

• Brief Interaction Trace (BIT) przechowuje świeże ślady interakcji w bieżącej próbie. Pomaga szybko zareagować na właśnie popełniony błąd albo lokalną właściwość obiektu. 1
• Persistent Interaction Memory (PIM) gromadzi i konsoliduje istotne doświadczenia między kolejnymi próbami w tym samym epizodzie. Dzięki temu zarówno nieudane, jak i udane interakcje mogą wpłynąć na późniejsze ponowienia zadania. 1

Taki podział ma ograniczać dwa przeciwne problemy: natychmiastowe zapominanie o dopiero co zaobserwowanym skutku oraz utrwalanie każdego pojedynczego, potencjalnie mylącego przypadku.

3. Wstrzyknięcie kontekstu do polityki

Przed wykonaniem następnej akcji Zeva wyszukuje w BIT i PIM dowody pasujące do aktualnej fazy zadania. Następnie przekształca je w „prompt przyczynowy” i wprowadza do toru generowania akcji przez zamrożoną politykę bazową. Model może więc postąpić inaczej, choć jego parametry nie są aktualizowane gradientowo. 15

Z punktu widzenia wdrożenia oznacza to potencjalnie mniej przestojów: po zetknięciu z nową konfiguracją nie trzeba tworzyć nowego zbioru etykiet, trenować kolejnej wersji modelu ani wymieniać jej w robocie. Nie oznacza to jednak, że robot zdobywa trwałą wiedzę zapisaną w wagach — adaptacja pozostaje zależna od pamięci i bieżącego kontekstu. 16

Wyniki raportowane przez autorów

W pięciozadaniowym symulacyjnym podzbiorze RoboCasa365-Atomic5 Zeva uzyskała średnio 76,8% sukcesów, wobec 72,4% dla Fast-WAM i 64,8% dla Cosmos3-Nano. 1

W rzeczywistych zadaniach poziomu 1 w środowisku laboratoryjnym ChemLab-Evo, na robocie ARX, autorzy podali wzrost skuteczności w kolejnych próbach:

• podniesienie probówki: z 65% do 100%;
• ustawienie zlewki: z 25% do 70%;
• nalewanie wody: z 30% do 80%. 1

Końcowa tabela dla tych trzech zadań podaje dla Zevy wyniki 100% / 70% / 80%, czyli średnio 83,3%. Dla porównania Cosmos3-Nano osiągnął 80% / 70% / 60%, a Fast-WAM — 85% / 70% / 75%. 1

W obiegu pojawia się również wykres wzrostu skumulowanej skuteczności z około 26% przy pierwszej próbie ewolucji do 73% przy czwartej. Pierwotny materiał oznacza jednak ten wykres jako dotyczący RoboCasa365, a nie ChemLab-Evo. Przypisanie wartości 26% → 73% konkretnie do ChemLab-Evo nie znajduje potwierdzenia w udostępnionym materiale źródłowym. 1

Co daje pojedyncza demonstracja człowieka?

Jedna fizycznie poprowadzona demonstracja człowieka może zostać zapisana jako początkowy ślad w tym samym mechanizmie pamięci. Polityka nadal pozostaje zamrożona, lecz później korzysta z kontekstu przyczynowego tej interakcji, aby odtworzyć sekwencję działań. 6

Dostarczone źródła potwierdzają taki mechanizm „rozgrzewki” jedną demonstracją, lecz nie podają zweryfikowanych wartości liczbowych przed i po demonstracji osobno dla ustawiania zlewki i nalewania wody. Można więc mówić o jakościowym wsparciu lub warm-starcie tych zadań, ale nie o konkretnym, potwierdzonym wzroście procentowym. 6

Dlaczego słabsze modele bazowe mogą zyskać więcej?

Najbardziej prawdopodobne wyjaśnienie to większy margines poprawy. Słabsza polityka bazowa częściej popełnia systematyczne błędy w zmienionych warunkach fizycznych, więc pamięć korekcyjnych interakcji ma więcej okazji, by pomóc. Silniejszy model częściej radzi sobie od razu, a zatem pozostawia mniej błędów do skorygowania przez kontekst przyczynowy.

To rozsądna interpretacja wyników, ale nie uniwersalne prawo. Materiał źródłowy pokazuje porównania i poprawę podczas wdrożenia; nie dowodzi, że każdy słabszy model zawsze skorzysta bardziej. 1

Dlaczego wybrano zadania chemiczne?

ChemLab-Evo obejmuje manipulację, w której znaczenie mają precyzja i fizyczne następstwa ruchu: geometria chwytu, małe naczynia, odkładanie obiektów, przechylanie i nalewanie, a także procedury wieloetapowe. Zestaw obejmuje siedem zadań dla manipulatora ARX — od prostych czynności, takich jak podniesienie probówki, ustawienie zlewki i nalewanie, po krótsze sekwencje i dłuższe procedury, m.in. miareczkowanie, przygotowanie roztworu soli, ważenie na wadze oraz ekstrakcję. 1

To dobre środowisko sprawdzające, czy robot przenosi zapamiętaną relację między działaniem a skutkiem, a nie tylko powtarza wizualny wzorzec.

Koszty, ograniczenia i pytania bez odpowiedzi

• Koszt kontekstu i wnioskowania. Wyszukiwanie wpisów pamięci oraz wstrzykiwanie promptu przyczynowego zwiększają obciążenie obliczeniowe. Dłuższa historia może pomagać tylko do momentu, gdy ograniczeniem staną się trafność wyszukiwania, opóźnienie lub pojemność kontekstu. Przedstawione wyniki nie dowodzą skalowania do bardzo długich wdrożeń. 1

• Jakość i „zanieczyszczenie” pamięci. Błędne kodowanie zależności przyczynowej, słabe dopasowanie fazy zadania lub mylący nieudany przebieg mogą spowodować pobranie szkodliwej wskazówki. Rozdzielenie BIT i PIM ogranicza to ryzyko, ale nie gwarantuje bezpiecznej konsolidacji pamięci. 1

• Wąski zakres fizyczny demonstracji. Rzeczywiste testy dotyczą głównie sztywnych obiektów laboratoryjnych i przelewania cieczy. Nie wykazano jeszcze generalizacji na materiały silnie odkształcalne — tkaniny, przewody, żywność czy miękkie opakowania — ani na zadania intensywnego kontaktu wymagające informacji o sile i dotyku. 1

• Kontrolowane warunki testów. Środowisko było resetowane między próbami, a PIM utrzymywano w ramach epizodu. To nie jest dowód na stabilną, wielomiesięczną pracę w obiekcie, gdzie zmieniają się kalibracja kamer, zużycie sprzętu, obecność ludzi, bałagan i zasady zarządzania pamięcią. 1

• Transfer na inne roboty. Badanie rzeczywiste wykorzystuje manipulator ARX w obszarze roboczym 80 × 60 cm. Nie wiadomo jeszcze, czy enkoder i mechanizm promptowania równie dobrze przeniosą się na inne ramiona, chwytaki, roboty mobilne, układy dwuręczne, zestawy czujników, częstotliwości sterowania oraz wymagania bezpieczeństwa. 1

• Szersza taksonomia zadań. Wyniki dotyczą wybranych zadań kuchennych i chemicznych. Transfer między funkcjonalnie podobnymi efektami — np. zamknięciem chwytaka, podnoszeniem czy przechylaniem naczynia — wygląda obiecująco, ale przenoszenie na odległe klasy zadań i instrukcje semantyczne nadal wymaga badań. 1

• Dojrzałość dowodów. Są to wyniki raportowane w pracy i materiałach projektu, a nie niezależnie zreplikowane badanie. Opis metody jest spójny, ale jej odporność w długim horyzoncie, na różnym sprzęcie, materiałach odkształcalnych i w niekontrolowanych miejscach pracy trzeba jeszcze potwierdzić. 1

Najważniejsza idea Zevy nie polega więc na „samouczeniu się” robota przez zmianę parametrów sieci. Chodzi o coś bardziej operacyjnego: robot ma podczas pracy pamiętać, jaki skutek przyniosło jego działanie, i używać tej informacji przy następnym ruchu — bez uruchamiania całego cyklu zbierania danych i fine-tuningu.