Robot Figure zdał test w 30 nieznanych domach. Wynik 56% ma jednak ważne ograniczenia

Figure przedstawia wynik Helix 2.5 jako istotny krok w stronę uogólniania umiejętności robotów. Humanoid Figure 03 wykonywał prace domowe w miejscach, których wcześniej nie znał. Najważniejsza liczba — 56% pełnych sukcesów — wymaga jednak właściwego odczytania: przy rygorystycznych zasadach oceny robot nie ukończył 44% prób. 114

Co dokładnie testowano

Firma podała, że najpierw wytrenowała Helix 2.5 na swoim zbiorze danych Index, obejmującym ludzkie zachowania. Na bazie tego modelu podstawowego przygotowano trzy zachowania robota:

• porządkowanie salonów,
• składanie ręczników,
• ścielenie łóżek.

Następnie robot trafił do 30 wcześniej nieznanych domów w rejonie Bay Area w Kalifornii. Według Figure w żadnym z tych domów nie zbierano danych, nie stosowano dostrajania do konkretnego miejsca ani przedmiotów, a we wszystkich lokalizacjach użyto jednego, stałego punktu kontrolnego modelu. 11

W tym kontekście określenie „zero-shot” oznacza, że robot nie był uczony pod kątem tych konkretnych domów ani napotkanych w nich zabawek, ręczników czy pościeli. Nie znaczy natomiast, że trzy rodzaje zadań powstały bez jakiegokolwiek treningu specyficznego dla zadania — Figure opisuje przekształcenie modelu podstawowego w trzy konkretne zachowania. 11

56% wobec 9% — co mówi porównanie

W kontrolowanym porównaniu Figure wstępne uczenie na Index podniosło odsetek pełnych sukcesów zero-shot z 9% dla poza tym porównywalnego modelu trenowanego od zera do 56% dla modelu po pretrenowaniu. 411

Punktacja była binarna: sukces albo porażka. W salonie wszystkie rozrzucone zabawki musiały trafić do kosza; przy ręcznikach trzeba było je złożyć i odłożyć; przy ścieleniu łóżka prawidłowo ułożyć i wygładzić poduszki oraz kołdrę. 4

To sprawia, że wynik 56% mówi więcej niż luźna miara częściowego wykonania zadania. Zarazem pokazuje jego granicę: 44% całych prób zakończyło się niepowodzeniem. Jest to dowód, że szerokie wstępne uczenie może pomagać robotowi przenosić umiejętności do nieznanych środowisk, a nie dowód, że humanoid jest już gotowy do niezawodnej pracy w domu bez nadzoru. 4

Dlaczego Figure uważa, że ten model można skalować

Teza firmy przypomina podejście znane z modeli bazowych w AI: najpierw uczyć na zróżnicowanych przykładach ludzkiej aktywności fizycznej, potem użyć mniejszej ilości danych robotycznych do zdefiniowania konkretnego zachowania, a na końcu wdrażać je w nowych miejscach bez budowania odrębnego zbioru danych dla każdego pokoju. 11

Figure informuje o zależności skalowania, w której błąd przewidywania działań robota malał w przewidywalny sposób, gdy ilość danych do wstępnego treningu Index zwiększano w ośmiokrotnym zakresie. Firma podała też, że Index generował około 35 minut danych o ludzkim doświadczeniu na sekundę. 3

Przedstawiciel Figure informował osobno o około 90 tys. aktywnych użytkowników tygodniowo w czasie nagrania, a później o przekroczeniu 100 tys. Ta liczba pochodzi z deklaracji firmy i nie stanowi niezależnie audytowanego potwierdzenia. 28

Firma ogłosiła również początkowe zobowiązanie dotyczące mocy obliczeniowej o wartości 3,5 mld dolarów w partnerstwie z Nscale. Plan zakłada docelowo do 100 tys. procesorów graficznych Nvidia Vera Rubin, a wdrażanie ma rozpocząć się w drugiej połowie 2027 r. 3

Czego ten test jeszcze nie rozstrzyga

Wynik ogłosiła i oceniała sama firma Figure; nie pochodzi on z niezależnego, recenzowanego benchmarku robotyki domowej. 11

Według opisów 30 domów było pustymi, uporządkowanymi i dobrze oświetlonymi najmach krótkoterminowymi. Zwykłe zamieszkane mieszkanie lub dom to ludzie, zwierzęta, bałagan, zmienne światło, przerwania, nietypowe przedmioty oraz wymogi bezpieczeństwa — czynniki, które mogą znacznie utrudniać manipulowanie przedmiotami i poruszanie się robota. 4

Wniosek powinien więc być węższy niż stwierdzenie, że „roboty potrafią już wykonywać prace domowe”. Figure pokazało kontrolowaną demonstrację sugerującą, że uczenie na dużej skali danych o ludzkich zachowaniach może ograniczyć konieczność zbierania demonstracji robota w każdym nowym domu. To, czy takie podejście zapewni niezawodność i bezpieczeństwo potrzebne w normalnie zamieszkanych domach, pozostaje otwartym pytaniem. 114