AnswersPublished16 sources
Robot uczy się nowych umiejętności z jednego filmu. Framework HOST zmienia trening AI
Według autorów HOST zdobywał umiejętności manipulacyjne z pojedynczego, 29 sekundowego filmu człowieka i osiągnął średnią skuteczność 62%. Framework nie kopiuje bezpośrednio ruchów człowieka ani nie aktualizuje wag modelu.
Opublikowane przezEdytowane za pomocą GPT-5.6 LunaObrazy wygenerowane za pomocą GPT Image 1.5
Research answer
Key takeaways
- Według autorów HOST zdobywał umiejętności manipulacyjne z pojedynczego, 29 sekundowego filmu człowieka i osiągnął średnią skuteczność 62%.
- Framework nie kopiuje bezpośrednio ruchów człowieka ani nie aktualizuje wag modelu.
- HOST może przesunąć rozwój robotów ucieleśnionej sztucznej inteligencji w stronę modeli uczonych szeroko wcześniej, lecz dostosowujących się do nowych zadań w czasie wykonywania.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How does X Square Robot’s open-sourced HOST framework change embodied-AI training by enabling a humanoid robot to watch a 29-second human de. Article summary: HOST’s important shift is from task-specific retraining to inference-time skill acquisition: rather than gathering a new teleoperation dataset and updating model weights, the robot conditions on one human video, translat. Topic tags: general, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
Najważniejsza idea stojąca za HOST — skrótem od Human-to-robot One-Shot Skill AcquisiTion, czyli jednorazowego nabywania umiejętności przez robota na podstawie demonstracji człowieka — nie polega na tym, że robot nagle opanował domowe obowiązki. Chodzi o zmianę sposobu myślenia o uczeniu fizycznych umiejętności.
Nowe zadanie można potraktować bardziej jak polecenie niż jak osobny projekt treningowy: pokazać robotowi jedną demonstrację człowieka, pozwolić mu zinterpretować zamierzony rezultat z perspektywy własnego ciała i kamer, a następnie spróbować wykonać zadanie bez aktualizowania parametrów bazowego modelu. 18
34
W opisanej ewaluacji 29-sekundowa demonstracja dała średnią skuteczność na poziomie 62%. Dla porównania rozwiązanie bazujące na systemie Pi-0.5 miało osiągnąć 38% po wykorzystaniu około 50 demonstracji robota i czterech godzinach dostrajania. Są to wyniki uzyskane w eksperymentalnych warunkach autorów — nie należy ich utożsamiać z niezawodnością wymaganą podczas wdrożenia. 18
34
Od ponownego treningu do adaptacji w czasie działania
W tradycyjnym uczeniu przez naśladowanie nowe zadanie zwykle oznacza zebranie kolejnych demonstracji, a następnie optymalizację lub dostrojenie modelu. Taki proces wymaga czasu operatorów sterujących robotem, angażuje sprzęt i może utrudniać zachowanie wcześniej zdobytych umiejętności.
HOST przenosi miejsce adaptacji. Wstępnie wytrenowany model pozostaje niezmieniony, a film z demonstracją staje się kontekstem dostarczanym w chwili wykonywania zadania. To podejście jest bliższe uczeniu kontekstowemu — in-context learning — niż trwałemu dodawaniu nowego zachowania za pomocą aktualizacji gradientowych. Badania nad uczeniem robotów wskazywały już szerszą możliwość dostosowywania działania na podstawie kontekstu obserwacji i akcji, bez zmiany wag modelu. 20
Praktyczna obietnica jest jasna: skrócić drogę od „pokaż robotowi, co ma zrobić” do „pozwól mu spróbować”. Robot nie odkrywa jednak w 29 sekund wszystkich zasad fizyki od podstaw. Trafniejszy opis mówi o szeroko wytrenowanym modelu umiejętności, który wykorzystuje pojedynczy film do wybrania, osadzenia w kontekście i wykonania nowego zadania.
Dlaczego HOST nie kopiuje po prostu człowieka
Człowiek i robot mają inne położenie kamer, kształt dłoni, stawy, zasięg ruchu i tempo działania. Bezpośrednie przeniesienie obrazu lub trajektorii stawów byłoby więc podatne na błędy.
HOST stosuje zamiast tego kaskadę predykcji zakotwiczonej w perspektywie robota. Najpierw szacuje postęp w demonstracji, potem przewiduje, jak kolejne etapy powinny wyglądać z punktu widzenia samego robota, a na końcu wyprowadza z tych przewidywanych obserwacji konkretne działania. 18
Poszczególne elementy frameworka odpowiadają za różne części tego procesu:
- Moduł wizyjny interpretuje zadanie pokazane na nagraniu i zamierzony rezultat w percepcyjnej ramie robota.
- Generowanie akcji zamienia przewidywany rezultat na zachowanie, które robot może wykonać.
- Dynamic time warping (DTW), czyli dynamiczne dopasowanie czasu, pomaga wyrównać odpowiadające sobie etapy, gdy człowiek i robot wykonują je w różnym tempie.
To kluczowe rozróżnienie. Robot nie musi odtworzyć dokładnie mechaniki ciała demonstratora. Musi rozpoznać istotną sekwencję zmian stanu i znaleźć własny sposób na doprowadzenie do podobnego rezultatu.
Symulacja i nauka o poznaniu wskazują szerszy kierunek
Konstrukcja HOST odwołuje się także do celowego rozumienia naśladowania: obserwator rozpoznaje, co dana czynność ma osiągnąć, a następnie dobiera plan ruchu odpowiedni dla własnego ciała. To coś innego niż traktowanie demonstracji jako trajektorii do odtworzenia klatka po klatce.
Symulacja i trening na dużą skalę mogą dostarczyć ogólnej różnorodności jeszcze przed wdrożeniem, natomiast krótki film z rzeczywistego świata przekazuje informacje specyficzne dla zadania, których robot w danym momencie nie posiada. Taki podział ról sugeruje możliwy przepis na rozwój AI ucieleśnionej: najpierw uczyć szerokich zasad fizycznych i zachowań offline, a następnie szybko specjalizować model dzięki kontekstowi dostarczanemu podczas działania.
Ten kierunek wpisuje się w szerszy trend otwartych zbiorów danych robotycznych i modeli bazowych trenowanych na wielu typach robotów. Wspólne doświadczenia mogą dzięki temu przenosić się między platformami o różnej budowie. 25
Dlaczego udostępnienie HOST jako open source ma znaczenie
Opublikowanie frameworka przez X Square Robot ułatwia innym badaczom i twórcom sprawdzenie, odtworzenie oraz przetestowanie tego podejścia. Otwarta implementacja pozwala ocenić, jak dobrze przenoszenie filmu na działanie sprawdza się przy innych kamerach, manipulatorach, środowiskach i zadaniach — zamiast pozostawiać tę tezę w obrębie jednego zamkniętego pokazu.
Firma udostępniła również kod i narzędzia dla ekosystemu modeli ucieleśnionych WALL, w tym elementy związane z treningiem, wnioskowaniem, przygotowaniem danych i ewaluacją. 26
27 Dla X Square Robot open source może więc pełnić dwie funkcje: przyspieszać eksperymenty prowadzone z zewnątrz i budować znajomość modeli oraz sprzętu powiązanego z frameworkiem.
Samo udostępnienie kodu nie potwierdza wyników HOST. Sprawia jednak, że główna hipoteza staje się łatwiejsza do zweryfikowania: czy możliwości wcześniej wytrenowanego robota można dostosowywać za pomocą krótkiej demonstracji, zamiast wielokrotnie dostrajać go do każdego nowego zadania manipulacyjnego.
Co pokazuje wynik 62%, a czego nie dowodzi
Skuteczność na poziomie 62% jest znaczącym rezultatem badawczym, szczególnie w połączeniu z deklarowanym ograniczeniem liczby demonstracji i czasu treningu. Nie oznacza jednak niezawodnej autonomii. W opisanej ewaluacji nie powiodły się niemal dwie na pięć prób.
Wynik nie dowodzi też odporności na wszystkie warunki, z jakimi mógłby mierzyć się robot domowy. Potrzebne byłyby dalsze testy obejmujące między innymi zmiany oświetlenia, bałagan w otoczeniu, różny wygląd przedmiotów, dynamikę kontaktu, odzyskiwanie kontroli po błędach, ograniczenia bezpieczeństwa, dłuższe sekwencje zadań oraz roboty o innej budowie. Ważna byłaby również niezależna ewaluacja, ponieważ publikacja ma formę preprintu badawczego, a porównania dotyczą konkretnego benchmarku. 18
34
Najbardziej wiarygodny wniosek jest węższy — i przez to bardziej użyteczny — niż stwierdzenie, że humanoidy potrafią już uczyć się prac domowych z jednego filmu. HOST wskazuje na system AI ucieleśnionej, który jest szeroko trenowany wcześniej, szybko dostosowuje się do demonstracji człowieka i nie wymaga aktualizacji wag dla każdego zadania. Jeśli wynik potwierdzi się poza benchmarkiem autorów, nabywanie umiejętności w czasie działania może stać się poważną alternatywą dla kosztownego cyklu teleoperacji, zbierania danych i ciągłego dostrajania modeli.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Robot uczy się nowych umiejętności z jednego filmu. Framework HOST zmienia trening AI"?
Według autorów HOST zdobywał umiejętności manipulacyjne z pojedynczego, 29 sekundowego filmu człowieka i osiągnął średnią skuteczność 62%.
What are the key points to validate first?
Według autorów HOST zdobywał umiejętności manipulacyjne z pojedynczego, 29 sekundowego filmu człowieka i osiągnął średnią skuteczność 62%. Framework nie kopiuje bezpośrednio ruchów człowieka ani nie aktualizuje wag modelu.
What should I do next in practice?
HOST może przesunąć rozwój robotów ucieleśnionej sztucznej inteligencji w stronę modeli uczonych szeroko wcześniej, lecz dostosowujących się do nowych zadań w czasie wykonywania.
Sources
arxiv.orgHOST: Robots Acquire Manipulation Skills in Seconds from ...
letsdatascience.comHOST Paper Reports Robot Skill Learning from One Video in 29 Seconds
robotics-transformer-x.github.ioOpen X-Embodiment: Robotic Learning Datasets and RT-X Models
github.comREADME.md - X-Square-Robot/wall-x