HOST i GEN-1.5: roboty uczą się manipulacji z jednej demonstracji
HOST, opracowany przez Beijing Institute of Technology, X Square Robot i Tsinghua University, pozyskuje nową umiejętność średnio w 29 sekund i osiąga 62 proc. GEN 1.5 firmy Generalist AI traktuje demonstrację jako „fizyczny prompt” w kontekście modelu; firma informuje o 3–12 sekundach nagrania i 59 proc.
HOST, opracowany przez Beijing Institute of Technology, X Square Robot i Tsinghua University, pozyskuje nową umiejętność średnio w 29 sekund i osiąga 62 proc.
GEN 1.5 firmy Generalist AI traktuje demonstrację jako „fizyczny prompt” w kontekście modelu; firma informuje o 3–12 sekundach nagrania i 59 proc.
W obu przypadkach nie chodzi o uczenie od zera: kosztowne, szerokie trenowanie odbywa się wcześniej, a pojedynczy film określa nowe zadanie podczas działania systemu.
HOST ma mocniejsze oparcie w opisanym badaniu akademickim, natomiast wyniki GEN 1.5 pozostają przede wszystkim deklaracjami producenta i nie mają porównywalnej, niezależnej walidacji.
How do the two research efforts, HOST from Beijing Institute of Technology, X Square Robot, and Tsinghua University and GEN 1.5 from GeneralAI-generated editorial hero image for How do the two research efforts, HOST from Beijing Institute of Technology, X Square Robot, and Tsinghua University and GEN 1.5 from General.
AI Prompt
Create a landscape editorial hero image for this Studio Global article: How do the two research efforts, HOST from Beijing Institute of Technology, X Square Robot, and Tsinghua University and GEN 1.5 from General. Article summary: Both efforts move robot learning from task specific retraining toward inference time imitation: a pretrained system treats a brief demonstration as context and immediately controls the robot accordingly.. Topic tags: general web, ai safety, prompt engineering, ai, workflow. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with
openai.com
Dwa projekty proponują podobną zmianę w sposobie uczenia robotów: zamiast zbierać setki lub tysiące demonstracji i za każdym razem dostrajać model, robot wykorzystuje krótkie nagranie jako kontekst i od razu próbuje wykonać pokazane zadanie.
Nie oznacza to jednak, że systemy uczą się bez wcześniejszego doświadczenia. Ich szeroka wiedza o ruchu, przedmiotach i interakcji ze światem fizycznym powstaje w długim procesie wstępnego trenowania. Nowa demonstracja ma jedynie wskazać, co należy zrobić i jak przebiega konkretne zadanie.
HOST i GEN-1.5 — najważniejsze różnice
Cecha
HOST
GEN-1.5
Twórcy
Beijing Institute of Technology, X Square Robot i Tsinghua University
Generalist AI
Główna idea
Jednorazowa polityka naśladująca obraz, która dopasowuje działanie robota do postępu zadania widocznego na filmie
Duży multimodalny model robotyczny, traktujący demonstrację czuciowo-ruchową jako „fizyczny prompt”
Dane wejściowe
Film człowieka, instrukcja językowa, obserwacje robota i dane proprioceptywne, czyli informacje o położeniu oraz ruchu jego własnego ciała
Film, dane z czujników, język i propriocepcja; model wykorzystuje pamięć kontekstową do 30 sekund i generuje trajektorie działań z częstotliwością 100 Hz
Podstawa treningowa
Dwuetapowe trenowanie: 193 462 trajektorie robota obejmujące 229 zadań, a następnie 5 847 własnoręcznie zebranych par film człowieka–trajektoria robota
Firma deklaruje ponad osiem miesięcy ciągłego trenowania na rzeczywistych danych z interakcji fizycznych; w pretrenowaniu nie miały być używane dane z symulacji
Czas pojedynczej demonstracji
Średnio około 29 sekund
Deklarowane 3–12 sekund
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
What is the short answer to "HOST i GEN-1.5: roboty uczą się manipulacji z jednej demonstracji"?
HOST, opracowany przez Beijing Institute of Technology, X Square Robot i Tsinghua University, pozyskuje nową umiejętność średnio w 29 sekund i osiąga 62 proc.
What are the key points to validate first?
HOST, opracowany przez Beijing Institute of Technology, X Square Robot i Tsinghua University, pozyskuje nową umiejętność średnio w 29 sekund i osiąga 62 proc. GEN 1.5 firmy Generalist AI traktuje demonstrację jako „fizyczny prompt” w kontekście modelu; firma informuje o 3–12 sekundach nagrania i 59 proc.
What should I do next in practice?
W obu przypadkach nie chodzi o uczenie od zera: kosztowne, szerokie trenowanie odbywa się wcześniej, a pojedynczy film określa nowe zadanie podczas działania systemu.
Nie — pozyskanie umiejętności odbywa się w czasie wnioskowania, bez aktualizacji parametrów zadaniowych
Nie w trybie one-shot — firma deklaruje brak aktualizacji gradientowych i dostrajania
Zakres testów
50 nowych zadań manipulacyjnych, obejmujących różne przedmioty, narzędzia i podstawowe rodzaje manipulacji; po 20 prób na zadanie
Publiczne demonstracje obejmują m.in. otwieranie słoika, rozpinanie saszetki, zamiatanie przedmiotu do miski, wkładanie markera do kubka, przelewanie śrub oraz użycie narzędzi
Skuteczność
Średnio 62 proc. na nowych zadaniach
Generalist AI informuje o 59 proc. średniej skuteczności w 10 zróżnicowanych zadaniach, ale wynik nie został niezależnie zweryfikowany
Porównanie z bazą
Według autorów wynik jest o 45 proc. lepszy od najmocniejszej bazy zero-shot imitation i przewyższa nadzorowane dostrajanie z użyciem 50 demonstracji robota na zadanie
Brak porównywalnego, publicznego benchmarku niezależnego od firmy
Dodatkowa adaptacja
Niepotrzebna w podstawowym scenariuszu
W trudniejszych przypadkach firma proponuje 1–10 kroków gradientowych na 1–5 minutach danych, czyli około 10–50 demonstracjach
Jak działa HOST?
HOST, czyli Human-to-robot One-Shot Skill Acquisition, nie próbuje po prostu przełożyć trajektorii ludzkiej ręki na ruch mechanicznego ramienia. To ważne, ponieważ człowiek i robot mają inne ciało, zasięg, punkt widzenia oraz możliwości chwytaka.
System wykorzystuje film jako odniesienie do postępu zadania. Robot ocenia, na jakim etapie znajduje się jego własne wykonanie, dopasowuje ten etap do demonstracji, a następnie przewiduje, jaki rezultat powinien zobaczyć ze swojej perspektywy. Na tej podstawie wyznacza kolejne działania.
Dzięki temu nagranie nie jest instrukcją ruch po ruchu. Jest raczej kontekstowym przykładem celu i kolejności czynności, który robot interpretuje w odniesieniu do własnych obserwacji oraz stanu swojego ciała.
W opisanym teście HOST sprawdzono na 50 nowych zadaniach manipulacyjnych, po 20 prób na każde. Średnia skuteczność wyniosła 62 proc., a pozyskanie umiejętności zajmowało około 29 sekund. Autorzy podają również, że system był około 507 razy szybszy od nadzorowanego dostrajania wymagającego 50 demonstracji robota na każde zadanie.
Testy odporności miały zachować większość wyniku bazowego mimo zmian oświetlenia, przedmiotów, sceny i zakłóceń powodowanych przez człowieka. Raportowane spadki skuteczności wynosiły odpowiednio 1, 4, 6 i 9 proc.
Jak działa GEN-1.5?
GEN-1.5 firmy Generalist AI przedstawia podobną koncepcję jako zdolność dużego modelu ogólnego, która wyłania się po szerokim trenowaniu na doświadczeniach fizycznych. Krótki film trafia do okna kontekstu jako tak zwany „physical prompt”, a model generuje działania robota bez tworzenia nowej, dostrojonej polityki.
Firma pokazuje scenariusze takie jak otwieranie słoika, rozpinanie saszetki czy przesuwanie klocka do miski. Deklaruje także naśladowanie człowieka przez robota, łączenie dwóch zachowań wskazanych w demonstracjach oraz wykonywanie w świecie fizycznym zadań pokazanych wcześniej w symulacji.
Generalist AI podaje, że pojedyncza demonstracja może trwać od 3 do 12 sekund, a model osiąga średnio 59 proc. skuteczności na 10 zróżnicowanych zadaniach. Gdy samo wskazanie zadania w kontekście nie wystarcza, alternatywą ma być krótkie dostrajanie: 1–10 kroków gradientowych na kilku minutach danych.
To rozróżnienie jest istotne. GEN-1.5 rzeczywiście może działać bez aktualizacji parametrów w trybie one-shot, ale nie oznacza to, że każda nowa umiejętność jest zawsze uzyskiwana bez jakiegokolwiek dalszego uczenia.
Co te wyniki mówią o przyszłości robotyki?
Oba projekty wzmacniają wizję bardziej naturalnego interfejsu dla robotów: pokaż, zamiast programować. Użytkownik nie musi opisywać każdego ruchu, projektować osobnej funkcji nagrody ani przygotowywać dużego zbioru demonstracji zarejestrowanych przez samego robota.
Największa zmiana odbywa się jednak na poziomie ekonomii uczenia. Wcześniej ogromny koszt trenowania szerokiego modelu zostaje rozłożony na wiele przyszłych zadań. Później nowy użytkownik może wskazać konkretną czynność jednym krótkim filmem, bez uruchamiania pełnego procesu optymalizacji.
HOST pokazuje tę korzyść liczbowo: średnio 29 sekund na pozyskanie umiejętności i deklarowane 507-krotne skrócenie tego procesu względem dostrajania z 50 demonstracjami robota na zadanie. GEN-1.5 idzie w podobnym kierunku, choć jego dane są trudniejsze do niezależnego sprawdzenia.
Najważniejsze ograniczenia
HOST nie jest dowodem niezawodności w otwartym świecie. To wynik badania akademickiego przeprowadzonego w kontrolowanych warunkach laboratoryjnych, na wybranych 50 zadaniach, ze średnią skutecznością 62 proc. Nie wiadomo jeszcze, jak system poradzi sobie z długimi zadaniami, środowiskiem domowym, zastosowaniami przemysłowymi, sytuacjami krytycznymi dla bezpieczeństwa i niezależnymi powtórzeniami eksperymentu.
GEN-1.5 opiera się głównie na deklaracjach producenta. Informacje o modelu, czasie trenowania, braku danych symulacyjnych w pretrenowaniu, długości promptu i skuteczności pochodzą od Generalist AI lub z materiałów relacjonujących jej ogłoszenia.
Brakuje porównywalnego publicznego benchmarku dla GEN-1.5. Nie ma wystarczających, niezależnych danych o ustandaryzowanej liczbie zadań, protokole prób, zbiorczej skuteczności one-shot, bazie porównawczej, udostępnieniu modelu i danych ani o reprodukcji przez zewnętrzny zespół.
Wspólny wniosek jest więc obiecujący, ale umiarkowany. HOST dostarcza konkretnego dowodu, że robot może pozyskać nową umiejętność manipulacyjną z pojedynczego filmu, bez aktualizacji parametrów, w zdefiniowanym zestawie testowym. GEN-1.5 sugeruje z kolei, że odpowiednio szerokie pretrenowanie może sprawić, iż podobne zdolności staną się kontekstową funkcją modelu ogólnego.
To jeszcze nie zastępuje walidacji każdego zadania, inżynierii bezpieczeństwa ani adaptacji do nieprzewidywalnego środowiska. Pokazuje jednak wyraźny kierunek: roboty coraz częściej mają być uczone nie przez ręczne programowanie, lecz przez obserwację.
