AnswersPublished16 sources
Robot se učí nové dovednosti z jediného videa. HOST mění trénink embodied AI
Podle autorů zvládl framework HOST osvojit manipulační dovednost z jediného 29sekundového videa a dosáhl průměrné úspěšnosti 62 %. HOST nekopíruje pohyby člověka ani nemění parametry modelu.
PublikovalUpraveno pomocí GPT-5.6 LunaObrázky vytvořeny pomocí GPT Image 1.5
Research answer
Key takeaways
- Podle autorů zvládl framework HOST osvojit manipulační dovednost z jediného 29sekundového videa a dosáhl průměrné úspěšnosti 62 %.
- HOST nekopíruje pohyby člověka ani nemění parametry modelu. Nejprve předpoví výsledek úkolu z pohledu robota a poté vytvoří akce, které k němu vedou.
- Přístup může posunout embodied AI od opakovaného teleoperování a dolaďování k modelům, které se při nasazení rychle přizpůsobí nové ukázce.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How does X Square Robot’s open-sourced HOST framework change embodied-AI training by enabling a humanoid robot to watch a 29-second human de. Article summary: HOST’s important shift is from task-specific retraining to inference-time skill acquisition: rather than gathering a new teleoperation dataset and updating model weights, the robot conditions on one human video, translat. Topic tags: general, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
Nejdůležitější myšlenkou frameworku HOST – zkratky pro Human-to-robot One-Shot Skill AcquisiTion – není tvrzení, že robot náhle zvládne všechny domácí práce. Podstatnější je změna v přístupu: novou fyzickou dovednost lze do jisté míry zadat podobně jako prompt. Robot dostane jedinou ukázku člověka, vyloží si zamýšlený výsledek z pohledu vlastních kamer a těla a pokusí se úkol provést, aniž by se měnily váhy základního modelu. 18
34
V popsaném hodnocení stačila ukázka dlouhá v průměru 29 sekund a robot dosáhl průměrné úspěšnosti 62 %. Srovnání založené na systému Pi-0.5 podle autorů dosáhlo 38 % až po přibližně 50 ukázkách provedených robotem a čtyřech hodinách dolaďování. Jde o výsledky z konkrétního experimentálního nastavení, nikoli o spolehlivost ověřenou v běžném provozu. 18
34
Od opakovaného trénování k přizpůsobení během inference
Tradiční postupy imitativního učení obvykle vyžadují, aby se pro každý nový úkol nasbíraly další ukázky. Následuje optimalizace nebo fine-tuning, tedy dolaďování modelu na úkolu specifických datech. To spotřebovává čas operátorů, blokuje roboty a může zhoršit dříve naučené chování.
HOST přesouvá místo, kde k přizpůsobení dochází. Předtrénovaný model zůstává beze změny a video se při spuštění stává kontextem specifickým pro daný úkol. Přístup se tak blíží učení v kontextu (in-context learning) více než trvalému naučení nové dovednosti pomocí aktualizace vah. Výzkum robotického učení už dříve zkoumal možnost, že se model přizpůsobí na základě kontextu tvořeného historií pozorování a akcí, aniž by se jeho váhy měnily. 20
Praktický příslib je zřejmý: cesta od „ukaž robotovi, co má dělat“ k „nech ho to zkusit“ může být kratší. Robot se ale během 29 sekund nenaučí veškerou fyziku úkolu od nuly. Přesnější popis je, že široce předtrénovaný model využije jediné video k výběru, ukotvení a provedení nové dovednosti.
Proč HOST člověka jednoduše nekopíruje
Člověk a robot nemají stejnou polohu kamer, tvar rukou, klouby, dosah ani rychlost pohybu. Přímý převod obrazu nebo trajektorie kloubů by proto byl křehký a obtížně přenositelný.
HOST místo toho používá kaskádu predikcí ukotvených v perspektivě robota. Nejdříve odhaduje postup demonstrace, potom předpoví, jak bude další fáze vypadat z pohledu robota, a nakonec z těchto předpovězených pozorování odvodí konkrétní akce. 18
Jednotlivé části frameworku řeší různé aspekty tohoto převodu:
- Vizuální modul interpretuje úkol a zamýšlený výsledek v percepčním rámci robota.
- Generování akcí převádí předpovězený výsledek do proveditelného chování.
- Dynamické časové proložení (dynamic time warping, DTW) pomáhá sladit odpovídající fáze, i když člověk a robot úkol provádějí různou rychlostí.
Robot tedy nemá přesně zopakovat pohyby demonstrátora. Musí rozpoznat smysluplnou posloupnost změn stavu a najít vlastní způsob, jak požadovaného výsledku dosáhnout.
Simulace a kognitivní věda naznačují širší recept
Návrh odpovídá cílově orientovanému pojetí imitace: pozorovatel nejprve určí, čeho má akce dosáhnout, a teprve potom zvolí motorický plán vhodný pro vlastní tělo. To se liší od přístupu, který demonstraci chápe jen jako trajektorii určenou k přehrání snímek po snímku.
Simulace a rozsáhlé předtrénování mohou robotovi ještě před nasazením dodat obecné fyzické a behaviorální předpoklady. Krátké video z reálného světa pak doplní informace specifické pro úkol, které v daném okamžiku chybějí. Vzniká tak možný tréninkový recept pro embodied AI: offline se naučit široké předpoklady a při běhu se rychle specializovat pomocí kontextu.
Tento směr zapadá do širšího vývoje otevřených robotických datasetů a foundation modelů trénovaných napříč různými typy robotů. Sdílená zkušenost se díky tomu může přenášet mezi platformami s odlišným tělem a konstrukcí. 25
Proč je důležité, že je HOST otevřený
X Square Robot zveřejněním frameworku usnadňuje dalším výzkumníkům a vývojářům jeho kontrolu, reprodukci i testování. Otevřená implementace může ukázat, jak dobře přenos videa do akcí funguje s jinými kamerami, manipulátory, prostředími a úkoly, místo aby tvrzení zůstalo uzavřené v jediné proprietární ukázce.
Společnost zveřejnila také kód a nástroje pro svůj ekosystém embodied modelů WALL, včetně komponent pro trénování, inferenci, přípravu dat a vyhodnocování. 26
27 Open source tak může X Square Robotu sloužit dvojím způsobem: urychlit experimentování mimo firmu a současně zvýšit známost jeho modelů a hardwaru.
Samotné zveřejnění kódu ale benchmark nepotvrzuje. Dává však ostatním možnost ověřit hlavní hypotézu: že předtrénované schopnosti robota lze přizpůsobit krátkou demonstrací namísto opakovaného dolaďování pro každý nový manipulační úkol.
Co výsledek 62 % ukazuje – a co ne
Úspěšnost 62 % je zajímavým výzkumným výsledkem, zvlášť pokud ji porovnáme s menším počtem demonstrací a kratším časem trénování. Nejde ale o úroveň spolehlivosti vhodnou pro autonomní práci. V uvedeném hodnocení selhal téměř každý druhý až třetí pokus – konkrétně téměř dva z pěti.
Výsledek také nepotvrzuje robustní chování za všech podmínek, kterým by domácí robot čelil. Zapotřebí by byly další testy při změnách osvětlení, nepořádku, vzhledu předmětů, dynamiky kontaktu, při zotavení z chyb, s bezpečnostními omezeními, u delších posloupností úkolů i na jiných typech robotů. Důležité bude také nezávislé hodnocení, protože jde o výzkumný preprint a srovnání je vázáno na konkrétní benchmark. 18
34
Nejstřízlivější a zároveň nejzajímavější závěr proto není, že humanoidní roboti se nyní naučí domácí práce z jediného videa. HOST ukazuje možný směr k embodied AI, která se široce předtrénuje, z lidských demonstrací se rychle přizpůsobí konkrétnímu úkolu a obejde se bez aktualizace vah pro každý jednotlivý úkol. Pokud se výsledek potvrdí i mimo experiment autorů, může se učení dovedností při inferenci stát vážnou alternativou k nákladnému cyklu teleoperování, sběru dat a opakovaného dolaďování.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Robot se učí nové dovednosti z jediného videa. HOST mění trénink embodied AI"?
Podle autorů zvládl framework HOST osvojit manipulační dovednost z jediného 29sekundového videa a dosáhl průměrné úspěšnosti 62 %.
What are the key points to validate first?
Podle autorů zvládl framework HOST osvojit manipulační dovednost z jediného 29sekundového videa a dosáhl průměrné úspěšnosti 62 %. HOST nekopíruje pohyby člověka ani nemění parametry modelu. Nejprve předpoví výsledek úkolu z pohledu robota a poté vytvoří akce, které k němu vedou.
What should I do next in practice?
Přístup může posunout embodied AI od opakovaného teleoperování a dolaďování k modelům, které se při nasazení rychle přizpůsobí nové ukázce.
Sources
arxiv.orgHOST: Robots Acquire Manipulation Skills in Seconds from ...
letsdatascience.comHOST Paper Reports Robot Skill Learning from One Video in 29 Seconds
robotics-transformer-x.github.ioOpen X-Embodiment: Robotic Learning Datasets and RT-X Models
github.comREADME.md - X-Square-Robot/wall-x