AnswersPublished16 sources
Robotti oppii uuden taidon yhdestä ihmisen videosta – HOST muuttaa robottien koulutusta
HOST saavutti raportoidussa kokeessa 62 prosentin keskimääräisen onnistumisasteen yhden 29 sekunnin ihmisesittelyn perusteella. Järjestelmä ei kopioi ihmisen liikkeitä suoraan eikä päivitä mallin painoja, vaan ennustaa tehtävän tavoitteen robotin omasta näkökulmasta ja tuottaa sen saavuttamiseen tarvittavat liikkeet.
JulkaisijaMuokattu mallilla GPT-5.6 LunaKuvat luotu mallilla GPT Image 1.5
Research answer
Key takeaways
- HOST saavutti raportoidussa kokeessa 62 prosentin keskimääräisen onnistumisasteen yhden 29 sekunnin ihmisesittelyn perusteella.
- Järjestelmä ei kopioi ihmisen liikkeitä suoraan eikä päivitä mallin painoja, vaan ennustaa tehtävän tavoitteen robotin omasta näkökulmasta ja tuottaa sen saavuttamiseen tarvittavat liikkeet.
- Menetelmä voi siirtää fyysisen tekoälyn koulutusta kohti laajasti esikoulutettuja malleja, joita mukautetaan käyttövaiheessa nopeasti ilman jatkuvaa teleoperointia ja tehtäväkohtaista uudelleenkoulutusta.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How does X Square Robot’s open-sourced HOST framework change embodied-AI training by enabling a humanoid robot to watch a 29-second human de. Article summary: HOST’s important shift is from task-specific retraining to inference-time skill acquisition: rather than gathering a new teleoperation dataset and updating model weights, the robot conditions on one human video, translat. Topic tags: general, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
HOST-kehyksen (Human-to-robot One-Shot Skill AcquisiTion) tärkein oivallus ei ole se, että robotti olisi yhtäkkiä oppinut kaikki kodin askareet. Olennaisempaa on tapa käsitellä uutta fyysistä taitoa: uuden koulutusprojektin sijaan tehtävä voidaan antaa robotille ikään kuin kehotteena. Robotille näytetään yksi ihmisen tekemä suoritus, järjestelmä tulkitsee tavoitellun lopputuloksen robotin oman kehon ja kameran näkökulmasta, ja robotti yrittää tehtävää ilman taustalla olevan mallin painojen päivittämistä. 18
34
Raportoidussa kokeessa 29 sekunnin esittely johti 62 prosentin keskimääräiseen onnistumisasteeseen. Pi-0.5-järjestelmään perustuva vertailu saavutti tutkijoiden mukaan 38 prosentin tuloksen noin 50 robottiesittelyn ja neljän tunnin hienosäädön jälkeen. Luvut ovat peräisin tutkimuksen tekijöiden koeasetelmasta, eikä niitä pidä tulkita käyttövalmiin robotin toimintavarmuudeksi. 18
34
Uudelleenkoulutuksesta käyttövaiheen mukautumiseen
Perinteisessä jäljittelyoppimisessa jokaiselle uudelle tehtävälle kerätään yleensä uusia esimerkkejä, minkä jälkeen mallia optimoidaan tai hienosäädetään. Prosessi vaatii ihmisen ohjaamaa teleoperointia, sitoo robotin resursseja ja saattaa vaikeuttaa aiemmin opittujen taitojen säilyttämistä.
HOST siirtää mukautumisen ajankohdan toiseen paikkaan. Esikoulutetun mallin painot pidetään ennallaan, ja esittelyvideo annetaan tehtäväkohtaiseksi kontekstiksi vasta päätöksenteon aikana. Menetelmä muistuttaa enemmän kontekstissa oppimista kuin pysyvän uuden käyttäytymisen opettamista gradienttipäivityksillä. Robottioppimisen tutkimuksessa on jo tarkasteltu laajemmin mahdollisuutta mukauttaa robotin toimintaa havainto–toiminta-kontekstin perusteella ilman painojen muuttamista. 20
Käytännössä tämä voi lyhentää matkaa siitä, että robotille näytetään tehtävä, siihen että se pääsee kokeilemaan sitä. Robotti ei kuitenkaan opi 29 sekunnissa kaikkia tehtävän edellyttämiä fysiikan lakeja alusta alkaen. Tarkempi kuvaus on, että laajasti esikoulutettu taitopohja käyttää yhtä videota uuden tehtävän valitsemiseen, sovittamiseen robotin tilanteeseen ja suorittamiseen.
Miksi robotti ei vain kopioi ihmistä?
Ihmisellä ja robotilla on erilainen kamerakulma, käden rakenne, nivelistö, ulottuvuus ja liikkeen nopeus. Kuvapikselien tai nivelratojen suora siirtäminen kehosta toiseen olisi siksi helposti epäluotettavaa.
HOST käyttää sen sijaan itseensä ankkuroidun ennustamisen ketjua. Ensin järjestelmä arvioi, missä vaiheessa esiteltyä tehtävää ollaan. Sen jälkeen se ennustaa, miltä tehtävän eteneminen näyttäisi robotin omasta näkökulmasta, ja johtaa lopuksi näistä ennustetuista havainnoista toteutettavat liikkeet. 18
Menetelmän raportoidut osat ratkaisevat käännöksen eri vaiheita:
- Näkömoduuli tulkitsee esitellyn tehtävän ja tavoitellun lopputuloksen robotin keskitetystä havaintonäkökulmasta.
- Toimintojen generointi muuttaa ennustetun lopputuloksen robotin suoritettavaksi käyttäytymiseksi.
- Dynaaminen aikavääristymä eli dynamic time warping auttaa kohdistamaan toisiaan vastaavat vaiheet, vaikka ihminen ja robotti suorittaisivat ne eri nopeudella.
Ero on olennainen. Robotin ei tarvitse toistaa esittelijän kehon liikemekaniikkaa täsmälleen, vaan sen on pääteltävä merkityksellinen tapahtumasarja ja löydettävä omalle keholleen sopiva tapa saada sama muutos aikaan.
Simulaatio ja kognitiotiede tarjoavat laajemman mallin
HOSTin suunnittelu heijastaa tavoitteellista jäljittelyä koskevaa ajatusta: havainnoija päättelee, mitä toiminnalla on tarkoitus saavuttaa, ja valitsee sen jälkeen omalle keholleen sopivan liikesuunnitelman. Tämä poikkeaa siitä, että esittely nähtäisiin kuvasta kuvaan toistettavana liikeratana.
Simulaatiot ja laaja esikoulutus voivat tuottaa yleisiä vaihteluita jo ennen käyttöönottoa. Lyhyt video tosimaailmasta tuo puolestaan tilanteeseen sen tehtäväkohtaisen tiedon, jota robotilta sillä hetkellä puuttuu. Työnjako viittaa mahdolliseen fyysisen tekoälyn koulutusmalliin: yleiset fysiikan ja käyttäytymisen perustaidot opitaan etukäteen, minkä jälkeen robotti erikoistuu nopeasti käyttövaiheen kontekstin avulla.
Ajatus sopii yhteen laajemman kehityksen kanssa, jossa avoimet robottiaineistot ja useille erilaisille roboteille koulutetut perustamallit siirtävät kokemusta alustalta toiselle. Open X-Embodiment -hankkeen aineisto esimerkiksi kokoaa dataa 22 erilaisesta robotista ja osoittaa, että eri alustoilta kerätty kokemus voi tuottaa myönteistä siirtymää robottien välillä. 25
Miksi HOSTin avaaminen lähdekoodiksi on tärkeää?
X Square Robotin julkaisu helpottaa menetelmän tarkastelua, toistamista ja testaamista muiden tutkijoiden ja kehittäjien toimesta. Avoimet toteutukset voivat paljastaa, miten hyvin videosta toiminnaksi siirtyminen toimii erilaisten kameroiden, tarttujien, ympäristöjen ja tehtävien kanssa sen sijaan, että väite jäisi yhden suljetun esittelyn varaan.
Yhtiö on julkaissut myös WALL-kehykseen kuuluvien fyysisen tekoälyn mallien koodia ja työkaluja. Kokonaisuuteen sisältyy koulutuksen, päättelyn, aineiston valmistelun ja arvioinnin komponentteja. 26
27 X Square Robotille avoin lähdekoodi voi siten palvella kahta tavoitetta samanaikaisesti: se vauhdittaa ulkopuolisia kokeiluja ja lisää yhtiön mallien sekä laitteistojen tunnettuutta.
Avoimuus ei itsessään vahvista HOSTin vertailutulosta. Se tekee kuitenkin keskeisestä oletuksesta helpommin testattavan: voiko robotin esikoulutettuja kykyjä mukauttaa pienellä esittelyllä ilman, että jokaista uutta käsittelytehtävää varten tarvitaan toistuvaa hienosäätöä?
Mitä 62 prosentin tulos kertoo – ja mitä ei?
62 prosentin onnistumisaste on tutkimuksellisesti kiinnostava, etenkin kun siihen yhdistyy raportoidusti pienempi esittelyjen ja koulutusajan tarve. Se ei kuitenkaan ole sama asia kuin luotettava itsenäinen toiminta. Ilmoitetussa kokeessa lähes kaksi yritystä viidestä epäonnistui.
Tulos ei myöskään osoita, että järjestelmä toimisi vakaasti kaikissa olosuhteissa, joita kotiympäristön robotti kohtaisi. Tarvitaan lisää kokeita, joissa vaihdellaan valaistusta, tavaroiden määrää ja järjestystä, esineiden ulkonäköä, kosketusdynamiikkaa, virheistä palautumista, turvallisuusrajoja, tehtäväsarjojen pituutta ja robottien ruumiinrakennetta. Myös riippumaton arviointi on tärkeää, sillä kyseessä on tutkimuksen esiversio ja vertailut koskevat tiettyä testiympäristöä. 18
34
Luotettava johtopäätös onkin rajatumpi – ja hyödyllisempi – kuin väite siitä, että humanoidit osaisivat nyt oppia kotityöt yhdestä videosta. HOST osoittaa kohti fyysisen tekoälyn järjestelmää, joka esikoulutetaan laajasti, mukautuu nopeasti ihmisen esittelyihin ja välttää tehtäväkohtaiset painopäivitykset. Jos tulos yleistyy tutkimuksen testien ulkopuolelle, käyttövaiheen taitojen hankkimisesta voi tulla vakavasti otettava vaihtoehto kalliille teleoperoinnin, aineiston keruun ja toistuvan hienosäädön kierrolle.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Robotti oppii uuden taidon yhdestä ihmisen videosta – HOST muuttaa robottien koulutusta"?
HOST saavutti raportoidussa kokeessa 62 prosentin keskimääräisen onnistumisasteen yhden 29 sekunnin ihmisesittelyn perusteella.
What are the key points to validate first?
HOST saavutti raportoidussa kokeessa 62 prosentin keskimääräisen onnistumisasteen yhden 29 sekunnin ihmisesittelyn perusteella. Järjestelmä ei kopioi ihmisen liikkeitä suoraan eikä päivitä mallin painoja, vaan ennustaa tehtävän tavoitteen robotin omasta näkökulmasta ja tuottaa sen saavuttamiseen tarvittavat liikkeet.
What should I do next in practice?
Menetelmä voi siirtää fyysisen tekoälyn koulutusta kohti laajasti esikoulutettuja malleja, joita mukautetaan käyttövaiheessa nopeasti ilman jatkuvaa teleoperointia ja tehtäväkohtaista uudelleenkoulutusta.
Sources
arxiv.orgHOST: Robots Acquire Manipulation Skills in Seconds from ...
letsdatascience.comHOST Paper Reports Robot Skill Learning from One Video in 29 Seconds
robotics-transformer-x.github.ioOpen X-Embodiment: Robotic Learning Datasets and RT-X Models
github.comREADME.md - X-Square-Robot/wall-x