AnswersPublished16 sources
HOST kan endre hvordan roboter trenes
HOST skal ha lært manipulasjonsferdigheter fra én 29 sekunder lang menneskevideo og oppnådd 62 prosent gjennomsnittlig suksess, mot 38 prosent for en finjustert referansemodell basert på rundt 50 demonstrasjoner og fi... I stedet for å kopiere menneskets bevegelser eller oppdatere modellens vekter, forutsier HOST op...
Publisert avRedigert med GPT-5.6 LunaBilder generert med GPT Image 1.5
Research answer
Key takeaways
- HOST skal ha lært manipulasjonsferdigheter fra én 29 sekunder lang menneskevideo og oppnådd 62 prosent gjennomsnittlig suksess, mot 38 prosent for en finjustert referansemodell basert på rundt 50 demonstrasjoner og fi...
- I stedet for å kopiere menneskets bevegelser eller oppdatere modellens vekter, forutsier HOST oppgavens mål fra robotens eget perspektiv og genererer handlingene som trengs for å nå det.
- Metoden kan flytte robotlæring fra gjentatt fjernstyring og oppgavespesifikk finjustering til forhåndstrente modeller som tilpasser seg i selve kjøretiden.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How does X Square Robot’s open-sourced HOST framework change embodied-AI training by enabling a humanoid robot to watch a 29-second human de. Article summary: HOST’s important shift is from task-specific retraining to inference-time skill acquisition: rather than gathering a new teleoperation dataset and updating model weights, the robot conditions on one human video, translat. Topic tags: general, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
Det viktigste ved HOST – forkortelse for Human-to-robot One-Shot Skill AcquisiTion – er ikke at en robot plutselig har lært alle husarbeidets finesser. Poenget er at en ny fysisk ferdighet kan behandles mer som en instruksjon enn som et helt nytt treningsprosjekt: Vis roboten én demonstrasjon, la den tolke hva som skal oppnås med sitt eget kamera og sin egen kropp, og la den prøve oppgaven uten å endre modellens underliggende vekter. 18
34
I evalueringen som er rapportert, førte en 29 sekunder lang demonstrasjon til en gjennomsnittlig suksessrate på 62 prosent. En sammenligning basert på Pi-0.5-systemet skal ha nådd 38 prosent etter rundt 50 robotdemonstrasjoner og fire timers finjustering. Tallene stammer fra forskernes eget forsøksoppsett og må ikke tolkes som pålitelighet på nivå med et ferdig produkt. 18
34
Fra ny trening til tilpasning i kjøretiden
Tradisjonell imitasjonslæring krever som regel at man samler inn nye demonstrasjoner for hver oppgave, før modellen optimaliseres eller finjusteres. Det krever tid med fjernstyring, legger beslag på roboter og kan gjøre det vanskeligere å bevare ferdigheter systemet allerede har lært.
HOST flytter selve tilpasningen. Den forhåndstrente modellen holdes fast, mens demonstrasjonsvideoen blir oppgavespesifikk kontekst som modellen får tilgang til når den skal utføre oppgaven. Dette ligner mer på in-context learning, eller læring fra kontekst, enn på å lære inn en permanent ny atferd gjennom gradientoppdateringer. Tidligere robotforskning har undersøkt den samme overordnede muligheten: at modeller kan tilpasse handlingene sine ut fra observasjons- og handlingskontekst uten å endre vektene. 20
Det praktiske løftet er en kortere vei fra «vis roboten hva den skal gjøre» til «la roboten prøve». Men roboten lærer ikke alle fysiske prinsipper fra grunnen av på 29 sekunder. En mer presis beskrivelse er at en bredt forhåndstrent ferdighetsmodell bruker én video til å velge, forankre og utføre en ny oppgave.
Hvorfor HOST ikke bare kopierer mennesket
Et menneske og en robot har ulik kameravinkel, håndform, leddgeometri, rekkevidde og bevegelseshastighet. Direkte overføring av videopiksler eller leddbaner ville derfor lett blitt sårbar.
HOST bruker i stedet en kjede av såkalt selvforankret prediksjon. Først anslår systemet hvor langt demonstrasjonen har kommet. Deretter forutsier det hvordan den videre utviklingen bør se ut fra robotens eget perspektiv, før det til slutt beregner handlinger ut fra disse forutsagte observasjonene. 18
De rapporterte delene av systemet har ulike roller:
- Synsmodulen tolker oppgaven og det ønskede resultatet i en perseptuell ramme tilpasset roboten.
- Handlingsmodulen omsetter det forutsagte resultatet til bevegelser roboten kan utføre.
- Dynamisk tidsjustering – dynamic time warping – hjelper systemet med å koble sammen tilsvarende trinn når mennesket og roboten utfører dem i ulikt tempo.
Forskjellen er vesentlig. Robotens mål er ikke å gjenskape demonstratørens kroppslige mekanikk nøyaktig. Den må forstå den meningsfulle rekkefølgen av endringer i omgivelsene og finne sin egen måte å skape det samme resultatet på.
Simulering og kognitiv vitenskap peker mot en ny oppskrift
Utformingen bygger også på et målrettet syn på imitasjon: En observatør identifiserer hva en handling skal oppnå, og velger deretter en motorisk plan som passer til dens egen kropp. Det er noe annet enn å behandle demonstrasjonen som en bevegelsesbane som skal spilles av bilde for bilde.
Simulering og storskala forhåndstrening kan gi roboten generell variasjon før den tas i bruk. En kort video fra den virkelige verden kan så tilføre den oppgavespesifikke informasjonen som mangler i øyeblikket. Det antyder en mulig oppskrift for såkalt embodied AI – kunstig intelligens som skal oppfatte og handle fysisk: Lær brede fysiske og atferdsmessige grunnferdigheter offline, og spesialiser systemet raskt gjennom kontekst når oppgaven skal løses.
Retningen passer inn i en bredere utvikling mot åpne robotdatasett og grunnmodeller som er trent på flere typer robotkropper. Slike modeller kan overføre erfaring mellom ulike plattformer. 25
Hvorfor åpen kildekode er viktig
Ved å gjøre HOST tilgjengelig for andre forskere og utviklere blir det enklere å undersøke, gjenskape og teste metoden. Åpne implementasjoner kan vise hvor godt video-til-handling-overføring fungerer på tvers av kameraer, robotarmer, miljøer og oppgaver – i stedet for at påstandene bare kan vurderes gjennom én lukket demonstrasjon.
X Square Robot har også publisert kode og verktøy for WALL-serien av åpne embodied-modeller, blant annet komponenter for trening, kjøring, dataklargjøring og evaluering. 26
27 For selskapet kan åpen kildekode dermed ha to funksjoner: å få fart på ekstern eksperimentering og å bygge kjennskap til modellene og maskinvaren rundt rammeverket.
Åpen kildekode bekrefter ikke HOSTs resultater i seg selv. Den gjør likevel hovedhypotesen mer etterprøvbar: at en robots forhåndstrente evner kan tilpasses gjennom en kort demonstrasjon, i stedet for at systemet må finjusteres på nytt for hver manipulasjonsoppgave.
Hva 62 prosent viser – og ikke viser
En suksessrate på 62 prosent er et interessant forskningsresultat, særlig når den ses sammen med den rapporterte reduksjonen i antall demonstrasjoner og treningstid. Det er imidlertid ikke det samme som robust autonomi. I den oppgitte evalueringen mislyktes nesten to av fem forsøk.
Resultatet viser heller ikke at systemet fungerer stabilt under alle forhold en husholdningsrobot vil møte. Det trengs mer testing ved endringer i lys, rot og gjenstanders utseende, samt ved krevende kontakt med omgivelsene, feilretting, sikkerhetsbegrensninger, lengre oppgavesekvenser og bruk på andre robotkropper. Uavhengige evalueringer er også viktige fordi artikkelen er en forskningspreprint, og sammenligningene er knyttet til et bestemt testoppsett. 18
34
Den mest troverdige – og mest nyttige – konklusjonen er derfor ikke at humanoide roboter nå kan lære husarbeid fra én video. HOST peker mot et system som er bredt forhåndstrent, raskt kan tilpasses menneskelige demonstrasjoner og unngår oppdateringer av modellvekter for hver enkelt oppgave. Dersom resultatene holder seg utenfor forskernes eget testmiljø, kan ferdighetstilegnelse i kjøretiden bli et reelt alternativ til den kostbare runddansen med fjernstyring, datainnsamling og gjentatt finjustering.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "HOST kan endre hvordan roboter trenes"?
HOST skal ha lært manipulasjonsferdigheter fra én 29 sekunder lang menneskevideo og oppnådd 62 prosent gjennomsnittlig suksess, mot 38 prosent for en finjustert referansemodell basert på rundt 50 demonstrasjoner og fi...
What are the key points to validate first?
HOST skal ha lært manipulasjonsferdigheter fra én 29 sekunder lang menneskevideo og oppnådd 62 prosent gjennomsnittlig suksess, mot 38 prosent for en finjustert referansemodell basert på rundt 50 demonstrasjoner og fi... I stedet for å kopiere menneskets bevegelser eller oppdatere modellens vekter, forutsier HOST oppgavens mål fra robotens eget perspektiv og genererer handlingene som trengs for å nå det.
What should I do next in practice?
Metoden kan flytte robotlæring fra gjentatt fjernstyring og oppgavespesifikk finjustering til forhåndstrente modeller som tilpasser seg i selve kjøretiden.
Sources
arxiv.orgHOST: Robots Acquire Manipulation Skills in Seconds from ...
letsdatascience.comHOST Paper Reports Robot Skill Learning from One Video in 29 Seconds
robotics-transformer-x.github.ioOpen X-Embodiment: Robotic Learning Datasets and RT-X Models
github.comREADME.md - X-Square-Robot/wall-x