AnswersPublished16 sources
HOST låter robotar lära sig nya färdigheter från en mänsklig video
HOST uppges ha lärt en robot nya manipulationsfärdigheter från en enda 29 sekunder lång video och nått en genomsnittlig framgång på 62 procent. I stället för att kopiera människans rörelser eller träna om modellen förutser HOST uppgiftens resultat ur robotens eget perspektiv och skapar handlingar för att nå dit.
Publicerad avRedigerad med GPT-5.6 LunaBilder genererade med GPT Image 1.5
Research answer
Key takeaways
- HOST uppges ha lärt en robot nya manipulationsfärdigheter från en enda 29 sekunder lång video och nått en genomsnittlig framgång på 62 procent.
- I stället för att kopiera människans rörelser eller träna om modellen förutser HOST uppgiftens resultat ur robotens eget perspektiv och skapar handlingar för att nå dit.
- Metoden kan flytta fysisk AI från upprepad teleoperering och uppgiftsspecifik finjustering till bred förträning kombinerad med snabb anpassning i användningsögonblicket.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How does X Square Robot’s open-sourced HOST framework change embodied-AI training by enabling a humanoid robot to watch a 29-second human de. Article summary: HOST’s important shift is from task-specific retraining to inference-time skill acquisition: rather than gathering a new teleoperation dataset and updating model weights, the robot conditions on one human video, translat. Topic tags: general, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
Det viktigaste med HOST – en förkortning av Human-to-robot One-Shot Skill AcquisiTion – är inte att en robot plötsligt har lärt sig sköta hushållet. Den stora förändringen är snarare hur en ny fysisk färdighet behandlas: mer som en instruktion än som ett helt nytt träningsprojekt.
Robotens modell får se en enda mänsklig demonstration, tolka vilket resultat som eftersträvas ur sin egen kamera- och kroppsreferens och sedan försöka utföra uppgiften utan att modellens underliggande vikter uppdateras. 18
34
I den rapporterade utvärderingen tog det i genomsnitt 29 sekunder att bearbeta demonstrationen, och roboten nådde en genomsnittlig framgång på 62 procent. En jämförelse med Pi-0.5-systemet uppges ha nått 38 procent efter omkring 50 robotdemonstrationer och fyra timmars finjustering. Siffrorna kommer från forskarnas egen experimentuppställning och ska inte tolkas som tillförlitlighet i verklig drift. 18
34
Från omträning till anpassning i realtid
Vid traditionell imitationsinlärning behöver nya demonstrationer vanligtvis samlas in för varje uppgift. Därefter följer optimering eller finjustering av modellen. Det kräver tid med mänskliga operatörer, binder upp robotar och kan dessutom göra det svårare att bevara tidigare inlärda beteenden.
HOST flyttar i stället anpassningen till själva användningstillfället. Den förtränade modellen ligger fast, medan videon fungerar som uppgiftsspecifikt sammanhang när roboten ska agera. Det liknar in-context learning, eller kontextinlärning, mer än att permanent lära modellen ett nytt beteende genom gradientuppdateringar. Tidigare robotforskning har undersökt samma övergripande idé: att modeller kan anpassa sitt beteende utifrån observations- och handlingshistorik utan att vikterna ändras. 20
Den praktiska fördelen är en kortare väg från ”visa roboten vad den ska göra” till ”låt roboten försöka”. Men roboten lär sig inte all fysisk förståelse från grunden på 29 sekunder. En mer rättvisande beskrivning är att en brett förtränad modell använder videon för att välja, förankra och genomföra en ny uppgift.
Därför kopierar HOST inte bara människan
En människa och en robot har olika kamerapositioner, händer, leder, räckvidd och rörelsehastighet. Att överföra bildpunkter eller ledbanor direkt skulle därför lätt bli känsligt och opålitligt.
HOST använder i stället en kedja av så kallade självförankrade förutsägelser. Först uppskattar ramverket hur långt demonstrationen har kommit. Sedan förutser det hur nästa steg bör se ut ur robotens egen synvinkel. Till sist härleds de handlingar som krävs utifrån dessa förutsagda observationer. 18
De rapporterade delarna har olika roller i översättningen mellan människa och robot:
- Synmodulen tolkar uppgiften och det önskade resultatet i ett perspektiv som är centrerat kring roboten.
- Handlingsgenereringen omvandlar det förutsagda resultatet till genomförbara robotrörelser.
- Dynamisk tidsförvrängning, på engelska dynamic time warping (DTW), hjälper systemet att matcha motsvarande steg när människan och roboten rör sig i olika tempo.
Skillnaden är central. Robotens mål är inte att återge demonstratörens kroppsmekanik exakt, utan att förstå den meningsfulla följden av förändringar i omgivningen och hitta sitt eget sätt att åstadkomma dem.
En större idé om imitation och simulering
Utformningen bygger på en målinriktad syn på imitation: den som observerar en handling försöker förstå vad den ska åstadkomma och väljer sedan en motorisk plan som passar den egna kroppen. Det skiljer sig från att behandla demonstrationen som en rörelsebana som ska spelas upp bildruta för bildruta.
Simulering och storskalig förträning kan ge modellen bred variation innan den tas i bruk. En kort video från verkligheten tillför därefter den uppgiftsspecifika information som saknas i stunden. Det antyder en möjlig träningsmodell för fysisk AI: lär systemet breda fysiska och beteendemässiga grundförmågor offline och specialisera det snabbt genom kontext under körning.
Riktningen ligger nära den växande satsningen på öppna robotdata och grundmodeller som tränas på flera olika robotplattformar. När erfarenheter delas mellan olika typer av robotar kan en modell i bästa fall överföra kunskap mellan olika kroppar och miljöer. 25
Varför det spelar roll att HOST är öppet
Att X Square Robot har släppt ramverket öppet gör det lättare för andra forskare och utvecklare att granska, återskapa och testa metoden. Öppna implementationer kan visa hur väl överföringen från video till handling fungerar med andra kameror, robotarmar, miljöer och uppgifter – i stället för att påståendet förblir bundet till en enda sluten demonstration.
Företaget har också publicerat kod och verktyg för sin WALL-serie av modeller för fysisk AI, bland annat komponenter för träning, inferens, databeredning och utvärdering. 26
27 För X Square Robot kan öppen källkod därmed fylla två funktioner: att påskynda extern forskning och att skapa kännedom om modellerna och hårdvaran kring dem.
Det öppna upplägget bevisar inte i sig att HOST:s resultat håller utanför benchmarktestet. Däremot blir ramverkets huvudhypotes lättare att pröva: att en robots förtränade förmågor kan anpassas genom en kort demonstration i stället för att modellen måste finjusteras på nytt för varje manipulationsuppgift.
Vad resultatet på 62 procent visar – och inte visar
En framgång på 62 procent är ett intressant forskningsresultat, särskilt tillsammans med den rapporterade minskningen av demonstrationsmängd och träningstid. Det är däremot inte samma sak som driftsäker autonomi. I den angivna utvärderingen misslyckades roboten fortfarande i nästan två av fem försök.
Resultatet visar inte heller att systemet fungerar robust under alla förhållanden som en hushållsrobot skulle möta. Det behövs mer testning vid förändrad belysning, stökiga miljöer, andra föremålsutseenden, varierande kontaktfysik, återhämtning efter misstag, säkerhetsbegränsningar, längre uppgiftskedjor och på andra robotkroppar. Oberoende utvärderingar är också viktiga eftersom arbetet är ett forskningsförtryck och jämförelserna är bundna till den aktuella benchmarken. 18
34
Den trovärdiga slutsatsen är därför mer avgränsad – och mer användbar – än att humanoida robotar nu kan lära sig hushållssysslor från en enda video. HOST pekar mot ett system för fysisk AI som förtränas brett, anpassar sig snabbt från mänskliga demonstrationer och undviker uppdateringar av modellvikter för varje enskild uppgift. Om resultaten håller även utanför forskarnas benchmark kan inlärning av färdigheter i användningsögonblicket bli ett seriöst alternativ till den kostsamma rundgången med teleoperering, datainsamling och upprepad finjustering.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "HOST låter robotar lära sig nya färdigheter från en mänsklig video"?
HOST uppges ha lärt en robot nya manipulationsfärdigheter från en enda 29 sekunder lång video och nått en genomsnittlig framgång på 62 procent.
What are the key points to validate first?
HOST uppges ha lärt en robot nya manipulationsfärdigheter från en enda 29 sekunder lång video och nått en genomsnittlig framgång på 62 procent. I stället för att kopiera människans rörelser eller träna om modellen förutser HOST uppgiftens resultat ur robotens eget perspektiv och skapar handlingar för att nå dit.
What should I do next in practice?
Metoden kan flytta fysisk AI från upprepad teleoperering och uppgiftsspecifik finjustering till bred förträning kombinerad med snabb anpassning i användningsögonblicket.
Sources
arxiv.orgHOST: Robots Acquire Manipulation Skills in Seconds from ...
letsdatascience.comHOST Paper Reports Robot Skill Learning from One Video in 29 Seconds
robotics-transformer-x.github.ioOpen X-Embodiment: Robotic Learning Datasets and RT-X Models
github.comREADME.md - X-Square-Robot/wall-x