HOST og GEN-1.5 viser hvordan roboter kan lære ved å se på

Det mest interessante ved HOST og GEN-1.5 er ikke at robotene lærer helt uten forkunnskaper. Begge bygger på omfattende forhåndstrening. Nyvinningen er at denne kunnskapen kan brukes på en ny oppgave etter én kort demonstrasjon – uten en ny, tidkrevende treningsrunde.

Med andre ord går robotlæring fra «samle inn hundrevis av eksempler og finjuster modellen» til «vis roboten hva den skal gjøre, og la den forsøke med en gang».

To forskjellige veier til samme mål

Egenskap	HOST	GEN-1.5
Grunnidé	En visuell én-skuddsmetode som kobler robotens handlinger til fremdriften i menneskevideoen. Systemet bruker selvforankret prediksjon for å tilpasse utførelsen til riktig trinn i oppgaven.	En stor multimodal robotmodell som behandler en sensorimotorisk demonstrasjon som en «fysisk prompt» i konteksten, og deretter genererer robotens handlinger.
Inndata og utdata	Menneskevideo, språkkommando, nylige observasjoner fra roboten og robotens egen tilstands- og leddinformasjon. Systemet produserer handlinger uten å oppdatere modellparametrene.	Opptil 30 sekunder med videominne, i tillegg til sensor-, språk- og proprioseptive data. Modellen skal produsere handlingsbaner med 100 Hz.
Treningsgrunnlag	Først forhåndstrening på 193 462 robotbaner fordelt på 229 oppgaver. Deretter tilpasning med 5 847 egeninnsamlede par av menneskevideo og robotbane.	Generalist AI oppgir mer enn åtte måneders kontinuerlig trening på data fra fysisk samhandling i den virkelige verden, uten simuleringsdata i forhåndstreningen.
Tid for én demonstrasjon	Omtrent 29 sekunder i gjennomsnitt for å tilegne seg en ferdighet fra én menneskevideo.	Selskapet oppgir 3–12 sekunder med demonstrasjon.
Kreves det vanlig retrening?	Nei. Den nye ferdigheten tilegnes under kjøring, uten oppdatering av oppgavespesifikke parametere.	Ikke ved én-skudds prompting, ifølge selskapet. Da skal det ikke kreves gradientoppdateringer eller finjustering.
Oppgavedekning	Testet på 50 nye manipulasjonsoppgaver med ulike objekter, verktøy og bevegelsesprinsipper. Hver oppgave ble prøvd 20 ganger.	Offentlige demonstrasjoner omfatter blant annet å åpne et glass, åpne en glidelåspose, feie en gjenstand ned i en bolle, sette en tusj i en kopp, helle bolter og bruke improviserte verktøy. Det finnes ikke et like detaljert, offentlig spesifisert testsett.
Suksessrate	62 prosent i gjennomsnitt på de nye oppgavene.	Generalist AI har omtalt en gjennomsnittlig suksessrate på 59 prosent på ti manipulasjonsoppgaver, men tallet mangler foreløpig tilsvarende uavhengig dokumentasjon.
Sammenligning og tilpasning	Skal ha slått den sterkeste nullskuddsbaselinen for imitasjon med 45 prosent, og også prestert bedre enn overvåket finjustering med 50 robotdemonstrasjoner per oppgave.	Når prompting alene ikke er nok, oppgir selskapet at modellen kan tilpasses med 1–10 gradientsteg basert på 1–5 minutter med data – omtrent 10–50 demonstrasjoner.
Effektivitetskrav	Omtrent 507 ganger raskere ferdighetstilegnelse enn overvåket finjustering med 50 robotdemonstrasjoner per oppgave.	Skal erstatte tradisjonell oppgavetrening, som ofte innebærer titusenvis av gradientsteg, med en demonstrasjon på 3–12 sekunder. Ved behov kan modellen bruke 1–10 tilpasningssteg. Dette er selskapets eget krav, ikke en uavhengig benchmark.

Hva HOST faktisk viser

HOST – forkortelse for «Human-to-robot One-Shot Skill AcquisiTion» – er utviklet av forskere ved Beijing Institute of Technology, X Square Robot og Tsinghua University.

Metoden forsøker ikke bare å kopiere menneskets håndbevegelser direkte. I stedet bruker den videoen som en referanse for hvor langt demonstrasjonen har kommet. Robotens egne kameraer og sensorer brukes deretter til å vurdere robotens situasjon og finne ut hvilke handlinger som kan føre til det demonstrerte resultatet.

Dette er viktig fordi en menneskehånd og en robotarm ikke nødvendigvis har samme form, bevegelsesfrihet eller perspektiv. Direkte bevegelseskopiering kan derfor bli lite robust. HOST prøver i stedet å koble sammen oppgavens fremdrift, det forventede resultatet og robotens egne handlinger.

I testen ble metoden brukt på 50 oppgaver som ikke hadde vært sett under treningen. Oppgavene dekket ulike objekter, verktøy og manipulasjonsformer, med 20 forsøk per oppgave. En gjennomsnittlig suksessrate på 62 prosent viser at tilnærmingen kan generalisere, men også at roboten fortsatt mislykkes i rundt fire av ti forsøk.

Forskerne rapporterte dessuten at ytelsen holdt seg relativt stabil under endringer i lysforhold, objekter, scene og menneskelig forstyrrelse. Tapet fra utgangspunktet på 62 prosent var henholdsvis 1, 4, 6 og 9 prosent.

Hva GEN-1.5 tilfører

GEN-1.5 fra Generalist AI presenterer en bredere variant av samme idé. Her legges demonstrasjonen inn i modellens kontekstvindu som en «fysisk prompt». Modellen skal så tolke videoen sammen med språk, sensordata og informasjon om robotens egen kropp – og forsøke oppgaven uten å lage en ny, spesialtrent policy.

Selskapet har vist eksempler som å åpne et glass, åpne en pose med glidelås og feie en kloss ned i en bolle. Det hevdes også at modellen kan overføre demonstrasjoner fra mennesker til roboter, kombinere to instruerte handlinger og bruke en demonstrasjon fra simulering til å utføre oppgaven fysisk.

Det er likevel viktig å skille mellom én-skuddsbruk og modellens alternative tilpasningsmodus. Ved én demonstrasjon skal ingen parametere oppdateres. For vanskeligere oppgaver tilbyr Generalist AI derimot few-shot-tilpasning med gradientsteg på flere minutter med data. GEN-1.5 er derfor ikke «uten trening» i enhver praktisk situasjon.

Den store endringen: fra programmering til demonstrasjon

Tradisjonell robotlæring krever ofte spesialtilpasset datainnsamling, teleoperasjon, belønningsdesign eller omfattende finjustering. Det gjør hver ny oppgave kostbar og tidkrevende.

HOST og GEN-1.5 peker mot et mer menneskelig grensesnitt: Man viser roboten hva som skal gjøres, i stedet for å beskrive hver enkelt bevegelse eller samle inn et stort nytt datasett.

Det betyr ikke at roboten lærer fra ingenting. Den fysiske forståelsen er i stor grad forhåndsbetalt gjennom kostbar trening på store mengder data. Demonstrasjonen forteller modellen hvilken oppgave, fremgangsmåte og interaksjon som er relevant akkurat nå. Kostnaden flyttes altså fra hver enkelt bruker og oppgave til den omfattende forhåndstreningen av grunnmodellen.

HOST gjør denne forskjellen konkret: Forskerne oppgir 29 sekunder for å tilegne seg en ny ferdighet og en hastighetsgevinst på 507 ganger sammenlignet med finjustering basert på 50 robotdemonstrasjoner per oppgave.

Begrensningene er minst like viktige

• HOST er fortsatt en akademisk preprint. Resultatene kommer fra et kontrollert laboratorieoppsett med 50 utvalgte oppgaver og 62 prosent gjennomsnittlig suksessrate. Det er ikke dokumentert at metoden fungerer like godt i åpne hjemmemiljøer, lange oppgavesekvenser, industriscenarioer eller sikkerhetskritiske situasjoner. Uavhengige replikasjoner mangler også.

• GEN-1.5 er vanskeligere å etterprøve utenfra. Opplysningene om modellen, treningsperioden, fraværet av simuleringsdata, demonstrasjonslengden og tilpasningsmetoden kommer i hovedsak fra Generalist AI eller omtale av selskapets egne kunngjøringer.

• Det finnes ingen tilsvarende offentlig benchmark for GEN-1.5. Det mangler uavhengig dokumentasjon av et standardisert oppgavesett, forsøksprotokoll, samlet suksessrate for én demonstrasjon, sammenlignbare baseliner, modell- og datalansering eller tredjepartsreproduksjon. Demonstrasjonene viser derfor et lovende potensial, men er ikke i seg selv bevis på en verifisert ytelsesfront.

Samlet gir HOST et mer konkret forskningsbelegg for at roboter kan tilegne seg nye manipulasjonsferdigheter fra én video uten parameteroppdatering. GEN-1.5 antyder samtidig at bred nok forhåndstrening kan gjøre tilsvarende ferdigheter til en generell egenskap i en fysisk grunnmodell.

Retningen er lovende, men konklusjonen bør være nøktern: Roboter begynner å lære mer slik mennesker lærer – ved å observere. Det er likevel langt igjen før korte demonstrasjoner kan erstatte grundig validering, sikkerhetsteknikk og tilpasning i uforutsigbare omgivelser.