Én demonstration, ingen genoptræning: Sådan lærer robotter nye opgaver

Robotter bliver normalt ikke bedre til en ny opgave ved blot at se et menneske udføre den én gang. Traditionelt kræver det store mængder robotdata, teleoperation, finjustering af modellen og ofte tusindvis af træningstrin.

HOST og GEN-1.5 forsøger at ændre den arbejdsgang. I stedet for at bruge demonstrationen som nye træningsdata behandler systemerne den som kontekst: Robotten ser, hvad der skal gøres, og bruger sin eksisterende fysiske viden til at planlægge handlingen med det samme.

To forskellige veje til samme idé

Punkt	HOST	GEN-1.5
Udvikler	Beijing Institute of Technology, X Square Robot og Tsinghua University	Generalist AI
Grundidé	En one-shot-politik til visuel imitation, der kobler robot­tens handlinger til fremdriften i menneskevideoen og bruger selvforankret forudsigelse til at vælge næste handling.	En multimodal, fysisk grundmodel, der behandler en sensorimotorisk demonstration som en fysisk prompt i modellens kontekst og derefter genererer robotbevægelser.
Input og output	Menneskevideo, sproglig instruktion, aktuelle robotobservationer og robot­tens egen krops- og positionsinformation. Systemet producerer handlinger uden parameteropdateringer.	Op til 30 sekunders multimodal kontekst med video, sensorer, sprog og proprioception. Modellen producerer handlingsbaner ved 100 Hz.
Træningsgrundlag	Først fortræning på 193.462 robotbaner fordelt på 229 opgaver. Derefter tilpasning med 5.847 selvindsamlede par af menneskevideoer og robotbaner.	Generalist AI oplyser, at modellen blev trænet kontinuerligt i mere end otte måneder på data fra fysisk interaktion i den virkelige verden uden simuleringsdata i fortræningen.
Tid til én demonstration	Gennemsnitligt cirka 29 sekunder.	Ifølge virksomheden 3–12 sekunder.
Kræver traditionel genoptræning?	Nej. Den nye færdighed tilegnes under inferens, uden opdatering af opgavespecifikke parametre.	Nej ved one-shot-prompting; Generalist AI hævder, at der hverken bruges gradientopdateringer eller finjustering.
Opgavedækning	50 nye manipulationer med forskellige genstande, værktøjer og bevægelsesprincipper, testet i 20 forsøg pr. opgave.	Offentlige demonstrationer omfatter blandt andet at åbne et glas, lyne en pose, feje en genstand ned i en skål, hælde bolte og bruge værktøj. Der er ikke offentliggjort et tilsvarende detaljeret benchmark.
Rapporteret succesrate	62 procent i gennemsnit på de nye opgaver.	59 procent i gennemsnit på 10 forskellige manipulationer ifølge virksomhedens egne oplysninger. Resultatet er ikke uafhængigt efterprøvet.
Sammenligning med baselines	Forskerne rapporterer en forbedring på 45 procent i forhold til den stærkeste zero-shot-imitation-baseline og bedre resultater end superviseret finjustering med 50 robotdemonstrationer pr. opgave.	Hvis prompting ikke er nok, oplyser virksomheden, at modellen kan tilpasses med 1–10 gradienttrin på 1–5 minutters data, svarende til omtrent 10–50 demonstrationer.
Effektivitetskrav	Omkring 507 gange hurtigere færdighedstilegnelse end superviseret finjustering med 50 robotdemonstrationer pr. opgave.	Virksomheden sammenligner 3–12 sekunders prompting med traditionel opgavetræning, som ofte kræver titusindvis af gradienttrin. Det er et virksomhedsudsagn og ikke en uafhængigt benchmarkeret sammenligning.

Hvad viser HOST?

HOST, der står for Human-to-robot One-Shot Skill AcquisiTion, forsøger ikke blot at oversætte menneskets håndbevægelse direkte til robot­leddenes bevægelser. Det ville være sårbart, fordi menneskets krop, kameraets vinkel og robot­tens fysiske udformning er forskellige.

I stedet bruger systemet videoen som en reference for opgavens fremdrift. Robotten vurderer, hvor langt den selv er kommet, finder det tilsvarende trin i demonstrationen og forudsiger, hvordan det ønskede resultat bør se ud fra robot­tens eget perspektiv. Derefter udleder den de nødvendige handlinger.

Det gør metoden mere fleksibel end simpel bevægelseskopiering. En person kan for eksempel vise, hvordan en genstand flyttes, uden at robotten behøver at efterligne hver enkelt håndbevægelse nøjagtigt.

Forskerne testede HOST på 50 manipulationer, som ikke indgik i den oprindelige træning, med 20 forsøg pr. opgave. Den gennemsnitlige succesrate var 62 procent. Det er et tydeligt tegn på, at én video kan være nok til at aktivere tidligere indlært fysisk viden på tværs af nye genstande, værktøjer og manipulationstyper.

Men 62 procent betyder også, at robotten stadig mislykkes i en betydelig del af forsøgene. Systemet er derfor ikke det samme som en robot, der pålideligt kan udføre enhver ny opgave i et hjem eller på en arbejdsplads.

HOSTs robusthedsforsøg viste desuden rapporterede fald på henholdsvis 1, 4, 6 og 9 procent ved ændringer i belysning, genstande, scene og menneskelig forstyrrelse.

Hvad hævder GEN-1.5?

GEN-1.5 fra Generalist AI bygger på en bredere idé: at en stor fysisk grundmodel kan udvikle evnen til at lære nye opgaver direkte fra eksempler i sin kontekst.

En kort video på 3–12 sekunder indsættes som en såkaldt fysisk prompt. Modellen forsøger derefter at udføre opgaven uden at ændre sine parametre. Generalist AI beskriver også evner som menneske-til-robot-efterligning, kombination af flere promptede handlinger, improvisation efter fejl og overførsel fra simulerede demonstrationer til den fysiske verden.

Virksomheden siger, at GEN-1.5 er trænet i mere end otte måneder på omfattende data fra fysisk interaktion og uden simuleringsdata i fortræningen. Den offentlige dokumentation beskriver dog ikke et benchmark med samme detaljeringsgrad som HOSTs 50 opgaver og 20 forsøg pr. opgave.

Generalist AI rapporterer en gennemsnitlig succesrate på 59 procent på 10 forskellige manipulationer ved one-shot-læring. Det er interessant, fordi tallet ligger i samme størrelsesorden som HOSTs 62 procent, men resultaterne kan ikke sammenlignes direkte uden ens opgaver, robotter, forsøgsprotokoller og uafhængig kontrol.

GEN-1.5 er heller ikke altid helt uden yderligere træning. Ved sværere opgaver tilbyder virksomheden en few-shot-tilpasning med 1–10 gradienttrin på få minutters data. One-shot-prompting er altså den træningsfri mulighed, mens modellen også har en mere traditionel tilpasningsvej, når den korte demonstration ikke er tilstrækkelig.

Hvorfor er det et vigtigt skifte?

Den store ændring handler ikke om, at robotter pludselig lærer uden tidligere erfaring. Begge systemer bygger på omfattende fortræning. Den dyre læring er blot flyttet frem i processen og fordelt over mange opgaver.

For den enkelte bruger kan resultatet derfor ligne menneskelig læring: Man viser robotten, hvad den skal gøre, i stedet for at programmere hver bevægelse, udforme en belønningsfunktion eller indsamle hundredvis af robotdemonstrationer.

Det er en form for amortisering af træningsomkostningen. En stor model eller politik har allerede lært generelle sammenhænge mellem syn, bevægelse, genstande og fysiske konsekvenser. Den korte video fortæller primært, hvilken ny opgave og fremgangsmåde der er relevant i den aktuelle situation.

HOST gør gevinsten konkret med en gennemsnitlig tilegnelsestid på 29 sekunder og et rapporteret 507-dobbelt hastighedsfortrin i forhold til en metode, der finjusteres med 50 robotdemonstrationer pr. opgave. GEN-1.5 peger i samme retning, men virksomhedens effektivitetskrav mangler en tilsvarende uafhængig måling.

De vigtigste forbehold

HOST er stadig et kontrolleret forskningsresultat. Evalueringen dækker 50 udvalgte nye opgaver i et laboratoriemiljø. Den dokumenterer ikke endnu, hvordan systemet klarer lange opgaveforløb, rodede hjem, industrielle sikkerhedskrav eller situationer, som forskerne ikke har udvalgt på forhånd.

GEN-1.5 er vanskeligere at efterprøve udefra. Oplysningerne om modellen, træningsperioden, brugen af fysiske data, demonstrationslængden og succesraten kommer primært fra Generalist AI eller virksomhedens egne meddelelser.

Der mangler et fælles benchmark. For GEN-1.5 er der ikke offentliggjort tilstrækkelige uafhængige oplysninger om en standardiseret opgaveliste, forsøgsprotokol, samlet one-shot-succesrate, baseline-sammenligning, modeludgivelse eller tredjepartsreproduktion. Demonstrationerne er derfor tegn på lovende kapacitet – ikke et endeligt bevis på en ny præstationsgrænse.

Konklusion

HOST giver den stærkeste akademiske dokumentation for, at en robot kan tilegne sig nye manipulationer fra én menneskevideo uden opdatering af modellens parametre. GEN-1.5 antyder, at den samme evne kan opstå som en in-context-funktion i en bredt fortrænet fysisk grundmodel.

Retningen er lovende: Robotter kan være på vej fra at blive programmeret opgave for opgave til at blive undervist gennem demonstration. Men teknologien er endnu ikke en erstatning for systematisk validering, sikkerhedsteknik og tilpasning i uforudsigelige miljøer. Den korte video kan sætte en ny færdighed i gang – men den garanterer ikke, at robotten udfører den rigtigt hver gang.