Robots leren nieuwe vaardigheden uit één korte video: wat HOST en GEN-1.5 echt laten zien
HOST verwierf een nieuwe vaardigheid gemiddeld in 29 seconden en behaalde 62% succes op 50 nieuwe manipulatietaken. GEN 1.5 van Generalist AI gebruikt een demonstratie van 3 tot 12 seconden als zogenoemde fysieke prompt, zonder gradiëntupdates of fine tuning.
HOST verwierf een nieuwe vaardigheid gemiddeld in 29 seconden en behaalde 62% succes op 50 nieuwe manipulatietaken.
GEN 1.5 van Generalist AI gebruikt een demonstratie van 3 tot 12 seconden als zogenoemde fysieke prompt, zonder gradiëntupdates of fine tuning.
De robots leren niet zonder voorkennis: grote hoeveelheden fysieke ervaring zijn vooraf gebruikt om de modellen te trainen.
HOST beschikt over de sterkere academische onderbouwing; de resultaten van GEN 1.5 zijn voorlopig vooral afkomstig van Generalist AI zelf.
How do the two research efforts, HOST from Beijing Institute of Technology, X Square Robot, and Tsinghua University and GEN 1.5 from GeneralAI-generated editorial hero image for How do the two research efforts, HOST from Beijing Institute of Technology, X Square Robot, and Tsinghua University and GEN 1.5 from General.
AI Prompt
Create a landscape editorial hero image for this Studio Global article: How do the two research efforts, HOST from Beijing Institute of Technology, X Square Robot, and Tsinghua University and GEN 1.5 from General. Article summary: Both efforts move robot learning from task specific retraining toward inference time imitation: a pretrained system treats a brief demonstration as context and immediately controls the robot accordingly.. Topic tags: general web, ai safety, prompt engineering, ai, workflow. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with
openai.com
De klassieke manier om een robot een nieuwe taak te leren is arbeidsintensief: onderzoekers verzamelen robotdata, trainen het model opnieuw en hopen dat eerder geleerde vaardigheden niet verloren gaan. HOST en GEN-1.5 proberen dat proces om te draaien. Een vooraf getraind systeem krijgt een korte menselijke demonstratie als context en stuurt de robot vervolgens meteen aan.
Dat betekent niet dat deze robots zonder eerdere training functioneren. De dure, grootschalige training is vooraf uitgevoerd. Het verschil is dat een nieuwe gebruiker voor een nieuwe taak niet opnieuw een volledig trainingsproces hoeft te starten.
HOST en GEN-1.5 naast elkaar
Aspect
HOST
GEN-1.5
Ontwikkelaars
Beijing Institute of Technology, X SQUARE ROBOT en Tsinghua University
Generalist AI
Kernidee
Een menselijke video wordt gebruikt als context voor visuele imitatie. De robot koppelt zijn eigen waarnemingen en lichaamstoestand aan de voortgang van de taak.
Een multimodaal robotmodel behandelt een sensorimotorische demonstratie als een ‘fysieke prompt’ en genereert daaruit direct acties.
Invoer en uitvoer
Menselijke video, een taalopdracht, recente robotwaarnemingen en proprioceptie — informatie over de positie en beweging van de robot. Het model wijzigt zijn parameters niet tijdens het uitvoeren.
Video, taal, sensorgegevens en proprioceptie binnen een multimodale context; het model genereert actietrajecten op 100 hertz.
Trainingsbasis
Voortraining met 193.462 robottrajecten voor 229 taken, gevolgd door aanpassing met 5.847 zelf verzamelde koppels van menselijke video’s en robottrajecten.
Generalist zegt het model meer dan acht maanden onafgebroken te hebben getraind op echte fysieke interactiedata, zonder simulatiedata in de voortraining.
Duur van één demonstratie
Gemiddeld ongeveer 29 seconden om een nieuwe vaardigheid te verwerven.
Volgens Generalist 3 tot 12 seconden.
Opnieuw trainen nodig?
Nee. De nieuwe vaardigheid wordt tijdens de inferentie verworven, zonder taakspecifieke parameterupdate.
Niet bij one-shot prompting: er zijn volgens het bedrijf geen gradiëntupdates of fine-tuning nodig.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
What is the short answer to "Robots leren nieuwe vaardigheden uit één korte video: wat HOST en GEN-1.5 echt laten zien"?
HOST verwierf een nieuwe vaardigheid gemiddeld in 29 seconden en behaalde 62% succes op 50 nieuwe manipulatietaken.
What are the key points to validate first?
HOST verwierf een nieuwe vaardigheid gemiddeld in 29 seconden en behaalde 62% succes op 50 nieuwe manipulatietaken. GEN 1.5 van Generalist AI gebruikt een demonstratie van 3 tot 12 seconden als zogenoemde fysieke prompt, zonder gradiëntupdates of fine tuning.
What should I do next in practice?
De robots leren niet zonder voorkennis: grote hoeveelheden fysieke ervaring zijn vooraf gebruikt om de modellen te trainen.
50 nieuwe manipulatietaken, met uiteenlopende voorwerpen, hulpmiddelen en bewegingsprincipes; elke taak werd 20 keer getest.
Generalist toont onder meer potten openen, een etui openritsen, een voorwerp in een kom vegen, een stift in een beker plaatsen en bouten uitschenken. Een vergelijkbaar gedetailleerd openbaar testprotocol ontbreekt.
Gemiddelde succesratio
62% op de nieuwe taken.
Generalist rapporteert 59% gemiddeld bij one-shot leren over 10 diverse manipulatietaken. Die uitkomst is nog beperkt onafhankelijk gecontroleerd.
Vergelijking met baselines
Volgens de onderzoekers 45% beter dan de sterkste zero-shot-imitatiebaseline en beter dan supervised fine-tuning met 50 robotdemonstraties per taak.
Wanneer één demonstratie niet volstaat, kan het model volgens Generalist worden aangepast met 1 tot 10 gradiëntstappen op 1 tot 5 minuten data — ongeveer 10 tot 50 demonstraties.
Efficiëntiewinst
De auteurs claimen dat het verwerven van een vaardigheid ongeveer 507 keer sneller gaat dan supervised fine-tuning met 50 robotdemonstraties per taak.
De demonstratie van enkele seconden vervangt volgens Generalist conventionele training met vaak tienduizenden gradiëntstappen. Dit is een bedrijfsclaim, geen onafhankelijk gestandaardiseerde vergelijking.
Hoe werkt HOST?
HOST staat voor Human-to-robot One-Shot Skill AcquisiTion. Het systeem probeert menselijke bewegingen niet simpelweg één op één over te zetten op een robot. Dat zou problematisch zijn, omdat een menselijk lichaam, een robotarm en hun perspectieven sterk van elkaar verschillen.
In plaats daarvan gebruikt HOST de video als een voortgangsgebonden routekaart. Het systeem bepaalt waar de mens zich in de taak bevindt, schat hoe die voortgang er vanuit het perspectief van de robot uitziet en leidt daaruit de volgende robotactie af. De robot blijft dus zijn eigen waarnemingen en lichaamsconfiguratie gebruiken, terwijl de menselijke video aangeeft wat het doel en de volgende stap zijn.
Dat onderscheid is belangrijk. De robot probeert niet de exacte handbaan van de mens te kopiëren, maar het onderliggende resultaat te bereiken met zijn eigen lichaam en gereedschap.
In de test van HOST werden 50 taken uitgevoerd, waaronder verschillende combinaties van objecten, hulpmiddelen en basisbewegingen. De gemiddelde succesratio kwam uit op 62%, bij 20 pogingen per taak. Dat is overtuigend bewijs dat de methode meer kan dan één zorgvuldig gekozen demonstratie reproduceren, maar het betekent ook dat de robot in een aanzienlijk deel van de pogingen faalt.
De onderzoekers rapporteerden daarnaast dat de prestaties grotendeels overeind bleven bij veranderingen in belichting, objecten, de scène en verstoring door een mens. De gemelde dalingen ten opzichte van de basisprestatie bedroegen respectievelijk 1%, 4%, 6% en 9%.
Hoe werkt GEN-1.5?
GEN-1.5 benadert hetzelfde probleem vanuit een groter algemeen robotmodel. Een korte demonstratie wordt in het contextvenster geplaatst, vergelijkbaar met een voorbeeld in een prompt voor een taalmodel. Generalist noemt dit een ‘physical prompt’: de video beschrijft niet alleen wat de robot moet doen, maar laat ook zien hoe de taak eruitziet in de fysieke wereld.
Daarna probeert het model de taak uit te voeren zonder zijn gewichten aan te passen. Generalist zegt dat GEN-1.5 niet alleen menselijke demonstraties kan gebruiken, maar ook gedrag kan combineren, nieuwe strategieën kan improviseren en in sommige gevallen een demonstratie uit simulatie naar de echte wereld kan overbrengen.
De openbare voorbeelden zijn aansprekend — van een pot openen tot een etui openritsen — maar de gepubliceerde informatie geeft geen volledig vergelijkbaar overzicht van het aantal proeven, de taakselectie, de baselines en de foutmarges. Daardoor is het moeilijk om de claim rechtstreeks naast de HOST-resultaten te leggen.
GEN-1.5 is bovendien niet in elke situatie volledig ‘trainingsvrij’. Voor eenvoudige taken kan één demonstratie volstaan. Voor moeilijkere taken biedt Generalist een few-shot route met 1 tot 10 gradiëntstappen op enkele minuten data. Het gaat dus om een spectrum: direct leren wanneer dat kan, beperkte aanpassing wanneer dat nodig is.
Wat verandert er aan robotonderwijs?
Beide projecten ondersteunen een verschuiving van programmeren en bijtrainen naar voordoen en uitvoeren. In plaats van:
regels voor elke beweging te schrijven;
een beloningsfunctie voor een specifieke taak te ontwerpen;
honderden robotdemonstraties te verzamelen; of
een model volledig opnieuw te trainen,
kan een gebruiker een taak in principe één keer laten zien.
De brede voortraining levert de algemene fysieke kennis: hoe objecten bewegen, hoe contact tussen grijper en voorwerp werkt en welke acties doorgaans bij een doel horen. De korte video specificeert vervolgens de nieuwe combinatie van object, volgorde en doel.
De efficiëntiewinst zit dus vooral in het amortiseren van de dure voortraining. De robot leert niet vanuit het niets. Wel wordt de kostprijs van een nieuwe taak mogelijk veel lager, omdat niet voor iedere nieuwe handeling een aparte trainingscyclus nodig is.
De belangrijkste kanttekeningen
HOST is geen bewijs voor betrouwbare robots in een open wereld. De studie is een academische preprint en testte 50 geselecteerde taken in een gecontroleerde laboratoriumomgeving. Een gemiddelde succesratio van 62% is veelbelovend voor onderzoek, maar nog onvoldoende voor huishoudelijke, industriële of veiligheidskritische inzet zonder aanvullende controle.
De resultaten van GEN-1.5 zijn moeilijker onafhankelijk te beoordelen. De claims over de trainingsduur, het ontbreken van simulatiedata, de demonstratieduur, de taakvariatie en de aanpassingsmogelijkheden zijn vooral afkomstig van Generalist AI of van berichtgeving die de aankondigingen samenvat.
Een gemeenschappelijke benchmark ontbreekt. Voor GEN-1.5 is publiek nog geen volledig gestandaardiseerd overzicht beschikbaar met taakselectie, aantal pogingen, succesratio per taak, vergelijkbare baselines, modelvrijgave en onafhankelijke reproductie. De demonstraties laten daarom zien dat de capaciteit mogelijk bestaat, maar bewijzen nog niet dat GEN-1.5 een algemeen prestatieniveau heeft bereikt.
Conclusie
HOST levert concreet academisch bewijs dat een robot uit één menselijke video een nieuwe manipulatietaak kan oppakken zonder de modelparameters opnieuw te trainen. GEN-1.5 wijst in dezelfde richting: voldoende brede fysieke voortraining kan one-shot leren als eigenschap van een algemeen robotmodel laten ontstaan.
De bredere ontwikkeling is duidelijk: robots worden steeds vaker geïnstrueerd door observatie in plaats van uitsluitend door code, beloningen of langdurige taaktraining. Maar de praktische conclusie moet voorlopig nuchter blijven. Leren door kijken is in opkomst — het is nog geen vervanging voor grondige validatie, veiligheidsengineering en aanvullende aanpassing in onvoorspelbare omgevingen.
thebotscout.comGeneralist AI: GEN-1 Robot Learning for Cobots | The Bot Scout
