HOST e GEN-1.5: i robot imparano nuove abilità guardando una breve dimostrazione

L’idea è semplice da capire: invece di programmare un robot per ogni nuova mansione o raccogliere centinaia di dimostrazioni, gli si mostra una persona mentre esegue l’azione. Il sistema usa quel video come contesto e prova subito a portare a termine il compito.

HOST e GEN-1.5 seguono questa direzione, ma con architetture e livelli di evidenza diversi. HOST offre il risultato accademico più strutturato; GEN-1.5 è una dimostrazione aziendale promettente, ma ancora difficile da confrontare con benchmark indipendenti.

Il confronto in breve

Caratteristica	HOST	GEN-1.5
Meccanismo	Una policy di imitazione visiva one-shot che collega l’azione del robot al video umano e usa previsioni auto-ancorate per allineare l’esecuzione alla fase corretta del compito.	Un grande modello multimodale per robotica embodied che tratta la dimostrazione sensomotoria come un “prompt fisico” in contesto e genera le azioni del robot.
Ingressi e uscite	Video umano, istruzione linguistica, osservazioni recenti del robot e dati propriocettivi, cioè informazioni sulla posizione e sul movimento del suo corpo. Il sistema produce azioni senza aggiornare i parametri.	Fino a 30 secondi di memoria video, oltre a dati sensoriali, linguaggio e propriocezione; genera traiettorie d’azione a 100 Hz.
Base di addestramento	Due fasi: pre-addestramento su 193.462 traiettorie robotiche relative a 229 attività, seguito da un adattamento con 5.847 coppie raccolte autonomamente tra video umani e traiettorie robotiche.	Generalist AI dichiara oltre otto mesi di addestramento continuo su dati di interazione fisica reale, senza dati simulati nella fase di pre-addestramento.
Durata della dimostrazione	Circa 29 secondi in media per acquisire una nuova abilità da un singolo video.	Da 3 a 12 secondi, secondo quanto dichiarato dall’azienda.
Riaddestramento convenzionale	No: l’acquisizione avviene durante l’inferenza, senza aggiornamenti specifici per il compito.	No nel caso del prompting one-shot: l’azienda afferma che non servono aggiornamenti del gradiente né fine-tuning.
Copertura dei compiti	50 attività di manipolazione inedite, con oggetti, strumenti e movimenti diversi; 20 prove per ciascun compito.	Le dimostrazioni pubbliche includono l’apertura di un barattolo, l’apertura di una custodia con cerniera, lo spostamento di un oggetto in una ciotola, il posizionamento di un pennarello in un contenitore, il versamento di bulloni e varianti con uso improvvisato di strumenti. Non è però disponibile una suite di test descritta con lo stesso livello di dettaglio.
Tasso di successo	62% in media sui compiti inediti.	Non esiste un tasso medio one-shot consolidato e verificabile in modo indipendente.
Confronto e adattamento	Secondo gli autori, supera del 45% il più forte riferimento zero-shot e anche il fine-tuning supervisionato con 50 dimostrazioni robotiche per compito.	Quando il solo prompting non basta, Generalist AI indica un adattamento few-shot con 1–10 passaggi di gradiente su 1–5 minuti di dati, equivalenti a circa 10–50 dimostrazioni.
Guadagno di efficienza	Acquisizione delle abilità circa 507 volte più rapida rispetto al fine-tuning supervisionato con 50 dimostrazioni robotiche per compito.	L’azienda contrappone il prompting di 3–12 secondi alle procedure tradizionali, spesso descritte come decine di migliaia di passaggi di gradiente. Si tratta però di un’affermazione aziendale, non di un confronto indipendente standardizzato.

Come funziona HOST

HOST — acronimo di Human-to-robot One-Shot Skill AcquisiTion — non cerca semplicemente di tradurre la traiettoria della mano umana in una traiettoria per il robot. Il video diventa invece un riferimento dinamico legato all’avanzamento dell’attività.

Il sistema stima in quale fase del compito si trova il robot, individua nel video il passaggio corrispondente e prevede quale risultato dovrebbe osservare dal proprio punto di vista. Da questa previsione ricava le azioni necessarie per procedere. In questo modo, il robot può imitare l’obiettivo e la sequenza dell’azione senza dover copiare alla lettera i movimenti umani, spesso incompatibili con il suo corpo o con i suoi strumenti.

Il risultato più concreto è una valutazione su 50 compiti nuovi, ripetuti 20 volte ciascuno. Il 62% di successo medio dimostra che l’approccio può trasferirsi a oggetti, strumenti e movimenti mai visti durante l’addestramento, ma indica anche che il sistema è ancora lontano dall’affidabilità necessaria per ogni impiego pratico.

Nei test di robustezza, il rendimento è rimasto vicino al valore di riferimento anche cambiando illuminazione, oggetti, scena o introducendo disturbi umani: le perdite riportate sono state rispettivamente dell’1%, del 4%, del 6% e del 9%.

Cosa propone GEN-1.5

GEN-1.5 interpreta lo stesso paradigma come una capacità emergente di un grande modello embodied, cioè progettato per collegare percezione, decisione e azione nel mondo fisico. La dimostrazione viene inserita nella finestra di contesto come un “prompt fisico”: il modello la osserva e tenta subito di eseguire l’attività, senza trasformarla in una nuova policy addestrata da zero.

Generalist AI mostra esempi come aprire un barattolo, sfilare la cerniera di una custodia o spazzare un oggetto dentro una ciotola. L’azienda afferma inoltre che il modello può trasferire alcune dimostrazioni dall’essere umano al robot, concatenare due comportamenti suggeriti e usare video provenienti dalla simulazione per guidare l’esecuzione nel mondo reale.

È importante, tuttavia, distinguere il funzionamento one-shot dal percorso alternativo di adattamento. Se la dimostrazione singola non è sufficiente, GEN-1.5 può ricorrere a 1–10 aggiornamenti del gradiente usando da 1 a 5 minuti di dati. Non è quindi corretto descriverlo come un sistema che non richiede mai alcuna forma di addestramento aggiuntivo.

Il vero significato della velocità

Il punto non è che questi robot imparino senza aver mai visto dati prima. La conoscenza fisica di base è stata già incorporata attraverso un costoso pre-addestramento su larga scala. Il vantaggio consiste nell’ammortizzare quel costo: l’utente finale può insegnare un nuovo compito con una breve osservazione, invece di avviare ogni volta una nuova ottimizzazione specifica.

È un cambio di interfaccia significativo. In prospettiva, insegnare a un robot potrebbe assomigliare più al mostrare un gesto che allo scrivere codice, progettare una funzione di ricompensa o raccogliere centinaia di esempi tramite teleoperazione. HOST rende questa differenza particolarmente visibile con i 29 secondi medi di acquisizione e il guadagno dichiarato di 507 volte rispetto al fine-tuning.

I limiti da tenere presenti

• HOST è un preprint accademico, non una prova di affidabilità in ambienti aperti. La valutazione è stata condotta in laboratorio su 50 compiti selezionati, con un successo medio del 62%. Restano da dimostrare prestazioni più ampie in ambienti domestici e industriali, nelle attività lunghe o critiche per la sicurezza e in repliche indipendenti.

• Le evidenze su GEN-1.5 sono meno verificabili dall’esterno. Il modello, la durata dell’addestramento, l’assenza di dati simulati nel pre-addestramento, la durata dei prompt e le capacità dichiarate provengono da Generalist AI o da comunicazioni che ne riportano gli annunci.

• Per GEN-1.5 non è ancora disponibile un benchmark pubblico comparabile. Mancano prove indipendenti sufficienti su un numero standardizzato di compiti, un protocollo di prove uniforme, un tasso aggregato di successo one-shot, confronti con baseline, rilascio del modello o dei dati e riproduzioni di terze parti.

Una svolta ancora in fase di verifica

Nel complesso, HOST fornisce una prova concreta del fatto che l’acquisizione di un’abilità da un singolo video, senza aggiornare i parametri del modello, può funzionare su una serie definita di compiti di manipolazione. GEN-1.5 suggerisce invece che un pre-addestramento embodied molto ampio possa far emergere capacità simili come abilità di contesto in un modello generalista.

La direzione è rilevante: i robot si avvicinano a un modo più naturale di apprendere, basato sull’osservazione. Ma i risultati non autorizzano ancora a considerare il video singolo un sostituto della validazione dei compiti, dell’ingegneria della sicurezza e dell’adattamento necessario negli ambienti non controllati.