GE-Act 2.0 di AgiBot: cosa mostra davvero il test di scaling da 30.000 ore

GE-Act 2.0 è il tentativo di AgiBot di costruire da zero un modello mondo-azione per robot. Invece di adattare un modello video generico addestrato su dati del web, inizializza casualmente le componenti addestrabili per visione, previsione dello stato futuro e azione, quindi le preaddestra su dati di manipolazione embodied, cioè legati a interazioni fisiche e comandi del robot. Il punto centrale non è soltanto che il sistema diventi più affidabile con più dati: AgiBot riporta che alcune attività di manipolazione fine, inizialmente fallite, iniziano a riuscire passando da 300 a 30.000 ore di addestramento. 17

È un risultato di ricerca rilevante, ma va letto con precisione. Le evidenze provengono dal protocollo di valutazione riportato da AgiBot, condotto su due corpi robotici e 100 attività atomiche. Non dimostrano che GE-Act 2.0 possa operare in autonomia in qualunque abitazione, fabbrica o su hardware robotico arbitrario.

L’idea: prevedere uno stato utile e agire per raggiungerlo

Un modello mondo-azione collega percezione, previsione e controllo. Davanti a un’istruzione linguistica, per esempio «metti l’oggetto in quel contenitore», il sistema deve riconoscere la scena, anticipare come dovrebbe apparire uno stato futuro riuscito e inviare comandi motori capaci di produrlo.

GE-Act 2.0 suddivide questo lavoro in tre componenti:

• Control-oriented autoencoder (CoAE): comprime l’input visivo mantenendo le informazioni rilevanti per l’istruzione e per le azioni del robot.
• Single-step visual planner (SVP): genera in un solo passaggio differenziabile uno stato visivo futuro utile e completo, invece di affidarsi a una lunga catena di previsioni video.
• Inverse-dynamics model (IDM): deduce azioni robotiche eseguibili a partire dallo stato attuale e da quello futuro pianificato. 17

AgiBot chiama il proprio metodo di addestramento Knowledge-Aligned Selective Optimization (KASO). Nel paper, è presentato come un modo per coordinare la pianificazione visiva e l’apprendimento delle azioni, consentendo al tempo stesso il preaddestramento su dati complementari. 17

Il gruppo riferisce inoltre un’inferenza di blocchi d’azione in 104 millisecondi su una singola RTX 5090. È un valore importante per la manipolazione: una policy deve osservare e reagire ripetutamente, non limitarsi a produrre un piano visivamente plausibile troppo lento da tradurre nel comando successivo. 5

Cosa significa, qui, «addestrato da zero»

Molti sistemi di robot learning sfruttano modelli già addestrati su grandi raccolte di immagini o video dal web. GE-Act 2.0, invece, inizializza da zero le componenti generative e di azione e le addestra su dati di manipolazione. 17

Questo rende più mirato l’esperimento di scaling: i ricercatori cercano di misurare se dati embodied aggiuntivi producano miglioramenti sistematici nella manipolazione robotica, non il valore di un modello di base video già preaddestrato sul web.

La ricetta descritta può combinare traiettorie di teleoperazione robotica, video in prima persona di esseri umani, dati di rollout senza etichette e dati di fallimento. È un aspetto rilevante perché le dimostrazioni robotiche costano: poter imparare anche da interazioni imperfette o annotate solo in parte può rendere la raccolta dati più praticabile. 620

L’esperimento: dati moltiplicati per 100

AgiBot ha addestrato versioni del modello con 300, 1.200, 5.000 e 30.000 ore di dati di manipolazione. Il confronto finale copre quindi un aumento dei dati di 100 volte. 417

La valutazione principale è stata impostata come test zero-shot su robot reali:

• 100 attività atomiche;
• 20 famiglie di abilità;
• scene, sfondi, condizioni di luce e istanze di oggetti non viste;
• due corpi robotici: l’umanoide G1-OP e il manipolatore mobile G2-90D;
• nessun fine-tuning specifico per attività, nessuna dimostrazione e nessuna sostituzione del modello per le attività di valutazione. 417

Con questo protocollo, il successo aggregato riportato cresce all’aumentare della scala dei dati:

Corpo robotico	Successo con 300 ore	Successo con 30.000 ore
G1-OP	17,1%	44,1%
G2-90D	13,4%	31,1%

Sono risultati riportati nello studio su GE-Act 2.0. 317

La conclusione più diretta è che, per questo modello e questa distribuzione di compiti, più dati embodied sono associati a un aumento sostanziale del successo zero-shot. Le curve riportate fra 5.000 e 30.000 ore non mostrano un evidente plateau; gli autori interpretano il dato come un segnale che ulteriore scaling potrebbe ancora aiutare. 5

Perché conta l’effetto di abilità che si «accendono»

Una media di successo più alta può semplicemente indicare che il robot è diventato più costante in compiti che sapeva già fare. AgiBot sostiene invece che, nel regime con più modello e più dati, sia cresciuto anche il numero di attività che hanno raggiunto un successo diverso da zero.

Per G1-OP, il numero riportato di attività atomiche completate con successo passa da 39 a 76 su 100, aumentando i dati da 300 a 30.000 ore. 4

Fra gli esempi indicati figurano:

• piegare asciugamani;
• inserire un bicchiere dentro un altro;
• rimuovere e reinserire il cappuccio di una penna;
• comporre fiori. 48

Da qui l’espressione «light-up», cioè abilità che si accendono gradualmente. Nei test riportati, lo scaling dei dati è associato non solo a un’esecuzione migliore di capacità già presenti, ma anche alla fattibilità zero-shot di alcune abilità fini che alle scale minori fallivano.

Non va però interpretato come prova di un’improvvisa intelligenza generale. Descrive la copertura osservata in un benchmark finito. Resta aperta la domanda se lo stesso andamento valga con oggetti molto più vari, compiti di lunga durata, impieghi critici per la sicurezza o nuovi progetti hardware.

Il risultato sul G2-90D e il trasferimento tra corpi robotici

Il G2-90D fornisce l’evidenza dello studio sul trasferimento tra embodiment, ossia tra diversi corpi robotici. AgiBot riferisce che questo manipolatore mobile su ruote rappresentava meno del 2% dei dati di co-addestramento, eppure il suo successo aggregato è salito di 17,7 punti percentuali tra la condizione con meno dati e quella con più dati. 317

Il risultato suggerisce che almeno parte della struttura appresa — visiva e rilevante per l’azione — possa essere condivisa tra robot con forme diverse. È un segnale utile per un futuro in cui le policy non debbano essere ricostruite completamente per ogni macchina.

Non dimostra, però, un’intelligenza robotica indipendente dall’hardware. L’evidenza riguarda due embodiment e la distribuzione di compiti dello studio. Inoltre il G2-90D era presente, seppure in quota ridotta, nel co-addestramento: non si tratta quindi di un trasferimento a dati zero verso un robot arbitrario.

Il rapporto fra GE-Act e GE-Sim

GE-Act fa parte della piattaforma più ampia Genie Envisioner (GE), descritta come un ambiente comune per apprendimento delle policy robotiche, valutazione e simulazione all’interno di un framework video-generativo. 18

In questo quadro, GE-Act è la componente orientata all’azione, mentre GE-Sim è una componente di simulazione del mondo pensata per generare rollout condizionati dalle azioni, utili per valutazione e sviluppo. 1819

La distinzione è importante: il risultato principale di GE-Act 2.0 si basa su test zero-shot condotti su robot fisici. GE-Sim può essere infrastruttura collegata nella piattaforma più ampia, ma non è alla base dell’affermazione centrale secondo cui il modello ha eseguito le attività reali riportate senza fine-tuning specifico né dimostrazioni durante la valutazione.

I benchmark con fine-tuning sono un risultato distinto

AgiBot riporta anche risultati dopo fine-tuning su benchmark orientati alla simulazione. Nella documentazione fornita, GE-Act 2.0 ha ottenuto il 60,52% di successo nel test RoboTwin in ambiente non visto e un punteggio di 0,770 nel test GenieSim di esecuzione delle istruzioni; quest’ultimo è indicato come superiore ai risultati confrontati di π0.5 e GR00T N1.7. 20

Sono misure potenzialmente utili di adattamento e prestazioni su benchmark, ma rispondono a una domanda diversa dall’esperimento zero-shot su robot fisici. I punteggi ottenuti con fine-tuning non vanno quindi usati come prova della stessa capacità senza adattamento specifico all’attività.

In sintesi

GE-Act 2.0 è interessante perché mette alla prova una tesi semplice ma importante per l’IA embodied: un modello mondo-azione addestrato direttamente su dati di manipolazione può migliorare in modo prevedibile quando questi dati crescono?

Nell’esperimento riportato da AgiBot, la risposta è sì. L’espansione del set di addestramento da 300 a 30.000 ore coincide con forti aumenti nel successo zero-shot su G1-OP e G2-90D, con una copertura più ampia delle attività e con la comparsa, alla scala maggiore, di abilità fini quali piegare asciugamani e inserire bicchieri uno nell’altro. 3417

La conclusione corretta è più circoscritta rispetto alla promessa di un robot generico: GE-Act 2.0 offre evidenza che aumentare i dati embodied di manipolazione può produrre capacità nuove e misurabili in una valutazione controllata su robot reali. Prima di considerarlo una soluzione generale per l’autonomia robotica serviranno repliche indipendenti, test su hardware più vario e valutazioni più solide su compiti di lunga durata e sicurezza.