RéponsesPublié19 sources
GE-Act 2.0 : ce que révèle vraiment l’étude d’AgiBot sur 30 000 heures de données robotiques
AgiBot rapporte qu’un passage de 300 à 30 000 heures de données incarnées fait progresser le taux de réussite sans adaptation de 17,1 % à 44,1 % sur G1 OP, et de 13,4 % à 31,1 % sur G2 90D. GE Act 2.0 est entraîné depuis une initialisation aléatoire sur des données de manipulation, avec un planificateur visuel et un...
Publié parModifié avec GPT-5.6 TerraImages générées avec GPT Image 2
Réponse de recherche
Points clés à retenir
- AgiBot rapporte qu’un passage de 300 à 30 000 heures de données incarnées fait progresser le taux de réussite sans adaptation de 17,1 % à 44,1 % sur G1 OP, et de 13,4 % à 31,1 % sur G2 90D.
- GE Act 2.0 est entraîné depuis une initialisation aléatoire sur des données de manipulation, avec un planificateur visuel et un modèle de dynamique inverse pour produire les commandes du robot.
- Le résultat le plus marquant est l’élargissement des tâches réalisables : pliage de serviettes, empilement de gobelets, manipulation de capuchons de stylo ou composition florale apparaissent à plus grande échelle.
Prompt IA
openai.comCreate a landscape editorial hero image for this Studio Global article: What is AgiBot’s GE-Act 2.0 native world-action model, and how do its random-initialization training approach, 100-fold embodied-data scalin. Article summary: GE-Act 2.0 is AgiBot’s “native” world–action model: its visual representation, future-state generation, and action-prediction components are trained from random initialization on manipulation data, rather than adapting a. Topic tags: general, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
GE-Act 2.0 est la tentative d’AgiBot de construire un modèle monde-action (« world–action model ») dédié aux robots. Au lieu d’adapter un modèle vidéo généraliste préentraîné sur des données du Web, ses composants entraînables de vision, de prédiction d’état futur et d’action partent d’une initialisation aléatoire, puis sont préentraînés sur des données de manipulation incarnée. L’affirmation centrale ne se limite donc pas à une meilleure fiabilité : selon AgiBot, des tâches fines qui échouaient auparavant deviennent réalisables lorsque l’entraînement passe de 300 à 30 000 heures. 17
C’est un résultat de recherche notable, mais il faut le lire avec précision. Les preuves proviennent du protocole d’évaluation rapporté par AgiBot, sur deux corps robotiques et 100 tâches atomiques. Elles ne montrent pas que GE-Act 2.0 puisse se débrouiller de façon autonome dans n’importe quel logement, usine ou sur n’importe quel matériel robotique.
L’idée : imaginer un état utile, puis agir pour l’atteindre
Un modèle monde-action relie perception, prédiction et commande. À partir d’une instruction en langage naturel — par exemple déposer un objet à un endroit donné — le système doit identifier la situation, anticiper l’état visuel correspondant à une réussite, puis générer les commandes motrices nécessaires.
GE-Act 2.0 répartit cette tâche entre trois composants :
- Autoencodeur orienté contrôle (CoAE) : il compresse l’entrée visuelle tout en conservant les informations pertinentes pour l’instruction et les mouvements du robot.
- Planificateur visuel à une étape (SVP) : il génère en un seul passage différentiable un état visuel futur complet et utile, sans dépendre d’une longue succession de prédictions vidéo.
- Modèle de dynamique inverse (IDM) : il déduit des actions exécutables à partir de l’état présent et de l’état futur planifié.
17
AgiBot nomme sa méthode d’entraînement Knowledge-Aligned Selective Optimization (KASO). L’article la présente comme un moyen de coordonner planification visuelle et apprentissage des actions, tout en permettant le préentraînement des composants sur des jeux de données complémentaires. 17
L’équipe indique également une inférence par segment d’actions en 104 millisecondes sur une seule RTX 5090. Cette donnée compte pour la manipulation : le robot doit observer puis réagir à répétition ; produire une image future convaincante ne suffit pas si la commande suivante arrive trop tard. 5
Ce que signifie « entraîné de zéro »
De nombreux systèmes d’apprentissage robotique profitent d’un modèle déjà entraîné sur d’immenses corpus d’images ou de vidéos en ligne. GE-Act 2.0, lui, initialise de zéro ses composants génératifs et d’action, puis les entraîne sur des données de manipulation. 17
L’expérience d’échelle est ainsi plus ciblée : elle cherche à mesurer si des données incarnées supplémentaires — c’est-à-dire liées à des interactions physiques et à des actions — améliorent systématiquement la manipulation robotique, plutôt que d’évaluer l’apport d’un modèle vidéo déjà doté de connaissances issues du Web.
La recette d’entraînement décrite peut combiner des trajectoires de téléopération robotique, des vidéos humaines à la première personne, des données de déploiement non étiquetées et des données d’échec. C’est un point important, car les démonstrations robotiques sont coûteuses à collecter : apprendre aussi à partir d’interactions imparfaites ou partiellement annotées pourrait rendre la constitution des jeux de données plus réaliste. 6
20
Une expérience avec 100 fois plus de données
AgiBot a entraîné plusieurs versions du modèle avec 300, 1 200, 5 000 et 30 000 heures de données de manipulation. La comparaison finale couvre donc un facteur 100 dans le volume de données. 4
17
L’évaluation principale est conçue comme un test sans adaptation sur des robots physiques :
- 100 tâches de manipulation atomiques ;
- 20 familles de compétences ;
- des scènes, arrière-plans, éclairages et objets non vus pendant l’entraînement ;
- deux incarnations robotiques : l’humanoïde G1-OP et le manipulateur mobile G2-90D ;
- aucun ajustement spécifique aux tâches, aucune démonstration et aucun remplacement de modèle pour les tâches évaluées.
4
Selon les résultats publiés, le taux de réussite agrégé augmente avec l’échelle des données :
| Robot | Réussite avec 300 heures | Réussite avec 30 000 heures |
|---|---|---|
| G1-OP | 17,1 % | 44,1 % |
| G2-90D | 13,4 % | 31,1 % |
Il s’agit de résultats rapportés par l’étude GE-Act 2.0. 3
17
La conclusion la plus directe est que, pour ce modèle et cette distribution de tâches, davantage de données incarnées sont associées à une hausse substantielle des réussites sans adaptation préalable. Les courbes publiées entre 5 000 et 30 000 heures ne montrent pas de plateau évident ; les auteurs y voient un indice que l’augmentation d’échelle pourrait continuer à aider. 5
Pourquoi l’effet d’« allumage » des compétences est intéressant
Une hausse du taux moyen de réussite peut simplement signifier qu’un robot devient plus régulier sur des tâches qu’il savait déjà effectuer. AgiBot avance une observation plus forte : à grande échelle, le nombre de tâches atteignant au moins une réussite augmente lui aussi.
Pour G1-OP, le nombre rapporté de tâches atomiques réussies passe de 39 à 76 sur 100 lorsque les données d’entraînement passent de 300 à 30 000 heures. 4
Les exemples cités comprennent :
- le pliage de serviettes ;
- l’emboîtement de gobelets ;
- le retrait et la remise en place de capuchons de stylo ;
- la composition florale.
8
C’est le fondement de la formule « light-up » employée dans l’étude. Dans les essais rapportés, l’augmentation des données est associée non seulement à une meilleure exécution de capacités existantes, mais aussi à l’apparition de compétences fines en condition sans adaptation, après des échecs aux petites échelles.
Il ne faut toutefois pas y voir la preuve d’une intelligence générale soudaine. Cette expression décrit une couverture de tâches observée sur un banc d’essai fini. La même tendance reste à vérifier avec des objets plus variés, des activités plus longues, des contextes critiques pour la sécurité ou de nouvelles architectures robotiques.
Ce que G2-90D indique sur le transfert entre robots
Le G2-90D sert de preuve de transfert entre incarnations robotiques dans l’étude. AgiBot indique que ce manipulateur mobile sur roues représentait moins de 2 % des données de coentraînement, tout en gagnant 17,7 points de pourcentage entre les conditions à faible et à grande échelle. 3
17
Ce résultat laisse penser qu’une partie des structures visuelles et des connaissances utiles à l’action peut être partagée entre des robots aux corps différents. C’est un signal encourageant pour une robotique où les politiques ne devraient pas être reconstruites entièrement pour chaque machine.
Il ne démontre toutefois pas une intelligence indépendante du matériel. Les éléments disponibles se limitent à deux incarnations et à la distribution de tâches de l’étude. Le G2-90D était en outre présent dans le coentraînement : il ne s’agit donc pas d’un transfert sans aucune donnée vers un robot arbitraire.
Le lien entre GE-Act et GE-Sim
GE-Act s’inscrit dans la plateforme plus large Genie Envisioner (GE), décrite comme un cadre commun pour l’apprentissage de politiques robotiques, l’évaluation et la simulation, fondé sur une approche générative vidéo. 18
Dans cet ensemble, GE-Act est le composant orienté action, tandis que GE-Sim est un composant de simulation du monde destiné à générer des trajectoires conditionnées par les actions, pour l’évaluation et le développement. 18
19
La distinction est importante : le résultat phare de GE-Act 2.0 repose sur des essais sans adaptation réalisés sur des robots physiques. GE-Sim peut faire partie de l’infrastructure élargie, mais il n’est pas le fondement de l’affirmation principale selon laquelle le modèle a exécuté les tâches de manipulation réelles rapportées sans réglage propre à chaque tâche ni démonstration pendant l’évaluation.
Les résultats après ajustement sont un autre indicateur
AgiBot rapporte aussi des résultats après ajustement (« fine-tuning ») sur des bancs d’essai orientés simulation. Dans les sources fournies, GE-Act 2.0 atteint 60,52 % de réussite dans un test RoboTwin en environnement non vu, ainsi qu’un score de 0,770 en suivi d’instructions sur GenieSim ; ce dernier résultat est présenté comme supérieur à ceux de π0.5 et GR00T N1.7 dans la comparaison citée. 20
Ces chiffres peuvent être utiles pour mesurer la capacité d’adaptation et les performances sur des benchmarks. Mais ils répondent à une question différente de celle de l’expérience sans adaptation sur robot réel. Des scores obtenus après ajustement ne doivent pas être invoqués comme preuve que la même capacité a été acquise sans adaptation spécifique à une tâche.
À retenir
GE-Act 2.0 est intéressant parce qu’il teste une proposition simple mais importante pour l’IA incarnée : un modèle monde-action, entraîné directement sur des données de manipulation, peut-il progresser de manière prévisible à mesure que ces données augmentent ?
Dans l’expérience rapportée par AgiBot, la réponse est positive. Le passage de 300 à 30 000 heures coïncide avec de fortes hausses de réussite sans adaptation sur G1-OP et G2-90D, une couverture plus large des tâches, et l’apparition à grande échelle de compétences comme le pliage de serviettes ou l’emboîtement de gobelets. 3
4
17
La conclusion raisonnable est plus étroite que la promesse d’un robot universel : GE-Act 2.0 apporte des éléments en faveur de l’idée que l’augmentation des données de manipulation incarnée peut faire émerger des capacités mesurables dans une évaluation contrôlée sur robots réels. Des réplications indépendantes, des essais sur davantage de matériels et des évaluations plus exigeantes de la sécurité et des tâches longues restent nécessaires avant d’y voir une solution générale à l’autonomie robotique.
Studio Global AI
Continuez vos recherches
Cette page comprend une réponse basée sur la source que vous pouvez continuer dans Studio Global.
Les gens demandent aussi
Quelle est la réponse courte à « GE-Act 2.0 : ce que révèle vraiment l’étude d’AgiBot sur 30 000 heures de données robotiques » ?
AgiBot rapporte qu’un passage de 300 à 30 000 heures de données incarnées fait progresser le taux de réussite sans adaptation de 17,1 % à 44,1 % sur G1 OP, et de 13,4 % à 31,1 % sur G2 90D.
Quels sont les points clés à valider en premier ?
AgiBot rapporte qu’un passage de 300 à 30 000 heures de données incarnées fait progresser le taux de réussite sans adaptation de 17,1 % à 44,1 % sur G1 OP, et de 13,4 % à 31,1 % sur G2 90D. GE Act 2.0 est entraîné depuis une initialisation aléatoire sur des données de manipulation, avec un planificateur visuel et un modèle de dynamique inverse pour produire les commandes du robot.
Que dois-je faire ensuite en pratique ?
Le résultat le plus marquant est l’élargissement des tâches réalisables : pliage de serviettes, empilement de gobelets, manipulation de capuchons de stylo ou composition florale apparaissent à plus grande échelle.