DYNA-2 : le modèle de fondation robotique entraîné sur 1 million d'heures de vidéos humaines

Comment DYNA-2 a été entraîné

Taille et source de l'ensemble de données

L'ensemble d'entraînement était composé de plus d'un million d'heures de vidéo égocentrique (à la première personne) — l'équivalent d'environ 170 ans d'expérience éveillée continue . Les vidéos capturaient des tâches de manipulation quotidiennes telles que cuisiner, plier, assembler et nettoyer . Aucune donnée d'action robotique n'a été utilisée lors du pré-entraînement ; les données robotiques n'ont été introduites que lors d'une petite phase de post-entraînement ou de réglage fin, typiquement 10 heures ou moins par tâche .

Objectifs d'entraînement

Pendant le pré-entraînement, DYNA-2 a utilisé un objectif de prédiction vidéo — apprendre à prédire les images vidéo futures à partir d'observations passées — combiné à un algorithme de co-entraînement vidéo qui apprend conjointement les représentations visuelles et la prédiction d'actions . Cette approche contraste avec l'architecture VLA de DYNA-1, qui mappe directement la perception aux actions du robot sans prédiction vidéo intermédiaire .

La société a démontré un passage à l'échelle sur quatre ordres de grandeur, de 1 000 heures jusqu'à 1 000 000 d'heures de données de pré-entraînement .

Améliorations des performances par rapport à DYNA-1

La société a effectué des comparaisons directes en tête-à-tête entre DYNA-2 et DYNA-1 dans des conditions d'entraînement identiques et des déploiements réels.

Tests de référence en tête-à-tête (7 tâches)

• DYNA-2 a accompli les tâches 1,55 fois plus souvent que DYNA-1 basé sur VLA .
• Dans les comparaisons par paires, DYNA-2 a remporté 65 % des essais contre 29 % pour DYNA-1 .

Résultats agrégés des benchmarks (14–15 tâches sur 3 incarnations robotiques)

La performance normalisée moyenne a augmenté de façon monotone avec l'échelle de pré-entraînement : 20 % → 28 % → 45 % → 53 % du maximum atteignable à mesure que les données passaient de 1k → 10k → 100k → 1M heures . À l'échelle de 1M heures, DYNA-2 a obtenu les meilleures performances réelles sur 9 des 14 tâches . Les améliorations clés par tâche comprenaient :

• Ouverture d'un cadenas avec clé : de 0 % de succès (jusqu'à 100k heures) à 90 % de succès à 1M heures .
• Dévissage de bouchon de bouteille : de 10 % de succès à 40–50 % à 1M heures, en utilisant seulement ~10 minutes de données de post-entraînement robotique .
• Récupération ciblée d'une boisson (suivi d'instructions) : amélioration de 58 % à 83 % .

Déploiement réel en fabrication et chez les clients

• Tâches de fabrication de haute précision : les taux de succès sont passés d'environ ~20 % à 80–90 % uniquement grâce à l'augmentation de l'échelle de pré-entraînement, sans modification des données de post-entraînement .
• Déploiement zéro-shot chez un client : DYNA-2 a enregistré un taux de réussite qualité de 87 % contre 46 % pour DYNA-1 — une amélioration de 41 points .
• L'algorithme de co-entraînement vidéo a augmenté les scores de suivi d'instructions de 133 % sur les tâches nécessitant des mouvements distincts en réponse aux commandes utilisateur .

La loi de passage à l'échelle observée par Dyna Robotics

Dyna Robotics a rapporté ce qu'elle appelle « la première véritable loi de passage à l'échelle en robotique alimentée entièrement par des données humaines » . Caractéristiques principales :

• Loi de passage à l'échelle du transfert humain-robot : à mesure que la quantité de vidéo égocentrique humaine de pré-entraînement augmentait sur quatre ordres de grandeur (1k → 1M heures), la performance du robot sur du matériel robotique jamais vu s'est améliorée de manière prévisible, monotone et log-linéaire — un schéma que la société identifie comme une loi de passage à l'échelle .
• Transfert inter-incarnation : le passage à l'échelle a été vérifié sur deux incarnations robotiques différentes (une plateforme bimanuelle stationnaire et un prototype semi-humanoïde) que le modèle n'avait jamais vues pendant le pré-entraînement .
• Prédiction d'action zéro-shot : l'augmentation des données vidéo humaines a également amélioré la capacité du modèle à prédire des actions sur des données vidéo robotiques exclues qui n'ont jamais été montrées pendant l'entraînement .

La société déclare explicitement qu'il s'agit d'une démonstration « une première en son genre » que l'augmentation des données d'observation humaines, et non des données d'action robotique, peut servir d'axe fiable pour améliorer l'intelligence robotique physique .

Pourquoi c'est important

Si les affirmations sont vérifiées de manière indépendante, Dyna Robotics a montré une voie pratique pour passer à l'échelle l'intelligence robotique sans le goulot d'étranglement de la collecte coûteuse de données d'action robotique. Les vidéos humaines existent à une échelle effectivement illimitée. La société déclare travailler déjà vers 10 millions d'heures de données d'entraînement, ce qui permettrait aux robots de maîtriser de nouvelles tâches physiques avec seulement quelques heures de réglage fin local .