D-Robotics et GigaAI veulent faire tourner GigaBrain-0.7 directement sur les robots

Faire fonctionner un modèle d’IA sur une puce ne suffit pas à faire fonctionner un robot. Le pari de D-Robotics et GigaAI est de relier l’apprentissage et l’évaluation des actions à leur exécution sur la machine, grâce à une solution embarquée qui puisse être reproduite et déployée à un coût abordable. Leur première étape consiste à adapter GigaBrain-0.7, un modèle dont les poids sont ouverts, à la plateforme de calcul Sunrise S600. Les partenaires présentent ce travail comme un projet d’intégration, non comme un produit déjà validé sur le terrain. 89

Du monde simulé au geste du robot

GigaBrain-0.7 distingue trois fonctions : System 1 génère des séquences d’actions continues ; System 2 comprend la situation et planifie ; System 3 prédit ce qui pourrait suivre et évalue la progression de la tâche. Son Action Expert, un module d’action partagé et adapté à la morphologie du robot, vise à transférer une partie des capacités apprises entre machines différentes, sans repartir d’une politique entièrement distincte pour chacune. Cela ne supprime pas le travail d’adaptation à chaque robot. 17

Dans le dispositif envisagé, GigaWorld sert à créer des scénarios, anticiper les conséquences d’une action, évaluer les stratégies et réexaminer les échecs. GigaWorld-Policy rapproche cette prédiction de l’apprentissage des actions : il peut décoder une action sans devoir générer une vidéo à chaque étape d’inférence. Cette distinction compte pour un robot qui doit agir sans attendre une simulation visuelle complète avant chaque geste. 217

Pourquoi la S600 entre en jeu

D-Robotics annonce pour la Sunrise S600 une puissance maximale de 560 TOPS en INT8 — des milliers de milliards d’opérations par seconde, mesurées ici avec des nombres sur 8 bits. La plateforme associe quatre cœurs BPU dédiés au calcul d’IA, 18 cœurs CPU Cortex-A78AE, six cœurs de microcontrôleur pour les tâches en temps réel et une bande passante mémoire de 204,8 Go/s. Les kits de développement proposent aussi des interfaces pour les caméras et les extensions nécessaires aux prototypes. 1

L’enjeu sera de convertir, quantifier et optimiser GigaBrain-0.7 pour ce matériel, puis de vérifier que ces opérations ne dégradent pas les actions du robot. Les outils de développement de D-Robotics offrent une voie pour ce travail ; la puissance maximale annoncée ne mesure toutefois ni le délai entre perception et action, ni la cadence de contrôle obtenue en pratique. 8151

Les partenaires visent plusieurs morphologies et des usages domestiques, industriels ou commerciaux. D-Robotics affirme par ailleurs que la S600 compte déjà plus de 20 clients dans la robotique dite « incarnée », dont UBTECH, X Square Robot et FOURIER. Cela ne signifie pas que ces entreprises utilisent la solution commune GigaBrain-0.7–S600. 156

Pour devenir une véritable référence de déploiement embarqué, l’ensemble devra encore faire ses preuves sur des robots : latence et cadence tenues dans la durée, consommation et température, erreurs d’action après quantification, réussite des tâches, reprise après échec et coût d’adaptation à chaque machine. Les éléments disponibles rendent le projet crédible, mais ne permettent pas encore de le qualifier de solution validée sur le terrain. 189