Ondes cérébrales et signaux musculaires : la nouvelle frontière d'Encord pour former l'IA physique

Vineeth Velmurugan, responsable de l'apprentissage robotique chez Encord, décrit cela comme la « pointe la plus avancée » pour résoudre le goulot d'étranglement des données en robotique . Cependant, l'essai est actuellement en phase d'évaluation active : Encord prévoit de construire un ensemble de données initial, de le tester sur les modèles robotiques de ses clients, d'évaluer si les performances s'améliorent, et ensuite seulement de décider s'il faut passer à l'échelle .

Capteurs de signaux musculaires (EMG)

Parallèlement, Encord teste des capteurs attachés à l'avant-bras qui détectent les signaux électriques dans les muscles. La vidéo standard des mains obstrue souvent les positions fines des doigts. L'entreprise espère donc reconstruire la pose 3D de la main à partir de ces signaux EMG, offrant ainsi aux modèles une compréhension plus riche de la manipulation de précision .

Données de téléopération

Dans son centre de R&D de San Leandro, Encord exploite des bras robotiques maître-esclave. Un opérateur humain contrôle directement un bras tandis qu'un second bras imite le mouvement, produisant des données de haute fidélité pour des tâches telles que verser du café, empiler des jetons de poker, brancher et débrancher des câbles Ethernet, et manipuler des objets ménagers . Selon Encord, toutes les entreprises de robotique humanoïde ont demandé ces ensembles de données spécifiques aux tâches .

Vidéo à la première personne (égocentrique)

Les pilotes portent des caméras montées sur la tête qui capturent ce qu'ils voient, complétées par des données provenant de plusieurs usines à travers le monde. Cela fournit une source évolutive de données d'observation du monde réel .

Collecte sur le terrain et en laboratoire

Encord déploie des opérateurs dédiés sur le terrain et gère des environnements de laboratoire reconfigurables pour collecter des données spécifiques à l'incarnation, y compris le LiDAR, les nuages de points et les flux de capteurs multimodaux synchronisés . Les protocoles de collecte sont conçus à rebours à partir du pipeline d'entraînement du client, de sorte que chaque épisode soit classifié, synchronisé et aligné sur le modèle cible . L'entreprise capture également les modes de défaillance via une boucle de rétroaction de déploiement : lorsqu'un modèle échoue sur le terrain, l'échec est capturé via la téléopération à distance et réinjecté dans les politiques de collecte de données .

Principaux défis techniques

Prouver la valeur des données neuronales

L'approche de Zander Labs déduit les états mentaux de l'activité cérébrale à un niveau grossier – mesurant, par exemple, l'effort cognitif déployé par un pilote – plutôt que de décoder des pensées spécifiques . L'essai doit valider si ce signal améliore réellement les performances des modèles robotiques par rapport aux seules données vidéo et de téléopération standard. Si l'amélioration est marginale, le coût de l'ajout de l'EEG à chaque session de collecte de données pourrait ne pas être justifié.

Synchronisation et annotation multimodales

L'IA physique nécessite que des capteurs tels que la vidéo, la profondeur, le LiDAR, l'audio, l'IMU, et maintenant l'EEG/EMG, soient précisément alignés dans le temps et annotés ensemble. Encord a intégré la prise en charge des formats natifs (MCAP, ROSBAG) et de la fusion de capteurs, mais gérer la complexité de la synchronisation des flux 2D, 3D et de biosignaux reste un problème d'ingénierie difficile .

Diversité des données et capture des modes de défaillance

Les modèles ont besoin d'être exposés à des environnements, des éclairages, des opérateurs et des cas d'échec variés. Encord intègre une boucle de rétroaction de déploiement, mais les données d'échec sont largement considérées comme sous-estimées, bien qu'essentielles pour une IA physique robuste . Sans suffisamment de cas limites, les modèles entraînés sur les données les plus riches généraliseront mal.

Principaux défis économiques

Coût extrême de la création de données physiques

Contrairement aux LLM, qui s'entraînent sur du texte extrait d'Internet, l'IA physique nécessite des données propriétaires du monde réel, générées par du matériel coûteux, des opérateurs humains et des environnements contrôlés. Le modèle d'Encord représente un virage délibéré vers une fabrication de données plus coûteuse et spécialisée – elle passe à l'échelle de manière moins économique que l'extraction de données sur le Web .

Exigences élevées en capital

Encord a levé 110 millions de dollars au total, dont un tour de série C de 60 millions de dollars en février 2026 mené par Wellington Management . L'entreprise doit dépenser massivement en infrastructures (son laboratoire de R&D dans la Baie de San Francisco), en matériel robotique, en personnel formé (les « pilotes ») et en infrastructure d'annotation de données – le tout avant que la plupart des clients n'aient déployé des robots de production à grande échelle.

Le fossé de la simulation

La simulation peut générer de grands ensembles de données synthétiques à moindre coût, mais elle ne parvient systématiquement pas à capturer la physique du monde réel, les cas limites et la manipulation fine. Encord et d'autres parient que seules les données de démonstration humaines réelles – avec leur coût et leur complexité – pourront combler le fossé entre la simulation et la réalité nécessaire à une robotique polyvalente .

Risque de timing de marché

Encord anticipe que plus de 400 millions de robots intelligents seront mis en service au cours des quatre prochaines années, propulsant l'industrie de l'IA physique au-delà de 30 milliards de dollars par an . Si l'adoption est plus lente que prévu, la demande pour des données d'entraînement personnalisées et coûteuses pourrait ne pas se matérialiser assez rapidement pour soutenir les dépenses d'infrastructure actuelles.

En résumé

Encord est pionnière dans la capture expérimentale de biosignaux (ondes cérébrales et capteurs musculaires) aux côtés de la téléopération, de la vidéo à la première personne et de la collecte de données physiques en laboratoire pour remédier à la pénurie de données d'entraînement du monde réel dans l'industrie. L'approche n'est pas encore prouvée à grande échelle : l'essai sur les ondes cérébrales est en cours d'évaluation active, et le compromis économique fondamental est que les données physiques sont bien plus coûteuses à produire que les données textuelles à l'échelle du Web. Le succès dépend de la capacité de ces modalités de données plus riches à améliorer significativement les performances des modèles robotiques et de la croissance suffisamment rapide du marché de l'IA physique pour justifier l'investissement initial.