Une interface cérébrale de l’UCSF décode à la fois la parole et les gestes chez des personnes paralysées

Une équipe de l’Université de Californie à San Francisco (UCSF) a posé sur la surface du cerveau une grille d’électrocorticographie (ECoG) à haute densité comptant 253 électrodes. Elle recouvre une large zone du cortex sensorimoteur, impliqué notamment dans la préparation de la parole et des mouvements. La grille a enregistré l’activité cérébrale de participants qui tentaient de parler et de faire des gestes du haut du corps, malgré leur paralysie. Des systèmes d’apprentissage automatique ont ensuite converti ces signaux, en quelques secondes, en parole et en gestes simultanés pour un avatar personnalisé. 23

Le principe : deux décodeurs pour deux dimensions de la communication

L’implant détectait l’activité corticale associée aux mouvements que les participants essayaient d’effectuer : ceux du tractus vocal pour parler et ceux du haut du corps pour gesticuler. 23

Les chercheurs n’ont pas supposé qu’un unique modèle générique suffirait à interpréter ces deux formes de communication. Ils ont entraîné des décodeurs adaptés à chaque tâche :

• l’un traduisait l’activité neuronale en parole intentionnelle ;
• l’autre la convertissait en commandes ou en paramètres de mouvement pour l’avatar. 23

Le point important sur le plan neuroscientifique est que l’activité observée lorsqu’une personne tente de parler et de gesticuler n’est pas une simple addition de l’activité relevée pour la parole seule et le geste seul. Les modèles ont donc été entraînés sur des tâches de communication combinant naturellement les deux. Cela permet de synchroniser la voix et les mouvements de l’avatar, plutôt que d’assembler deux sorties indépendantes. Les éléments disponibles confirment ce décodage multimodal simultané, mais ne permettent pas de chiffrer précisément cette non-additivité ni les performances des décodeurs. 23

Pourquoi les gestes comptent autant que les mots

Les dispositifs de synthèse vocale contrôlés par le regard peuvent être lents et exigeants : l’utilisateur doit souvent sélectionner les lettres ou les icônes une par une. Ils transmettent les mots, mais beaucoup moins les informations portées par un hochement de tête, un geste de la main, une posture ou une insistance. 2

L’ambition de cette interface est donc de rétablir simultanément une communication verbale et non verbale. Un avatar qui parle tout en faisant signe, en montrant une direction ou en hochant la tête pourrait mieux restituer l’intention communicative de son utilisateur. Il s’agit toutefois d’une démonstration de recherche, et non d’un dispositif de communication déjà disponible en pratique clinique. 23

Participants et limites connues

L’étude a inclus trois personnes présentant à la fois une paralysie du tractus vocal et des membres. 2

Les informations fournies ne détaillent ni le diagnostic de chaque participant ni la cause précise de sa paralysie. Elles établissent uniquement que les participants tentaient de parler et d’effectuer des gestes du haut du corps pendant que le système décodait ces deux intentions. 3

Le prototype actuellement présenté est aussi filaire : la grille corticale doit être reliée physiquement à des équipements externes d’enregistrement et de calcul. Cette contrainte limite son usage autonome au quotidien. La prochaine orientation annoncée est un système entièrement implantable et sans fil, afin de supprimer le câble traversant la peau et de favoriser une utilisation continue plus pratique. Les sources disponibles ne donnent ni calendrier, ni fabricant, ni statut réglementaire.

Dans la continuité des travaux de 2023

Cette avancée prolonge les travaux publiés en 2023 par l’équipe d’Edward Chang. Cette précédente neuroprothèse de la parole utilisait déjà une matrice de 253 canaux sur le cortex sensorimoteur chez une personne atteinte de paralysie sévère et d’anarthrie — l’impossibilité de produire une parole intelligible — afin de décoder des phrases intentionnelles et de contrôler un avatar. 1

Le système de 2023 était centré sur la sortie vocale et l’animation faciale de l’avatar. Les travaux plus récents élargissent cette approche d’enregistrement cortical à haute densité et de décodage par IA pour y ajouter, en temps réel, les gestes du haut du corps. 12