À l’UCSF, un implant cérébral fait parler et gesticuler un avatar en même temps

Communiquer ne se résume pas aux mots. Un hochement de tête, un haussement d’épaules ou un geste pour souligner une idée font partie intégrante d’une conversation. Des chercheurs de l’Université de Californie à San Francisco (UCSF) ont montré qu’une interface cerveau-machine pouvait restituer ces deux dimensions simultanément.

Chez trois personnes atteintes de paralysie du tractus vocal et des membres, un seul réseau d’électrodes implanté a enregistré l’activité cérébrale pendant qu’elles tentaient de parler et de produire des gestes du haut du corps. Des modèles d’apprentissage automatique ont ensuite traduit ces signaux en texte et en mouvements d’un avatar personnalisé, presque en temps réel. 17

Un implant de 253 électrodes à la surface du cortex

Le système repose sur une grille de 253 électrodes d’électrocorticographie (ECoG) à haute densité, placée à la surface du cortex sensorimoteur. Cette vaste région cérébrale participe aux mouvements liés à la parole comme à ceux du haut du corps. 17

Les participants tentaient de parler et de réaliser des gestes, même lorsqu’ils ne pouvaient pas les effectuer normalement. L’implant captait les signaux neuronaux associés à ces intentions. Des modèles informatiques les convertissaient ensuite en texte et en actions pour l’avatar : parole et mouvement pouvaient ainsi être produits ensemble, plutôt que pilotés séparément. 14

Les chercheurs ont identifié des signaux liés à plusieurs types de mouvements : ceux de la bouche et du visage associés à la parole, mais aussi des gestes tels que hocher la tête, hausser les épaules ou lever le poing. Chez deux participants, le décodage parallèle de la parole et des gestes a servi à contrôler l’avatar. 7

Pourquoi il faut décoder parole et gestes séparément

La parole et les gestes sont étroitement liés, mais l’étude ne les a pas considérés comme une simple commande motrice unique. L’équipe a entraîné des décodeurs adaptés aux sorties verbales et gestuelles visées.

Ce choix est important : les signaux neuronaux enregistrés lorsqu’une personne tente de parler tout en gesticulant ne semblaient pas être la simple addition des signaux observés pour chaque tâche isolée. L’entraînement sur des tâches de communication combinées a donc permis une sortie coordonnée : l’avatar pouvait prononcer le message voulu tout en exécutant un geste correspondant. Les éléments disponibles confirment cette démonstration multimodale simultanée, sans toutefois permettre d’évaluer indépendamment l’ampleur précise de cet effet non additif ni de comparer les performances des décodeurs pour toutes les tâches. 147

Au-delà du texte à l’écran : retrouver une expression plus complète

De nombreux outils de communication assistée reposent sur la sélection successive de lettres, de mots ou de pictogrammes. Ils sont essentiels pour leurs utilisateurs, mais cette sélection séquentielle peut rendre l’échange lent et éprouvant.

Les travaux antérieurs de l’UCSF illustrent cet écart : chez une participante, son dispositif de communication habituel atteignait environ 14 mots par minute, contre près de 80 mots par minute pour le décodage de texte du système expérimental. 28

La nouvelle interface cherche aussi à répondre à une autre limite : le texte seul ne transmet pas toute la dimension sociale d’une conversation. Les gestes peuvent exprimer l’accord, l’insistance, le salut ou une direction, en parallèle des mots. Un avatar qui parle et bouge vise donc à rendre l’expression plus riche, pas seulement à afficher une phrase sur un écran. 134

Trois participants, et des limites à garder en tête

L’étude a enregistré l’activité cérébrale de trois participants présentant une paralysie du tractus vocal et des membres. Les essais portaient sur la parole tentée, les mouvements du haut du corps et, pour deux personnes, le décodage simultané de la parole et des gestes. 7

Les sources fournies ne permettent pas d’établir, participant par participant, la cause de la paralysie ni de reconstituer l’ensemble du protocole expérimental. Des descriptions générales évoquent notamment les accidents vasculaires cérébraux et la sclérose latérale amyotrophique (SLA), mais elles ne suffisent pas à attribuer un diagnostic à l’un ou l’autre des participants. 36

Une preuve de concept, pas encore un dispositif du quotidien

Cette interface cerveau-machine reste expérimentale. La configuration présentée est filaire : la grille implantée est reliée à des équipements externes d’enregistrement et de calcul. Cette connexion physique limite une utilisation autonome dans la vie quotidienne.

L’objectif annoncé est de développer une version entièrement implantable et sans fil, afin de supprimer le câble traversant la peau. Les sources disponibles ne donnent ni calendrier, ni fabricant, ni statut d’autorisation réglementaire : il est donc trop tôt pour y voir un produit médical accessible.

Dans la continuité de l’avatar vocal de 2023

Cette avancée prolonge une étude menée par l’UCSF et publiée dans Nature en 2023. Une participante atteinte de paralysie sévère et d’anarthrie — une incapacité à articuler la parole — avait utilisé une grille ECoG haute densité de 253 canaux pour convertir des phrases intentionnelles en texte, en voix synthétique et en animation faciale d’avatar. 33

Ce précédent système était centré sur la parole et le visage. La nouvelle étude étend la même approche générale — enregistrement à la surface du cortex et décodage fondé sur l’IA — à la communication gestuelle du haut du corps, en même temps que la parole. C’est une étape vers des neuroprothèses capables de restituer à la fois les dimensions verbales et non verbales d’un échange, même si de nombreuses recherches restent nécessaires avant un usage clinique courant. 12434