Un implant cérébral fait parler et gesticuler un avatar chez des personnes paralysées

La conversation ne se résume pas aux mots : un signe de la main, un hochement de tête ou un pouce levé peuvent changer le sens d’une phrase. Des chercheurs de l’Université de Californie à San Francisco (UCSF), dirigés par le neurochirurgien Edward Chang, ont montré qu’un même implant cérébral pouvait restituer ces deux dimensions à la fois : la parole et les gestes du haut du corps.

Il s’agit d’une preuve de concept prometteuse, et non d’un dispositif déjà utilisable en pratique clinique quotidienne. 37

Comment le système a décodé parole et gestes

Trois personnes présentant une paralysie sévère des membres et du tractus vocal — notamment liée à une sclérose latérale amyotrophique (SLA) ou à un AVC du tronc cérébral — ont reçu des réseaux d’électrocorticographie (ECoG) de 253 électrodes sur le cortex sensorimoteur. L’ECoG enregistre l’activité électrique directement à la surface du cerveau.

Les participants devaient tenter de prononcer des phrases, de réaliser des gestes tels qu’un salut de la main ou un pouce levé, ou d’effectuer les deux simultanément. Des modèles d’apprentissage automatique ont ensuite été entraînés à associer ces signaux neuronaux aux paroles et mouvements visés. 37

Les intentions combinées ont leur propre signature cérébrale

Les chercheurs ont observé que la parole et les gestes du haut du corps mobilisaient des configurations d’activité cérébrale distinctes, mais coordonnées. Surtout, lorsque les participants tentaient de parler et de gesticuler en même temps, le signal obtenu n’était pas la simple somme de ceux enregistrés pendant les tâches séparées.

Autrement dit, l’intention de dire « bonjour » tout en faisant signe de la main possède une dynamique neuronale spécifique. Les décodeurs devaient donc apprendre ces comportements conjoints, plutôt que traiter la voix et le mouvement comme deux canaux totalement indépendants. 37

Pourquoi l’entraînement sur des actions simultanées est décisif

Les algorithmes entraînés à partir d’essais associant parole et geste ont mieux décodé les actions réalisées simultanément que ceux entraînés uniquement avec de la parole isolée ou des mouvements isolés.

Chez deux participants, le système en temps réel a piloté un avatar virtuel à corps entier : sa voix synthétisée et ses mouvements du haut du corps étaient produits de concert. L’avatar pouvait ainsi exprimer une communication plus proche d’un échange ordinaire que l’affichage de texte seul. 37

Une piste plus expressive que la saisie par le regard

Les dispositifs de communication commandés par le regard obligent souvent l’utilisateur à sélectionner, l’un après l’autre, des lettres ou des éléments de menu. Cette saisie séquentielle peut être lente et fatigante.

Dans un échange naturel, le sens passe aussi par le rythme, l’insistance, la posture, le fait de désigner quelque chose, d’approuver, de saluer ou de signaler son tour de parole. Réunir parole et gestes pourrait donc, à terme, rendre la communication plus rapide, moins laborieuse et plus riche socialement.

À ce stade, l’étude établit une faisabilité technique. Elle ne démontre pas encore un bénéfice prouvé sur la qualité de vie au long cours, dans des situations quotidiennes. 37

Au-delà des mots : restaurer une intention de communiquer

Cette neuroprothèse de communication pourrait un jour aider des personnes ne pouvant ni bouger ni parler à transmettre davantage que des phrases : l’accord, l’emphase, une salutation, une expressivité corporelle ou les signaux qui organisent le tour de parole.

Elle soutient aussi une idée plus large : une seule interface corticale peut décoder plusieurs modalités coordonnées de la communication humaine. 37

Prochaine étape : passer au sans-fil implantable

La démonstration reposait sur une installation de recherche filaire. L’équipe prévoit un système entièrement implantable et sans fil, conçu pour mieux se prêter à un usage chronique et quotidien en supprimant le câble externe, tout en élargissant le décodage multimodal.

Ce travail s’inscrit dans la continuité d’une démonstration publiée dans Nature en 2023 : une participante paralysée après un AVC du tronc cérébral avait alors utilisé ses signaux corticaux pour générer du texte, une voix de synthèse et un avatar facial capable d’expressions. 14