Un implante cerebral logra que avatares hablen y gesticulen a la vez

La comunicación no consiste solo en palabras. Un saludo con la mano, un asentimiento, un pulgar hacia arriba o el énfasis de un movimiento también transmiten intención. Investigadores de la Universidad de California en San Francisco (UCSF), dirigidos por el neurocirujano Edward Chang, demostraron que un único implante cerebral puede descodificar de forma simultánea el habla intentada y los gestos de la parte superior del cuerpo para que un avatar virtual hable y se mueva a la vez. Es una prueba de concepto relevante, pero todavía no un sistema listo para el uso clínico cotidiano. 37

Cómo funcionó el sistema

Tres participantes con parálisis grave de las extremidades y del tracto vocal —incluidos casos de esclerosis lateral amiotrófica (ELA) y de ictus de tronco encefálico— recibieron matrices de electrocorticografía (ECoG) de 253 electrodos sobre la corteza sensoriomotora. La ECoG registra actividad eléctrica directamente desde la superficie cerebral.

Durante las pruebas, las personas intentaban decir frases, realizar gestos como saludar con la mano o hacer la señal de pulgar arriba, o ejecutar ambas acciones de manera simultánea. Después, los investigadores entrenaron modelos de aprendizaje automático para asociar esos patrones neuronales con salidas de voz y movimiento. 37

Hablar y gesticular a la vez genera una señal propia

El estudio observó que el habla y los gestos de la parte superior del cuerpo producen patrones de actividad cortical distinguibles, aunque coordinados. Pero el hallazgo clave fue que intentar ambas formas de comunicación a la vez no equivale simplemente a sumar las señales de los ensayos de habla por separado y de gestos por separado.

La comunicación simultánea generó patrones neuronales característicos. Por ello, los algoritmos debían aprender esa combinación concreta, en vez de tratar voz y movimiento como canales completamente independientes. 37

Por qué el entrenamiento conjunto mejoró los resultados

Los descodificadores entrenados con ejemplos de habla y gestos simultáneos interpretaron mejor esas acciones conjuntas que los sistemas entrenados únicamente con habla aislada o movimiento aislado. En dos participantes, el sistema en tiempo real controló un avatar de cuerpo completo: su voz sintetizada y sus movimientos de la parte superior del cuerpo se producían de forma coordinada. 37

El resultado apunta a una interfaz cerebro-computadora que no se limite a convertir pensamientos en texto, sino que pueda representar una conversación con elementos verbales y no verbales.

Una posible alternativa más expresiva a escribir con la mirada

Los sistemas de comunicación basados en seguimiento ocular suelen requerir que el usuario seleccione letras, caracteres o elementos de un menú de uno en uno. Ese proceso puede ser lento y cansado.

En una conversación natural, el significado también depende del ritmo, la postura, los gestos de afirmación, los saludos, los señalamientos y el énfasis corporal. Recuperar esas señales junto con la voz podría hacer la interacción más rápida, menos exigente y más rica desde el punto de vista social. Aun así, el estudio demuestra viabilidad técnica; no prueba todavía una mejora de la calidad de vida en el uso diario y prolongado. 37

Qué podría aportar a la comunicación no verbal

A largo plazo, una neuroprótesis de este tipo podría ayudar a restaurar intenciones comunicativas que van más allá de las palabras: mostrar acuerdo, reforzar una idea, saludar, expresar lenguaje corporal afectivo o participar en los turnos de una conversación. También respalda la idea de que una sola interfaz cortical puede descodificar varias modalidades de comunicación coordinadas. 37

El siguiente paso: eliminar el cable

La demostración utilizó una configuración de investigación conectada por cable. El equipo prevé desarrollar un sistema totalmente implantable e inalámbrico, con el objetivo de facilitar un uso crónico y cotidiano al eliminar el cable externo y ampliar la descodificación multimodal.

Este avance se apoya en el trabajo publicado por el grupo en 2023 en Nature, en el que una participante con parálisis por un ictus de tronco encefálico usó señales corticales para generar texto, voz sintetizada y un avatar facial con expresiones. 14