Un implante cerebral de UCSF logra descifrar habla y gestos simultáneamente

Hablar no consiste solo en pronunciar palabras. Asentir, señalar o encogerse de hombros también transmite intención, énfasis y acuerdo. Investigadores de la Universidad de California en San Francisco (UCSF) han demostrado una interfaz cerebro-computadora —o BCI, por sus siglas en inglés— capaz de recuperar ambos canales a la vez.

En tres personas con parálisis de las extremidades y del tracto vocal, un único implante registró actividad cerebral mientras intentaban hablar y realizar gestos de la parte superior del cuerpo. Después, modelos de aprendizaje automático transformaron esas señales en texto y en movimientos de un avatar virtual personalizado casi en tiempo real. 17

Cómo funciona el implante de 253 electrodos

El sistema utiliza una matriz de 253 electrodos de electrocorticografía (ECoG), colocada sobre la superficie del cerebro, en la corteza sensoriomotora. Esta amplia región cortical está vinculada tanto con los movimientos necesarios para el habla como con los movimientos de la parte superior del cuerpo. 17

Aunque los participantes no podían ejecutar normalmente los movimientos, intentaban hablar y hacer gestos. El implante registraba las señales neuronales asociadas a esos intentos, y los modelos de aprendizaje automático las traducían en palabras y acciones del avatar. Así, la salida verbal y el movimiento podían producirse de manera coordinada, en vez de controlarse como funciones separadas. 14

El estudio identificó señales relacionadas con movimientos de boca y rostro vinculados al habla, además de gestos como asentir, encogerse de hombros o levantar el puño. En dos participantes, el equipo utilizó una decodificación paralela de habla y gesto para controlar el avatar. 7

Por qué se entrenaron decodificadores distintos

El habla y los gestos forman parte de una misma conversación, pero no son una orden motora indiferenciada. Los investigadores aplicaron métodos de decodificación específicos para las salidas verbales y para los movimientos previstos.

Este detalle importa porque las señales cerebrales registradas al hablar y gesticular simultáneamente no parecían ser una simple suma de las señales obtenidas al hacer cada tarea por separado. Entrenar el sistema con tareas de comunicación combinadas permitió coordinar la respuesta: el avatar podía decir una frase mientras ejecutaba un gesto correspondiente. La información disponible confirma esta demostración multimodal simultánea, pero no permite medir de forma independiente la magnitud de ese efecto ni comparar el rendimiento de los decodificadores en todas las tareas. 147

Más allá de escribir palabras en una pantalla

Muchos sistemas de comunicación asistida funcionan mediante la selección secuencial de letras, palabras o iconos. Pueden ser herramientas valiosas, pero ese proceso puede volver una conversación lenta y exigente. En el trabajo previo de UCSF sobre neuroprótesis del habla, una participante usaba un dispositivo que generaba unas 14 palabras por minuto; el sistema experimental descifró texto a casi 80 palabras por minuto. 28

La nueva BCI busca abordar otra limitación: el texto no recoge por sí solo toda la carga social de una conversación. Un gesto puede expresar saludo, acuerdo, énfasis o dirección al mismo tiempo que se habla. Por eso, el objetivo de un avatar que habla y se mueve es hacer la comunicación más expresiva, no limitarse a mostrar texto. 134

Participantes y alcance del estudio

Los investigadores registraron actividad cerebral de tres participantes con parálisis de las extremidades y del tracto vocal. Evaluaron intentos de habla, movimientos de la parte superior del cuerpo y, en dos casos, la decodificación paralela de habla y gestos. 7

Las fuentes disponibles no ofrecen un desglose fiable, participante por participante, sobre la causa de la parálisis ni sobre el protocolo completo de tareas. Informaciones sobre la población a la que se dirige este tipo de tecnología mencionan afecciones como el accidente cerebrovascular y la esclerosis lateral amiotrófica (ELA), pero eso no permite atribuir un diagnóstico concreto a cada participante. 36

Aún no es un producto médico disponible

Se trata de una BCI en fase de investigación. El montaje demostrado es cableado: la matriz cortical debe conectarse físicamente a equipos externos de registro y procesamiento, lo que limita su uso autónomo en la vida cotidiana.

La meta de desarrollo declarada es una versión totalmente implantable e inalámbrica que elimine ese cable que atraviesa la piel. Sin embargo, las fuentes aportadas no establecen un calendario, un fabricante ni una autorización regulatoria. Por ahora, no debe entenderse como un dispositivo médico disponible para el público.

La continuidad con el trabajo de UCSF de 2023

La investigación se apoya en un estudio liderado por UCSF y publicado en Nature en 2023. En aquel caso, una participante con parálisis grave y anartria utilizó una matriz ECoG de alta densidad de 253 canales para descifrar frases previstas y convertirlas en texto, habla sintetizada y animación facial de un avatar. 33

El sistema anterior se centraba en el habla y la expresión facial. El nuevo trabajo amplía ese enfoque general —registro desde la superficie cortical y decodificación con IA— hacia la comunicación gestual de la parte superior del cuerpo realizada al mismo tiempo que el habla. Es un paso relevante hacia neuroprótesis que aspiren a restaurar conjuntamente los componentes verbales y no verbales de la conversación, aunque aún será necesaria mucha más investigación antes de su uso clínico habitual. 12434