Implante cerebral da UCSF decodifica fala e gestos ao mesmo tempo

Comunicar-se não é apenas escolher palavras. Uma conversa também inclui concordar com a cabeça, apontar, encolher os ombros ou reforçar uma ideia com um gesto. Pesquisadores da Universidade da Califórnia em San Francisco (UCSF) demonstraram uma interface cérebro-computador, ou BCI, capaz de recuperar esses dois canais de comunicação ao mesmo tempo.

Em três pessoas com paralisia grave dos membros e do trato vocal, um único conjunto de eletrodos implantado registrou atividade cerebral enquanto os participantes tentavam falar e fazer gestos com a parte superior do corpo. Modelos de aprendizado de máquina converteram esses sinais em texto e em movimentos de um avatar virtual personalizado, em tempo quase real. 17

Como funciona o implante de 253 eletrodos

O sistema usa uma matriz de alta densidade com 253 eletrodos de eletrocorticografia (ECoG), posicionada sobre a superfície do córtex sensório-motor. Essa extensa área cortical está ligada tanto aos movimentos envolvidos na fala quanto aos movimentos da parte superior do corpo. 17

Mesmo sem conseguirem executar os movimentos normalmente, os participantes tentaram falar e gesticular. O implante registrou os sinais neurais associados a essas intenções. Em seguida, algoritmos de aprendizado de máquina transformaram os sinais em texto e comandos para o avatar, permitindo fala e movimento simultâneos, e não como dois controles independentes. 14

O estudo identificou sinais ligados a diferentes movimentos: ações da boca e do rosto relacionadas à fala, além de gestos como balançar a cabeça, encolher os ombros e erguer o punho. Em dois participantes, a equipe usou a decodificação paralela de fala e gesto para comandar o avatar. 7

Por que usar decodificadores separados

Fala e gestos fazem parte de uma mesma comunicação, mas não correspondem a um único comando motor genérico. Os pesquisadores empregaram abordagens de decodificação específicas para a saída verbal e para os movimentos pretendidos.

Isso é importante porque os padrões neurais observados durante fala e gestos simultâneos não foram descritos como uma simples soma dos sinais registrados em cada atividade isolada. Treinar o sistema com tarefas combinadas de comunicação permitiu uma saída coordenada: o avatar podia produzir a fala pretendida e, ao mesmo tempo, executar um gesto correspondente. As informações disponíveis comprovam essa demonstração multimodal simultânea, mas não trazem detalhes suficientes para medir de forma independente o tamanho desse efeito nem comparar o desempenho dos decodificadores em todas as tarefas. 147

O que um avatar acrescenta ao texto na tela

Muitos recursos de comunicação assistiva dependem da seleção, um a um, de letras, palavras ou ícones. Eles são valiosos, mas esse processo sequencial pode tornar uma conversa lenta e cansativa.

Em um trabalho anterior da UCSF, uma participante usava um dispositivo de comunicação que produzia cerca de 14 palavras por minuto. No sistema experimental, a decodificação de texto chegou a quase 80 palavras por minuto. 28

A nova BCI procura enfrentar outra limitação: texto sozinho não transmite todos os significados sociais de uma conversa. Gestos podem expressar concordância, ênfase, cumprimento ou direção enquanto a pessoa fala. Assim, a proposta de um avatar que fala e se move é tornar a comunicação mais expressiva — e não apenas exibir texto em uma tela. 134

Participantes e o que o estudo demonstrou

Os pesquisadores registraram atividade neural de três participantes com paralisia dos membros e do trato vocal. Foram testadas tentativas de fala, movimentos da parte superior do corpo e, em dois participantes, a decodificação simultânea de fala e gestos. 7

As fontes fornecidas não apresentam um relato confiável, participante por participante, sobre a causa da paralisia nem o protocolo completo das tarefas. Reportagens sobre a população que poderia se beneficiar desse tipo de tecnologia citam condições como acidente vascular cerebral (AVC) e esclerose lateral amiotrófica (ELA), mas isso não permite atribuir um diagnóstico específico a qualquer participante sem os detalhes clínicos completos do estudo. 36

Ainda não é um produto para uso cotidiano

A BCI continua sendo um sistema investigacional. A configuração demonstrada é conectada por fio: a grade cortical implantada precisa se ligar a equipamentos externos de registro e processamento. Essa conexão física limita o uso autônomo no dia a dia.

O objetivo declarado de desenvolvimento é uma versão totalmente implantável e sem fio, que elimine o cabo que atravessa a pele. Porém, as evidências fornecidas não estabelecem prazo, fabricante nem aprovação regulatória. Portanto, ainda é cedo para tratar a tecnologia como um produto médico disponível.

A ligação com a pesquisa da UCSF de 2023

O novo estudo dá continuidade a uma pesquisa da UCSF publicada em 2023 na revista Nature. Naquele trabalho, uma participante com paralisia grave e anartria — incapacidade de articular a fala — usou uma matriz ECoG de alta densidade com 253 canais para decodificar frases pretendidas em texto, fala sintetizada e animação facial de um avatar. 33

O sistema de 2023 se concentrou na fala e na expressão facial do avatar. O trabalho atual estende a mesma linha geral — registro na superfície do córtex e decodificação com IA — para incluir, de forma simultânea, a comunicação gestual da parte superior do corpo. É um passo relevante rumo a neuropróteses que buscam restaurar componentes verbais e não verbais de uma conversa, embora ainda sejam necessários muitos estudos antes de um uso clínico de rotina. 12434