Implante cerebral permite que avatar fale e faça gestos simultaneamente

Conversar não é apenas pronunciar palavras: envolve acenar, confirmar com a cabeça, apontar, reforçar uma ideia e marcar o ritmo da interação. Uma equipe da University of California, San Francisco (UCSF), liderada pelo neurocirurgião Edward Chang, mostrou que um único implante cerebral de alta densidade pode traduzir, ao mesmo tempo, a intenção de falar e de fazer gestos com a parte superior do corpo.

Na demonstração, essa combinação permitiu que um avatar virtual se expressasse com voz sintetizada e movimento corporal simultâneo — uma comunicação potencialmente mais próxima de uma conversa natural do que a produção de texto isolado. O trabalho, porém, ainda é uma prova de conceito em ambiente de pesquisa, e não um sistema clínico disponível para uso diário. 37

Como o sistema funcionou

Três participantes com paralisia grave dos membros e do trato vocal, incluindo pessoas com esclerose lateral amiotrófica (ELA) e com sequelas de AVC no tronco encefálico, receberam matrizes de eletrocorticografia (ECoG) com 253 eletrodos sobre o córtex sensório-motor. A ECoG registra a atividade elétrica na superfície do cérebro.

Os pesquisadores registraram os sinais enquanto os participantes tentavam dizer frases, fazer gestos — como acenar ou sinalizar positivo com o polegar — ou executar fala e gesto juntos. Depois, modelos de aprendizado de máquina foram treinados para relacionar os padrões cerebrais às saídas de voz e movimento. 37

Fala e gestos não se comportam como canais totalmente separados

A equipe constatou que falar e gesticular produzem padrões de atividade cortical distintos, mas coordenados. O ponto mais importante foi que, nas tentativas simultâneas, o sinal neural não era apenas a soma dos padrões observados quando a fala e o gesto eram realizados separadamente.

Em outras palavras, tentar dizer algo enquanto se faz um gesto gera uma assinatura cerebral própria. Por isso, os decodificadores precisavam aprender a atividade conjunta, em vez de tratar voz e movimento como dois comandos inteiramente independentes. 37

Treinar com ações simultâneas melhorou a decodificação

Os modelos treinados com exemplos de fala e gesto feitos ao mesmo tempo tiveram desempenho melhor para interpretar essas ações combinadas do que os treinados somente com tarefas isoladas. Em dois participantes, o sistema em tempo real controlou um avatar de corpo inteiro: a fala sintetizada e os movimentos da parte superior do corpo aconteciam em conjunto. 37

A demonstração aponta para uma interface cérebro-computador capaz de representar não só palavras, mas também sinais não verbais importantes, como cumprimento, concordância, ênfase, linguagem corporal afetiva e alternância de turnos numa conversa.

Por que isso pode ser mais natural do que soletrar com os olhos

Sistemas de comunicação por rastreamento ocular podem exigir que a pessoa selecione letras, caracteres ou itens de menu um por um. Esse processo pode ser lento e cansativo.

Na comunicação cotidiana, boa parte do sentido está no conjunto: tom, tempo de resposta, postura, gestos de confirmação ou recusa e expressões corporais. Restaurar fala e gestos em paralelo poderia, em tese, tornar a interação mais rápida, menos desgastante e mais rica socialmente para quem não consegue mover-se ou falar.

Ainda assim, o estudo demonstrou viabilidade técnica; ele não comprovou, por enquanto, uma melhora de qualidade de vida em uso prolongado no dia a dia. 37

Próximo passo: eliminar o cabo externo

A demonstração atual usou uma configuração de pesquisa com fio. A equipe planeja desenvolver uma versão totalmente implantável e sem fio, com a meta de tornar o uso crônico mais prático ao eliminar o cabo externo e ampliar a decodificação multimodal.

Esse caminho se apoia em trabalho publicado em 2023, no qual uma participante com paralisia após um AVC no tronco encefálico usou sinais corticais para gerar texto, fala sintetizada e um avatar facial com expressões. 14

O avanço mais recente sugere que futuras neuropróteses de comunicação poderão tentar restaurar uma dimensão essencial que vai além das palavras: a capacidade de se expressar com voz e corpo de forma coordenada.