Implante cerebral da UCSF decodifica fala e gestos simultaneamente

Pesquisadores da Universidade da Califórnia em San Francisco (UCSF) implantaram uma matriz de eletrocorticografia — técnica que registra sinais na superfície do cérebro — com 253 eletrodos de alta densidade sobre o córtex sensório-motor. Essa é uma região envolvida no planejamento da fala e dos movimentos. Enquanto participantes com paralisia grave tentavam falar e fazer gestos com a parte superior do corpo, o sistema registrava sua atividade neural. Em segundos, algoritmos convertiam esses sinais em fala e movimentos coordenados de um avatar virtual personalizado. 23

Como o sistema decodifica duas formas de comunicação

O implante captou padrões de atividade cortical ligados às tentativas de movimentar o trato vocal e de realizar ações com a parte superior do corpo, mesmo quando os participantes não conseguiam executar esses movimentos fisicamente. 23

Em vez de usar um único modelo para tudo, a equipe treinou decodificadores de aprendizado de máquina específicos para cada tarefa:

• um decodificador associava os sinais cerebrais à fala pretendida;
• outro convertia sinais em comandos ou cinemática de gestos para o avatar. 23

Um achado importante foi que a atividade neural durante a combinação de fala e gestos não era apenas a soma dos padrões observados em cada atividade separadamente. Por isso, o treinamento com tarefas que reúnem fala e gestos, mais próximas da comunicação natural, foi relevante para sincronizar voz e movimentos do avatar. As informações disponíveis não detalham uma medida numérica dessa diferença nem o desempenho preciso dos decodificadores. 23

Por que os gestos fazem diferença

Sistemas de comunicação por rastreamento ocular e síntese de voz podem exigir a seleção sequencial de letras ou ícones, o que tende a tornar a interação lenta e cansativa. Além disso, eles transmitem palavras, mas não necessariamente elementos não verbais importantes de uma conversa, como apontar, concordar com a cabeça, enfatizar uma ideia ou cumprimentar alguém com a mão. 2

A proposta da interface é restaurar, ao mesmo tempo, canais verbais e não verbais da comunicação. Nas demonstrações descritas, o avatar pode, por exemplo, acenar enquanto diz um cumprimento ou balançar a cabeça em sinal de concordância. 3

Participantes e escopo do estudo

O estudo incluiu três pessoas com paralisia tanto do trato vocal quanto dos membros. 2

O material fornecido não informa o diagnóstico individual nem a causa da paralisia de cada participante, e também não traz a lista completa de tarefas experimentais. Ele confirma apenas que os participantes tentaram falar e fazer gestos com a parte superior do corpo enquanto o sistema decodificava as duas ações. 3

Ainda é uma tecnologia experimental

O sistema demonstrado atualmente é conectado por cabo: a grade cortical precisa permanecer ligada fisicamente a equipamentos externos de registro e processamento. Isso limita o uso cotidiano e independente. 23

A direção de desenvolvimento indicada é uma versão totalmente implantável e sem fio, que eliminaria o cabo que atravessa a pele e poderia tornar o recurso mais prático para uso contínuo. Não há, nas informações fornecidas, prazo, fabricante ou situação regulatória para essa possível versão.

Continuação do trabalho de 2023

O novo resultado amplia uma pesquisa da equipe de Edward Chang publicada em 2023 na Nature. Naquele trabalho, uma matriz de 253 canais instalada no córtex sensório-motor de uma pessoa com paralisia grave e anartria — incapacidade de articular a fala — decodificou frases pretendidas e ajudou a controlar um avatar. 1

O sistema de 2023 se concentrou na produção de fala e na animação facial do avatar. O estudo mais recente estende a mesma abordagem geral de registro cortical de alta densidade e decodificação por IA para incluir, de forma simultânea, a comunicação gestual da parte superior do corpo. 12