Un impianto cerebrale traduce insieme parole e gesti nelle persone paralizzate

Un team dell’Università della California a San Francisco (UCSF) ha posizionato una griglia di elettrocorticografia (ECoG) ad alta densità con 253 elettrodi sulla corteccia sensomotoria, l’area che partecipa alla pianificazione della parola e dei movimenti. L’impianto ha registrato l’attività cerebrale mentre i partecipanti cercavano di parlare e di compiere gesti con la parte superiore del corpo. Sistemi di apprendimento automatico hanno poi convertito quei segnali, nel giro di pochi secondi, in voce e gesti simultanei per un avatar virtuale personalizzato. 23

Come funziona il sistema

• Anche in presenza di paralisi, l’impianto ha rilevato l’attività corticale associata ai tentativi di muovere il tratto vocale e di eseguire azioni della parte superiore del corpo. 23
• I ricercatori non hanno usato un unico modello generico: hanno addestrato decoder specifici per ciascun compito. Un decoder interpretava la parola intenzionale, l’altro trasformava i segnali in comandi o cinematica dei gesti dell’avatar. 23
• Un risultato neuroscientifico centrale è che l’attività registrata durante parola e gesto eseguiti insieme non equivaleva alla semplice somma dei segnali osservati per parola e gesto separatamente. Per questo l’addestramento su compiti comunicativi combinati e più naturali è stato importante per coordinare voce e movimenti dell’avatar. Le informazioni disponibili confermano la decodifica multimodale simultanea, ma non consentono di quantificare questa non-additività né le prestazioni dei decoder. 23

Perché è un passo rilevante

I sistemi di comunicazione basati sullo sguardo e sulla sintesi vocale possono essere lenti e faticosi: spesso richiedono di selezionare lettere o icone una alla volta. Inoltre, restituiscono le parole ma non gran parte delle informazioni trasmesse da postura, braccia, cenni e enfasi. L’obiettivo di questo approccio è recuperare contemporaneamente la componente verbale e quella non verbale della comunicazione. 2

Un avatar che parla e gesticola potrebbe quindi rendere lo scambio più naturale, esprimendo in parallelo accordo, enfasi, indicazioni o saluti. Si tratta però di una dimostrazione sperimentale, non di un dispositivo di comunicazione già disponibile nella pratica clinica. 23

Partecipanti e compiti

Lo studio ha coinvolto tre persone con paralisi sia degli arti sia del tratto vocale. 2 Le fonti fornite non indicano la diagnosi individuale o la causa della paralisi per ciascun partecipante, né descrivono l’elenco completo delle prove sperimentali. Confermano tuttavia che le persone hanno tentato di parlare e di compiere gesti della parte superiore del corpo mentre il sistema decodificava entrambe le modalità. 3

Nei resoconti relativi a questa popolazione compaiono condizioni quali ictus e sclerosi laterale amiotrofica (SLA), ma gli estratti più autorevoli disponibili non permettono di attribuire una causa specifica a un singolo partecipante.

Limiti attuali e sviluppo previsto

Il sistema dimostrato è collegato via cavo: la griglia corticale deve restare connessa fisicamente a apparecchiature esterne di registrazione e calcolo. Questo ne limita l’uso autonomo nella vita quotidiana.

La direzione di sviluppo dichiarata è un sistema completamente impiantabile e wireless, che elimini il cavo attraverso la pelle e renda possibile un utilizzo continuativo più pratico. Le fonti disponibili non forniscono però una tempistica, il nome di un produttore o uno stato regolatorio.

Il legame con il lavoro UCSF del 2023

Il nuovo risultato estende il lavoro del gruppo guidato da Edward Chang pubblicato su Nature nel 2023. In quel caso, un array da 253 canali sulla corteccia sensomotoria è stato usato in una persona con paralisi grave e anartria — l’incapacità di articolare la parola — per decodificare frasi intenzionali e controllare un avatar. 1

Il sistema del 2023 era concentrato sull’output vocale e sull’animazione facciale dell’avatar. Il lavoro più recente amplia lo stesso approccio generale, basato su registrazione corticale ad alta densità e decodifica con IA, includendo in simultanea i gesti comunicativi della parte superiore del corpo. 12