Un impianto cerebrale UCSF decodifica insieme parole e gesti

Comunicare non significa soltanto pronunciare parole: annuire, indicare una direzione, scrollare le spalle o sottolineare un concetto con un gesto cambia il significato di una conversazione. Un gruppo dell’Università della California a San Francisco (UCSF) ha mostrato un’interfaccia cervello-computer, o BCI, capace di recuperare contemporaneamente entrambi questi canali.

In tre persone con paralisi grave degli arti e del tratto vocale, un unico impianto ha registrato l’attività cerebrale durante i tentativi di parlare e di compiere gesti della parte superiore del corpo. Modelli di apprendimento automatico hanno poi convertito questi segnali in testo e nei movimenti di un avatar virtuale personalizzato, quasi in tempo reale. 17

Come funziona l’impianto a 253 elettrodi

Il sistema utilizza una griglia ad alta densità di 253 elettrodi per elettrocorticografia (ECoG), posizionata sulla superficie della corteccia cerebrale. La griglia copre un’area ampia della corteccia sensomotoria, coinvolta sia nei movimenti necessari al linguaggio sia nei movimenti della parte superiore del corpo. 17

I partecipanti cercavano di parlare e di eseguire gesti pur non potendoli realizzare normalmente. L’impianto registrava l’attività neurale associata a questi tentativi; i modelli di machine learning la traducevano quindi in output verbale e movimenti dell’avatar. Voce e gesto potevano così essere prodotti insieme, anziché controllati come due funzioni separate. 14

Lo studio ha rilevato segnali collegati a diversi tipi di movimento: quelli della bocca e del viso legati al parlato, ma anche gesti come annuire, scrollare le spalle e alzare il pugno. In due partecipanti, i ricercatori hanno usato la decodifica parallela di parola e gesto per controllare l’avatar. 7

Perché servono decodificatori distinti

Parole e gesti fanno parte dello stesso atto comunicativo, ma non corrispondono a un unico comando motorio indistinto. I ricercatori hanno adottato approcci di decodifica specifici per l’output verbale e per quello motorio.

Un dato rilevante è che l’attività neurale osservata quando parola e gesto venivano tentati insieme non appariva come la semplice somma dei segnali registrati nelle due attività svolte separatamente. Addestrare il sistema anche su compiti comunicativi combinati ha quindi permesso un output coordinato: l’avatar poteva pronunciare il messaggio previsto mentre eseguiva un gesto della parte superiore del corpo. Le informazioni disponibili documentano questa dimostrazione multimodale simultanea, ma non consentono di misurare in modo indipendente l’entità dell’effetto né di confrontare le prestazioni dei decodificatori in ogni compito. 147

Oltre il testo sullo schermo

Molti strumenti di comunicazione assistita si basano sulla selezione, una alla volta, di lettere, parole o icone. Possono essere strumenti molto utili, ma una selezione sequenziale può rendere lo scambio lento e faticoso.

Il precedente lavoro UCSF sulle neuroprotesi del linguaggio rende l’idea della differenza potenziale: il dispositivo di comunicazione già usato da una partecipante produceva circa 14 parole al minuto, mentre il sistema sperimentale arrivava a decodificare testo a quasi 80 parole al minuto. 28

La nuova BCI mira anche a superare un altro limite: il testo da solo non trasmette tutta la componente sociale di una conversazione. Un cenno del capo può esprimere assenso; un gesto può rafforzare un’affermazione, salutare o indicare qualcosa. Un avatar che parla e si muove è pensato quindi per rendere la comunicazione più espressiva, non soltanto per visualizzare parole su uno schermo. 134

Partecipanti e limiti dello studio

I ricercatori hanno registrato l’attività neurale di tre partecipanti con paralisi del tratto vocale e degli arti. Hanno valutato tentativi di linguaggio e movimenti della parte superiore del corpo; per due persone, anche la decodifica simultanea di parole e gesti. 7

Le fonti fornite non offrono una descrizione affidabile, partecipante per partecipante, della causa della paralisi né il protocollo completo delle prove. Nelle descrizioni della popolazione interessata compaiono condizioni quali ictus e sclerosi laterale amiotrofica (SLA), ma questi elementi non permettono di attribuire una diagnosi specifica a ciascun partecipante. 36

Non è ancora un prodotto disponibile

Si tratta di una BCI sperimentale. L’assetto dimostrato è cablato: la griglia impiantata deve essere collegata ad apparecchiature esterne per la registrazione e l’elaborazione dei segnali. Questo vincolo ne limita l’uso autonomo nella vita quotidiana.

L’obiettivo dichiarato è arrivare a una versione completamente impiantabile e senza fili, eliminando il cavo che attraversa la pelle. Tuttavia, nelle evidenze disponibili non sono indicati una data di arrivo, un produttore o uno stato di approvazione regolatoria: è quindi prematuro considerarlo un dispositivo medico già accessibile.

Il legame con l’avatar vocale del 2023

Il nuovo studio segue un lavoro UCSF pubblicato su Nature nel 2023. In quel caso, una partecipante con paralisi grave e anartria — l’impossibilità di articolare il linguaggio — usò una matrice ECoG ad alta densità da 253 canali per trasformare frasi intenzionali in testo, voce sintetizzata e animazione facciale di un avatar. 33

Quel sistema era concentrato sul parlato e sull’espressione facciale. Il nuovo lavoro estende lo stesso approccio generale — registrazione sulla superficie corticale e decodifica basata sull’intelligenza artificiale — alla comunicazione gestuale della parte superiore del corpo in contemporanea con la voce. È un passo importante verso neuroprotesi che puntano a ripristinare insieme la componente verbale e quella non verbale della conversazione, ma serviranno ulteriori ricerche prima di un impiego clinico di routine. 12434