Un impianto cerebrale per restituire voce e gesti

Un solo impianto corticale ad alta densità può tradurre nello stesso momento le parole che una persona intende pronunciare e i gesti che intende compiere. È il risultato ottenuto dal gruppo dell’University of California, San Francisco (UCSF), guidato dal neurochirurgo Edward Chang: un avatar virtuale può quindi comunicare con voce e movimenti, non soltanto tramite testo. Si tratta però di una prova di concetto sperimentale, non di un sistema già pronto per l’impiego clinico. 37

Come funziona l’interfaccia

Tre partecipanti con grave paralisi degli arti e del tratto vocale — causata, fra le altre condizioni, da sclerosi laterale amiotrofica (SLA) e ictus del tronco encefalico — hanno ricevuto sullo strato superficiale della corteccia sensomotoria una matrice ECoG (elettrocorticografia) di 253 elettrodi. L’ECoG registra l’attività elettrica dalla superficie del cervello, senza penetrare nel tessuto cerebrale.

I ricercatori hanno registrato i segnali mentre i partecipanti tentavano di dire frasi, di compiere gesti quali salutare con la mano o fare il segno del pollice alzato, oppure di fare entrambe le cose insieme. Modelli di apprendimento automatico sono stati poi addestrati a convertire tali segnali in parole e movimenti dell’avatar. 37

Parlare e gesticolare produce segnali distinti, ma coordinati

Lo studio indica che il parlato e i gesti della parte superiore del corpo corrispondono a schemi corticali separabili, ma coordinati. Il dato più importante è che, quando parola e gesto vengono tentati simultaneamente, l’attività neurale non equivale alla semplice somma dei segnali osservati nelle prove di solo parlato e di solo movimento: emergono configurazioni specifiche della comunicazione combinata. 37

Per questo non era sufficiente considerare voce e gesto come due canali del tutto indipendenti. I decoder dovevano apprendere il comportamento congiunto.

Perché l’addestramento congiunto migliora il risultato

I modelli istruiti su esempi nei quali il partecipante provava contemporaneamente a parlare e a gesticolare hanno decodificato meglio queste azioni simultanee rispetto ai modelli addestrati esclusivamente su compiti isolati. In due partecipanti, il sistema in tempo reale ha controllato un avatar a figura intera: la voce sintetizzata e i movimenti della parte superiore del corpo avvenivano in sincronia. 37

L’obiettivo non è soltanto far comparire una frase su uno schermo, ma ricostruire una forma di espressione più vicina alla conversazione reale: dire «ciao» mentre si saluta con la mano, annuire per confermare o usare il gesto per dare enfasi a ciò che si sta dicendo.

Un’alternativa potenzialmente più naturale dei sistemi a sguardo

Molti strumenti di comunicazione assistita basati sul tracciamento oculare richiedono di selezionare lettere, caratteri o voci di menu uno alla volta. Questo processo può essere lento e faticoso.

Nella vita quotidiana, invece, una parte rilevante del significato passa dalla cadenza, dall’enfasi, dalla postura, dall’indicare qualcosa, dai segnali di assenso, dai saluti e da altri gesti. Affiancare questi elementi al parlato potrebbe rendere lo scambio più rapido, meno oneroso e più ricco sul piano sociale. Per ora, tuttavia, lo studio dimostra la fattibilità tecnica: non prova ancora un miglioramento della qualità di vita nell’uso quotidiano e a lungo termine. 37

Cosa potrebbe restituire oltre alle parole

La ricerca suggerisce che una neuroprotesi per la comunicazione potrebbe un giorno ripristinare anche intenzioni non verbali: accordo, enfasi, saluto, linguaggio corporeo affettivo e gestione dei turni di conversazione. Rafforza inoltre l’idea che una sola interfaccia corticale possa decodificare più modalità comunicative coordinate. 37

Il prossimo passo: un sistema wireless impiantabile

La dimostrazione è stata eseguita con un apparato di ricerca cablato. Il team intende sviluppare un sistema completamente impiantabile e senza fili, con l’obiettivo di eliminare il cavo esterno e rendere più pratico un eventuale impiego cronico nella vita di tutti i giorni, estendendo al tempo stesso la decodifica multimodale. 14

Il progetto si basa sul lavoro pubblicato nel 2023 su Nature, nel quale una partecipante con paralisi dopo un ictus del tronco encefalico aveva usato segnali corticali per produrre testo, voce sintetizzata e un avatar facciale con espressioni. 14