Hjärnimplantat lät avatar tala och gestikulera samtidigt

Ett enda högupplöst hjärnimplantat kunde översätta en persons avsedda ord och rörelser i överkroppen samtidigt. Resultatet blev en virtuell kropp som kunde kommunicera med både syntetiskt tal och gester – snarare än enbart text. Det är ett viktigt tekniskt bevis på att metoden fungerar, men ännu inte ett system redo för klinisk vardagsanvändning. 27

Så gick försöket till

Tre deltagare med svår förlamning av talapparat och lemmar, bland annat till följd av ALS och hjärnstamsstroke, fick ECoG-arrayer med 253 elektroder placerade över den sensorimotoriska hjärnbarken. ECoG, elektrokortikografi, innebär att elektrisk aktivitet registreras direkt från hjärnans yta.

Forskarna registrerade signalerna medan deltagarna försökte uttala fraser, göra gester som att vinka eller ge tummen upp – eller utföra tal och gest samtidigt. Maskininlärningsmodeller tränades sedan att koppla dessa hjärnsignaler till tal och rörelser hos en avatar. 27

Samtidig kommunikation har egna hjärnsignaler

Tal och gester från överkroppen gav mönster i hjärnbarken som gick att skilja åt, men som också var samordnade. När deltagarna försökte tala och gestikulera samtidigt var signalerna inte bara en enkel summa av signalerna från tal- respektive gestförsök var för sig. Den kombinerade kommunikationen gav egna, särskilda aktivitetsmönster. 27

Det förklarar varför avkodaren behövde lära sig just den samordnade handlingen, i stället för att behandla röst och rörelse som två helt oberoende kanaler.

Träning på kombinationer gav bättre resultat

Avkodare som tränats på exempel där tal och gester gjordes samtidigt var bättre på att tolka sådana kombinerade försök än modeller som enbart tränats på isolerat tal eller isolerade rörelser. För två av deltagarna kunde systemet i realtid styra en helkroppsavatar, så att tal och rörelser i överkroppen utfördes parallellt. 27

Det kan exempelvis handla om att avatern vinkar medan den säger hej, eller nickar i samförstånd medan talet fortsätter.

Potentiellt mer naturligt än ögonstyrd bokstavering

Många kommunikationshjälpmedel med ögonstyrning kräver att användaren väljer bokstäver eller alternativ ett i taget. Det kan vara både långsamt och tröttande. I vanliga samtal förmedlas däremot mycket mer än ord: tempo, betoning, hållning, pekningar, hälsningar, bekräftelser och andra gester formar betydelsen.

Att kunna återge sådana signaler tillsammans med tal skulle i framtiden kunna göra kommunikationen snabbare, mindre ansträngande och socialt rikare. Studien visar dock teknisk genomförbarhet – inte att livskvaliteten redan har förbättrats i långvarig vardagsanvändning. 27

Kan återge mer än själva orden

Forskarna pekar på möjligheten att framtida kommunikationsneuroproteser kan återställa avsikter som ligger utanför ordens bokstavliga innehåll: instämmande, eftertryck, hälsningar, känslomässigt kroppsspråk och turordning i samtal. Studien stöder också den bredare idén att ett och samma kortikala gränssnitt kan avkoda flera samordnade sätt att kommunicera. 27

Nästa steg är ett helt implanterbart och trådlöst system. Det aktuella försöket använde en kabelansluten forskningsuppställning; ett trådlöst implantat skulle kunna göra långvarig användning i vardagen mer praktisk genom att ta bort den externa kabeln och samtidigt utveckla den multimodala avkodningen vidare. Arbetet bygger på UCSF-teamets Nature-studie från 2023, där hjärnsignaler från en deltagare med förlamning efter hjärnstamsstroke användes för att skapa text, syntetiskt tal och en ansiktsavatar med uttryck. 14