Hjerneimplantat lot avatar snakke og gestikulere samtidig

Et enkelt hjerneimplantat kan i prinsippet gjengi både det en person prøver å si og hvordan vedkommende prøver å gestikulere. Det viser et forskningsprosjekt ledet av nevrokirurgen Edward Chang ved University of California, San Francisco (UCSF). I demonstrasjonen kunne en digital avatar kommunisere med både stemme og bevegelser i overkroppen – ikke bare tekst på en skjerm. Dette er imidlertid et tidlig teknologisk bevis på at metoden kan fungere, ikke et ferdig hjelpemiddel for klinisk eller daglig bruk. 37

Slik ble signalene tolket

Tre deltakere med alvorlig lammelse i både taleapparat og lemmer, blant annet som følge av ALS og hjernestammeslag, fikk plassert elektrokortikografi-arrayer (ECoG) med 253 elektroder over sensorimotorisk hjernebark. ECoG registrerer elektrisk aktivitet direkte fra hjernebarkens overflate.

Forskerne målte hjerneaktiviteten mens deltakerne forsøkte å uttale fraser, gjøre gester som å vinke eller gi tommel opp, eller utføre tale og gest samtidig. Deretter trente de maskinlæringsmodeller til å koble aktivitetssignalene til tale og bevegelse i et digitalt system. 37

Tale og gester er samordnet – men ikke bare to separate signaler

Målingene viste at tale og bevegelser i overkroppen ga mønstre i hjernebarken som kunne skilles fra hverandre, samtidig som de var samordnet. Da deltakerne prøvde å snakke og gestikulere på samme tid, var hjerneaktiviteten ikke bare en enkel sum av signalene fra tale alene og gest alene.

De kombinerte forsøkene hadde egne, karakteristiske aktivitetsmønstre. Derfor måtte dekoderne lære kommunikasjonen som en samlet handling, i stedet for å behandle stemme og bevegelse som helt uavhengige kanaler. 37

Samtidig trening ga bedre resultat

Modeller som var trent på eksempler der deltakerne forsøkte tale og gester samtidig, tolket også slike samtidige handlinger bedre enn modeller som bare hadde lært fra isolert tale eller isolerte bevegelser.

For to av deltakerne styrte systemet en helkroppsavatar i sanntid: Avataren kunne produsere syntetisk tale og bevege overkroppen parallelt. 37

Kan gi mer enn bokstav-for-bokstav-kommunikasjon

Mange som ikke kan snakke, bruker i dag øyestyrte systemer der de velger bokstaver eller menyelementer ett av gangen. Slike løsninger kan være langsomme og krevende over tid.

Vanlig samtale består derimot av langt mer enn ordene: tempo, betoning, nikk, hilsener, peking, bekreftelser og kroppsspråk bidrar til mening og flyt. Dersom både tale og slike signaler kan gjenskapes, kan kommunikasjonen på sikt bli raskere, mindre anstrengende og sosialt rikere. Studien har foreløpig vist teknisk gjennomførbarhet – ikke at løsningen allerede gir bedre livskvalitet ved langvarig hverdagsbruk. 37

Hva funnene kan bety videre

Arbeidet peker mot kommunikasjonsproteser som kan formidle hensikt også utenfor selve ordene: enighet, understreking, hilsen, følelsespreget kroppsspråk og turtaking i samtaler. Det støtter også et viktig prinsipp for hjerne–maskin-grensesnitt: Ett kortikalt grensesnitt kan potensielt tolke flere samordnede kommunikasjonsformer. 37

Forsøket brukte en kablet forskningsrigg. Teamet planlegger en fullt implanterbar, trådløs versjon som kan gjøre langvarig bruk i hverdagen mer praktisk ved å fjerne den eksterne kabelen og samtidig videreutvikle den multimodale tolkningen.

Dette bygger på UCSF-teamets demonstrasjon fra 2023, der en deltaker med lammelse etter hjernestammeslag brukte hjernesignaler til å generere tekst, syntetisk tale og en ansiktsavatar med uttrykk. 14